WO2016024396A1 - 撮像装置、撮像表示装置、及び、車両 - Google Patents

撮像装置、撮像表示装置、及び、車両 Download PDF

Info

Publication number
WO2016024396A1
WO2016024396A1 PCT/JP2015/003985 JP2015003985W WO2016024396A1 WO 2016024396 A1 WO2016024396 A1 WO 2016024396A1 JP 2015003985 W JP2015003985 W JP 2015003985W WO 2016024396 A1 WO2016024396 A1 WO 2016024396A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
signal
image signal
output
Prior art date
Application number
PCT/JP2015/003985
Other languages
English (en)
French (fr)
Inventor
塩原　隆一
Original Assignee
セイコーエプソン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セイコーエプソン株式会社 filed Critical セイコーエプソン株式会社
Priority to US15/502,399 priority Critical patent/US10389920B2/en
Priority to CN201580035395.1A priority patent/CN106537903B/zh
Publication of WO2016024396A1 publication Critical patent/WO2016024396A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the present invention relates to an imaging device, an imaging display device, and a vehicle.
  • Patent Document 1 a technique for combining images indicated by a plurality of video signals and displaying them in a display area is known (for example, Patent Document 1).
  • Such a technique for combining and displaying a plurality of video signals is utilized as an imaging display device that assists driving of a vehicle by displaying an image showing a state outside the vehicle in a vehicle compartment.
  • images indicated by a plurality of imaging signals output from a plurality of image sensors (imaging devices) that capture the outside of the vehicle are combined, and the combined image is displayed on a display unit provided inside the vehicle.
  • imaging devices image sensors
  • the necessity of displaying the imaging result of an image sensor in real time is high.
  • the image sensor and the display unit are different devices, they normally operate in synchronization with different reference signals.
  • the start of the frame of the imaging signal may deviate from the start of the frame of the image signal, and the delay time may increase. For example, if the frame of the imaging signal is started immediately after the frame of the image signal is started, a delay time longer than one frame period of the image signal is generated.
  • the delay time becomes longer.
  • the present invention has been made in view of the above-described circumstances, and solves the problem of shortening the delay time from imaging to display when displaying an image based on a plurality of imaging signals output from a plurality of image sensors.
  • an imaging apparatus includes an imaging unit including K imaging elements (K is a natural number of 2 or more) that captures an image of a subject and outputs an imaging signal; An image output from a display unit having K display elements corresponding to K image sensors in a one-to-one correspondence and a j-th image sensor (j is a natural number satisfying 1 ⁇ j ⁇ K) of the image pickup unit. Based on the signal, a partial image signal indicating an image to be displayed in each line of the jth display area of the display unit is generated, and the display includes K partial image signals corresponding to the K display areas.
  • K is a natural number of 2 or more
  • An image signal generation unit that outputs an image signal indicating an image to be displayed on each line of the unit to the display unit, and a display that indicates a line corresponding to the image signal that has been output from the image signal generation unit to the display unit Output line information and the image signal generator
  • a timing control unit that controls the timing at which the image processing generation unit outputs the image signal based on image processing line information that indicates a line for displaying an image last among the lines corresponding to the generated partial image signal
  • the timing control unit indicates a line in which the display output line information displays an image preceding the display target line, and the image processing line information displays an image on the display target line.
  • the image signal generation unit is controlled to output an image signal indicating an image to be displayed on the display target line when a line for displaying an image is shown thereafter.
  • the output of the image signal of the preceding display line for displaying the image preceding the display target line is completed.
  • the image signal of the display target line can be output.
  • the image signal of the display target line is not generated when the output of the image signal of the preceding display line is completed, the image of the display target line is generated at the timing when the image signal of the display target line is generated.
  • a signal can be output. That is, according to the present invention, it is possible to output the image signal of the display target line at the timing when the image signal of the display target line can be output.
  • the display unit can display an image on each line for each period determined by a display horizontal synchronization pulse output at a constant cycle, and the image signal generation unit can display the display horizontal synchronization.
  • the timing control unit outputs the image signal in synchronization with a pulse, the display output line information indicates a line for displaying an image prior to the display target line, and the image processing line information is the display
  • the image signal generation unit is controlled to stop outputting an image signal indicating an image to be displayed on the display target line, and then the image processing line An image to be displayed on the display target line is indicated in synchronization with the display horizontal synchronization pulse output after the line indicated by the information becomes the display target line.
  • Controlling the image signal generating unit to output an image signal it may be characterized in that.
  • the output timing of the image signal of each line can be controlled with the accuracy of the horizontal scanning period determined by the display horizontal synchronization pulse. For this reason, it is possible to prevent the occurrence of a large delay such that the interval from imaging to display is, for example, a period of one frame period or more.
  • the display unit can display an image on each line for each period determined by a display horizontal synchronization pulse, and the image signal generation unit synchronizes with the display horizontal synchronization pulse.
  • the timing control unit is capable of outputting the display horizontal synchronization pulse at a variable period
  • the display output line information indicates a line for displaying an image preceding the display target line
  • the output of the display horizontal synchronization pulse is stopped and an image signal indicating an image to be displayed on the display target line is displayed.
  • the image signal generation unit When the image signal generation unit is controlled to stop the output, and then the line indicated by the image processing line information becomes the display target line, Outputting the display horizontal synchronization pulse and controlling the image signal generation unit to output an image signal indicating an image to be displayed on the display target line in synchronization with the output display horizontal synchronization pulse.
  • the time length of the horizontal scanning period determined by the display horizontal synchronization pulse is determined according to the timing at which the image signal of each line can be output. For this reason, it becomes possible to output the image signal of each line to the display unit at a timing corresponding to the image processing time for each line, and the image of each line can be taken into consideration without considering the fluctuation of the image processing time for each line. Compared with the case of determining the signal output timing, the delay from imaging to display can be reduced.
  • an imaging apparatus includes an imaging unit including K (K is a natural number of 2 or more) imaging elements that capture an image of a subject and output an imaging signal indicating an imaging result in synchronization with the imaging synchronization signal;
  • a display unit that includes K display areas corresponding to the K image pickup devices of the image pickup unit in a one-to-one relationship and that can display an image at a higher frame rate than the image pickup unit in synchronization with a display synchronization signal;
  • a signal is generated, and an image signal indicating an image to be displayed on the display unit, which is composed of K partial image signals corresponding to the K display regions, is output to the display unit in synchronization with the display synchronization signal.
  • An image signal generation unit and the image signal generation unit A timing control unit that controls the timing of outputting the image signal, and the time from the start of the frame of the imaging synchronization signal to the start of the frame of the display synchronization signal is a phase difference, and the frame rate of the imaging unit is When the frame rate is 1 frame rate and the highest frame rate that can be displayed on the display unit is the second frame rate, the timing control unit is configured such that when the phase difference is longer than a predetermined time, the frame rate of the display unit is By causing the image signal generation unit to output the image signal so as to achieve the second frame rate, the first timing control for gradually reducing the phase difference, and the phase difference become equal to or less than the predetermined time. Later, the image signal is sent to the image signal generation unit so that the frame rate of the display unit becomes the first frame rate. And second timing control to output, it is possible to run, characterized in that.
  • the frame period of the display unit is output by outputting an image signal at a second frame rate that is a higher frame rate than the imaging unit. And the phase difference is reduced by a period corresponding to the difference between the frame period of the imaging unit. Then, after the phase difference becomes equal to or less than the predetermined time, the image signal is output in synchronization with the imaging signal by setting the frame rate of the display unit to the first frame rate that is the frame rate of the imaging unit. .
  • the phase difference when the phase difference is larger than the predetermined time, the phase difference can be shortened step by step until the phase difference becomes equal to or less than the predetermined time, and the phase difference is maintained after the phase difference converges to the predetermined time or less. be able to. Thereby, the state where the delay time from imaging to display is minimized can be maintained.
  • the predetermined time may be, for example, a time determined based on the time required to generate an image signal corresponding to one line of the display unit.
  • the timing control unit when the phase difference is longer than the predetermined time, the timing control unit generates the K partial image signals, and then displays an image indicated by the K partial image signals.
  • the display unit may wait until it can be displayed and output an image signal including the K partial image signals to the display unit. According to this aspect, since the display unit waits until the image indicated by the image signal can be displayed, the image signal is output so that the frame rate of the display unit becomes the second frame rate.
  • the phase difference of the part can be shortened step by step.
  • the display synchronization signal includes a display horizontal synchronization pulse having a constant period
  • the timing control unit is configured to output the K partial images after the phase difference becomes equal to or less than the predetermined time.
  • the image signal generation time when the signal generation is completed is after the displayable time at which the image indicated by the K partial image signals can be displayed on the display unit
  • the image signal generation time is output first after the image signal generation time.
  • the image signal including the K partial image signals may be output to the display unit in synchronization with the display horizontal synchronization pulse. According to this aspect, the interval from the generation of the image signal to the output can be made equal to or shorter than the horizontal scanning period determined by the display horizontal synchronization pulse.
  • the output timing of the image signal can be controlled with the accuracy of the horizontal scanning period determined by the display horizontal synchronization pulse. For this reason, it becomes possible to output an image signal to the display unit at a timing according to the completion of the image processing, and compared with the case where the output timing of the image signal is determined without considering the variation of the image processing time. The delay from imaging to display can be reduced.
  • the timing control unit outputs the display synchronization signal including a display horizontal synchronization pulse having a variable period, and after the phase difference becomes equal to or less than the predetermined time, the K number of the synchronization signals are output.
  • the image signal generation time at which the generation of the partial image signal is completed is after the displayable time at which the image indicated by the K partial image signals can be displayed on the display unit, until the image signal generation time, The output of the display horizontal synchronization pulse is stopped and the output of the image signal composed of the K partial image signals is stopped. After the image signal generation time, the display horizontal synchronization pulse is output and the output is performed.
  • An image signal composed of the K partial image signals may be output in synchronization with the display horizontal synchronization pulse.
  • the time length of the horizontal scanning period determined by the display horizontal synchronization pulse is determined according to the timing at which the image signal can be output. For this reason, it becomes possible to output an image signal to the display unit at a timing according to the completion of the image processing, and compared with the case where the output timing of the image signal is determined without considering the variation of the image processing time.
  • the delay from imaging to display can be reduced.
  • the display unit may be provided inside a vehicle, and the imaging element may image the outside of the vehicle. According to this aspect, since the state outside the vehicle can be displayed in real time on the display unit inside the vehicle, the vehicle can travel safely.
  • the K imaging elements included in the imaging unit include a first imaging element that captures an object behind the vehicle and a second imaging element that captures an object behind the left rear of the vehicle.
  • An image sensor and a third image sensor that captures an object on the right rear side of the vehicle, and the K display areas included in the display unit are a first display corresponding to the first image sensor.
  • a third display area provided on the right side.
  • the imaging device can be used instead of a rearview mirror, a side mirror, and the like, and a driver can visually recognize a state outside the vehicle necessary for safe driving of the vehicle.
  • a driver can visually recognize a state outside the vehicle necessary for safe driving of the vehicle.
  • an imaging display device includes the above-described display unit and the above-described imaging device.
  • a vehicle according to the present invention includes the above-described imaging display device.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle imaging display device 1 according to a first embodiment of the present invention. It is explanatory drawing which shows the example of arrangement
  • 3 is a diagram illustrating a configuration example of a display unit 40.
  • FIG. 1 is a block diagram illustrating a configuration of an imaging display device 1 for a vehicle.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • 4 is a timing chart for explaining the operation of the vehicle image display device 1.
  • FIG. 4 is a block diagram illustrating a configuration of a display unit 40.
  • FIG. It is a block diagram which shows the structure of the partial image process part 21J. It is explanatory drawing for demonstrating a distortion correction process. It is explanatory drawing for demonstrating a trimming process. It is a figure which shows an example of the image after a trimming process. It is a figure which shows an example of the image produced
  • FIG. 1 It is a figure which shows an example of the image after a reduction / enlargement process. It is explanatory drawing for demonstrating a reduction / enlargement process. It is a timing chart for demonstrating the relationship between the image signal D [m] and the imaging signal DS-J [pJ]. It is a timing chart for demonstrating the output timing of imaging signal DS. 4 is a timing chart for explaining the operation of the vehicle image display device 1. 4 is a timing chart for explaining the operation of the vehicle image display device 1. 4 is a timing chart for explaining the operation of the vehicle image display device 1. 4 is a timing chart for explaining the operation of the vehicle image display device 1. 4 is a timing chart for explaining the operation of the vehicle image display device 1. It is a timing chart for demonstrating operation
  • FIG. 1 is a block diagram showing an outline of the configuration of the imaging display device 1 for a vehicle.
  • the vehicle imaging display device 1 is a device that displays an image for assisting the operation of the vehicle when the driver drives a vehicle such as an automobile or a train.
  • the imaging display apparatus 1 for a vehicle performs image processing on the imaging unit 10 that images the outside of the vehicle and outputs an imaging signal DS, and the imaging signal DS output from the imaging unit 10.
  • a control unit 50 that controls the overall operation of the apparatus 1.
  • the imaging unit 10, the image processing circuit 100, and the control unit 50 in the vehicle imaging display device 1 are examples of “imaging device”.
  • the imaging unit 10 images a subject in the left rear region of the vehicle and outputs an imaging signal DS-L indicating the imaging result, and a subject in the rear region of the vehicle.
  • the center rear image sensor 12C is an example of "first image sensor”
  • the left rear image sensor 12L is an example of "second image sensor”
  • the right rear image sensor 12R is "third image sensor”.
  • the first image sensor, the second image sensor, and the third image sensor are collectively referred to as “image sensor”. That is, the vehicle imaging display device 1 according to the present embodiment includes three imaging elements.
  • FIG. 2 is an explanatory diagram illustrating an arrangement example of the left rear image sensor 12L, the center rear image sensor 12C, and the right rear image sensor 12R in the vehicle ⁇ .
  • the left rear image sensor 12L is disposed near the outer surface of the left front pillar portion of the vehicle ⁇ (the position where the conventional left side mirror is provided in the illustrated example), and the left rear of the vehicle ⁇ .
  • the region LR is imaged.
  • the right rear image sensor 12R is disposed in the vicinity of the outer surface of the right front pillar portion of the vehicle ⁇ (in the illustrated example, the position where the conventional right side mirror is provided), and images the right rear region RR of the vehicle ⁇ .
  • the center rear image sensor 12C is disposed in the vicinity of the midpoint position in the vehicle width direction at the rear end of the vehicle ⁇ (below the back window in the illustrated example), and images the rear area BR of the vehicle.
  • the example of arrangement shown in the figure is an example, and can be changed as appropriate without departing from the spirit of the present invention.
  • the image processing circuit 100 performs image processing on the imaging signal DS-L to generate a partial image signal DL, and performs image processing on the imaging signal DS-C to generate a partial image signal DC. Then, image processing is performed on the imaging signal DS-R to generate a partial image signal DR. Then, the image processing circuit 100 outputs the generated image signal D including the partial image signal DL, the partial image signal DC, and the partial image signal DR to the display unit 40. That is, the image signal D output from the image processing circuit 100 according to the present embodiment includes a partial image signal DL, a partial image signal DC, and a partial image signal DR.
  • the display unit 40 includes a liquid crystal panel 42 having a display area AD that displays an image indicated by the image signal D.
  • the display area AD included in the liquid crystal panel 42 includes a central display area AD-C (first display area) for displaying an image indicated by the partial image signal DC among the image signals D, and a partial image signal D ⁇ .
  • the center display area AD-C displays the image of the rear area BR instead of the conventional rearview mirror
  • the left display area AD-L displays the image of the left rear area LR instead of the conventional left side mirror
  • the right display area AD-R displays an image of the right rear area RR instead of the conventional right side mirror.
  • one of the suffixes “L”, “C”, and “R” attached to various symbols may be represented by “J”.
  • image sensor 12J when it is not necessary to distinguish the left rear image sensor 12L, the central rear image sensor 12C, and the right rear image sensor 12R, any one of them is designated as “image sensor 12J”.
  • imaging signal DS-J when it is not necessary to distinguish between the imaging signal DS-L, the imaging signal DS-C, and the imaging signal DS-R, any one of them is collectively referred to as “imaging signal DS-J”.
  • imaging signal DS-J when it is not necessary to distinguish between the partial image signal DL, the partial image signal DC, and the partial image signal DR, any one of them is designated as “partial image signal DJ”.
  • display area AD-J Collectively.
  • FIG. 3A shows the display position in the vehicle ⁇ of the image displayed in the display area AD.
  • the image displayed in the left display area AD-L is enlarged and displayed in the enlarged display area Area-L
  • the image displayed in the central display area AD-C is enlarged in the enlarged display area Area-C
  • the image that is enlarged and displayed in the right display area AD-R is enlarged and displayed in the enlarged display area Area-R.
  • the left display area AD-L and the enlarged display area Area-L coincide, the center display area AD-C and the enlarged display area Area-C coincide, and the right display area AD-R and the enlarged display area Area-R. May match.
  • the enlarged display area Area-L, the enlarged display area Area-C, and the enlarged display area Area-R depend on each display area AD-J (AD-L, AD-C, AD-R) included in the display area AD.
  • the displayed image is arranged in front of the driver's seat so that the driver can easily see the image. Further, as viewed from the driver, the enlarged display area Area-L is arranged on the left side of the enlarged display area Area-C, and the enlarged display area Area-R is on the right side of the enlarged display area Area-C. Placed in.
  • the enlarged display area Area-L, the enlarged display area Area-C, and the enlarged display area Area-R are arranged in the order of the conventional right side mirror, rearview mirror, and left side mirror. . For this reason, it becomes possible for the driver who is used to the conventional right side mirror, the rear view mirror, and the left side mirror to visually recognize an image without a sense of incongruity.
  • the liquid crystal panel 42 is arranged in a dashboard under the front window in front of the driver's seat, and an image corresponding to the image signal D is displayed in a band-like enlarged display area (Area-L, (Area-C, Area-R).
  • positioning of the liquid crystal panel 42 containing the enlarged display area shown to FIG. 3A is only an example, For example, you may arrange
  • the liquid crystal panel 42 including the enlarged display area is narrower in width than the conventional instrument panel (cluster panel) of the vehicle ⁇ on the lower side of the windshield in comparison with FIG. 3A. It may be provided in a shape. Alternatively, the enlarged display area may be provided as a liquid crystal panel or an organic EL panel in a conventional rearview mirror portion of the vehicle ⁇ . 3A and 3B, in the vehicle imaging display device 1 according to the present embodiment, the left rear region LR of the vehicle ⁇ , the rear region BR of the vehicle ⁇ , and the right rear region RR of the vehicle ⁇ .
  • the image showing the left rear region LR is on the left side of the image showing the rear region BR
  • the image showing the right rear region RR is the right side of the image showing the rear region BR
  • the image indicating the rear area BR is arranged on the right side of the image indicating the left rear area LR and on the left side of the image indicating the right rear area RR.
  • the images are arranged so that the driver can intuitively recognize the left rear of the vehicle ⁇ , the center rear of the vehicle ⁇ , and the right rear of the vehicle ⁇ .
  • 3A and 3B are merely examples.
  • an image showing the left rear region LR is located on the left side of the driver's driving position
  • an image showing the right rear region RR is the driver's driving position. You may provide an enlarged display area so that it may be arranged on the right side.
  • the display unit 40 is configured as, for example, a head-up display (HUD).
  • FIG. 4 shows a configuration example of the display unit 40 arranged in the dashboard.
  • the display unit 40 includes a pico projector 401, a transmission screen 402, a field lens 403, and a combiner (concave half mirror) 404.
  • the pico projector 401 projects an image corresponding to the input image signal D on the transmission screen 402 to draw a real image.
  • the direction of the image of the light transmitted through the transmission screen 402 is adjusted by the field lens 403 and reflected by the combiner 404.
  • the driver displays an enlarged display area (Area-L, Area-C, Area- R) appears to be magnified and displayed (ie, a virtual image of the magnified image is formed at the tip of the dashboard).
  • the opening Op may be closed with a transparent plate so that dust and dirt do not enter the inside.
  • the display unit 40 according to the present invention is not limited to the mode as in the present embodiment, and may be a HUD that displays a virtual image of a direct-view type panel, or a projector-type HUD. Alternatively, a direct-view display panel such as an LCD (liquid crystal display) or an organic EL panel may be used.
  • FIG. 5 is a block diagram showing a functional configuration of the vehicle imaging display device 1.
  • the imaging unit 10 scans signals from light receiving elements arranged in a matrix in a line-sequential manner and outputs an imaging signal DS-J corresponding to the image of the subject. 12L, 12C, 12R) and a timing generator 13 for outputting various timing signals to each image sensor 12J (12L, 12C, 12R).
  • the imaging unit 10 includes an imaging optical system that forms an image of a subject corresponding to each image sensor 12J, but is not illustrated in this drawing.
  • the left rear image sensor 12L outputs an imaging signal DS-L corresponding to pixels of PL rows ⁇ QL columns (PL is a natural number satisfying 2 ⁇ PL. QL is 2 ⁇ QL) Satisfying natural number).
  • the center rear image sensor 12C outputs an imaging signal DS-C corresponding to a pixel of PC row ⁇ QC column (PC is a natural number satisfying 2 ⁇ PC.
  • QC is a natural number satisfying 2 ⁇ QC).
  • the right rear image sensor 12R outputs an imaging signal DS-R corresponding to a pixel of PR row ⁇ QR column (PR is a natural number satisfying 2 ⁇ PR. QR is a natural number satisfying 2 ⁇ QR).
  • the pixel size of the imaging signal DS-J output from the image sensor 12J (12L, 12C, 12R) may be collectively referred to as PJ rows ⁇ QJ columns.
  • the timing generator 13 generates an imaging vertical synchronization signal SVsync, an imaging horizontal synchronization signal SHsync, and an imaging dot clock signal SCLK, and outputs these generated signals to each image sensor 12J.
  • the timing generated by the single timing generator 13 is supplied to each image sensor.
  • FIG. 7 is a timing chart for explaining the imaging vertical synchronization signal SVsync, imaging horizontal synchronization signal SHsync, and imaging dot clock signal SCLK generated by the timing generator 13.
  • the imaging vertical synchronization signal SVsync (an example of “imaging synchronization signal”) is a signal that defines an imaging vertical scanning period Fs (an example of “frame of imaging synchronization signal”) for reading a detection signal from the light receiving element of each image sensor 12J. It is.
  • the frame rate of the imaging unit 10, that is, “1 / Fs” may be referred to as “first frame rate”.
  • the imaging horizontal synchronization signal SHsync is a signal that defines a horizontal scanning period Hs for reading a detection signal from the light receiving elements for one line of each image sensor 12J.
  • the imaging dot clock signal SCLK is a signal that defines the timing for reading a detection signal from the light receiving elements for one pixel of each image sensor 12J.
  • the time length of the imaging vertical scanning period Fs is constant (fixed length), and the time length of the horizontal scanning period Hs is also constant (fixed length).
  • the imaging vertical scanning period Fs is composed of a plurality of horizontal scanning periods Hs. Note that the timing generator 13 may output the imaging vertical synchronization signal SVsync, the imaging horizontal synchronization signal SHsync, and the imaging dot clock signal SCLK to the image processing circuit 100.
  • the plurality of image sensors 12J (12L, 12C, 12R) included in the imaging unit 10 operate in synchronization with the same timing signal supplied from the single timing generator 13 (here) Therefore, it is assumed that at least the imaging vertical synchronization signal SVsync timing coincides with the same timing signal.
  • the display unit 40 is a display device for displaying an image showing a subject to be imaged so that the driver of the vehicle ⁇ can grasp the state of the subject outside the vehicle ⁇ , and the structure thereof is shown in FIG. As explained.
  • the pico projector 401 includes a light source (not shown), a liquid crystal panel 42 including a display area AD that displays an image corresponding to the image signal D generated by the image processing circuit 100, and a projection optical system ( And a controller 41 that controls the operation of the liquid crystal panel 42.
  • the light source includes, for example, an LED (Light Emitting Diode) or a laser diode, and irradiates the liquid crystal panel 42 with white light.
  • the projection optical system is, for example, a convex lens that projects light transmitted through the liquid crystal panel 42.
  • the display area AD in the liquid crystal panel 42, in the display area AD, a plurality of pixels are arranged in a matrix so that there are N columns in the vertical direction and M rows (M lines) in the horizontal direction (M Is a natural number satisfying 2 ⁇ M, and N is a natural number satisfying 6 ⁇ N).
  • the display area AD is configured such that M lines of N pixels arranged in the horizontal direction are arranged in M lines in the vertical direction.
  • These pixels of M rows ⁇ N columns include, for example, a pixel for displaying red, a pixel for displaying green, and a pixel for displaying blue.
  • the display area AD is divided into three display areas AD-J.
  • the left display area AD-L includes pixels of M rows ⁇ NL columns.
  • the central display area AD-C includes pixels of M rows ⁇ NC columns, and the right display area AD-R includes pixels of M rows ⁇ NR columns (NL, NC, and NR are two or more natural numbers) ).
  • the pixel size of each display area AD-J (AD-L, AD-C, AD-R) included in the display area AD may be collectively referred to as M rows ⁇ NJ columns.
  • the number of pixels of the imaging signal DS-J may be different from the number of pixels of the display area AD-J. That is, “M ⁇ PJ” and “NJ ⁇ QJ”. In the present embodiment, it is assumed that “M ⁇ PJ” and “NJ ⁇ QJ”.
  • the time length required to display an image for one screen at the highest frame rate that can be displayed on the display area AD of the display unit 40 is that the image sensor 12J captures an image for one screen. Shorter than the length of time. For this reason, when an image is to be displayed at the highest frame rate that can be displayed by the display unit 40, the output of the imaging signal DS from the imaging unit 10 cannot catch up. Therefore, in the vehicle imaging display device 1 according to the present embodiment, the image processing circuit 100 adjusts the output timing of the image signal D from the image processing circuit 100 to adjust the display speed of the display unit 40 to the imaging unit 10. To the output cycle of the imaging signal DS from.
  • the image processing circuit 100 generates an image signal D (a plurality of partial image signals D-J) based on the imaging signal DS (a plurality of imaging signals DS-J) and generates the image signal D. Is output to the display unit 40, and a timing control unit 30 that controls the timing at which the image signal generation unit 20 outputs the image signal D is provided.
  • the image signal generation unit 20 temporarily performs image processing on the imaging signal DS to generate an image signal D, and an image signal D generated by the image processing unit 21.
  • VRAM / line buffer 22 (hereinafter referred to as “line buffer 22”) stored in the image buffer, and an image signal output for acquiring the image signal D from the line buffer 22 and outputting the acquired image signal D to the display unit 40 Unit 23.
  • the image signal D is a signal that defines an image (gradation) to be displayed by each of the M rows ⁇ N columns of pixels provided in the display area AD of the liquid crystal panel 42.
  • the image signal D for one line indicating the image to be displayed in the m-th line of the display area AD is the image signal D [m].
  • M is a natural number satisfying 1 ⁇ m ⁇ M).
  • the partial image signals D-J indicating an image to be displayed in the display area AD-J a partial image for one line indicating an image to be displayed in the m-th line of the display area AD-J.
  • the signal DJ is represented as a partial image signal DJ [m]. That is, the image signal D [m] includes a partial image signal D-L [m], a partial image signal D-C [m], and a partial image signal D-R [m].
  • the image processing unit 21 performs image processing on the imaging signal DS-L in the imaging signal DS to generate a partial image signal DL, and the imaging signal 21L.
  • a central image processing unit 21C that performs image processing on the imaging signal DS-C in DS to generate a partial image signal DC, and image processing on the imaging signal DS-R in imaging signal DS.
  • a right image processing unit 21R for generating the partial image signal D-R.
  • the partial image processing unit 21J (21L, 21C, 21R) outputs a partial image signal DJ indicating an image to be displayed in the display area AD-J of the liquid crystal panel 42 with pixels for one line of the display area AD-J. Generated for each image to be displayed. More specifically, the partial image processing unit 21J performs the partial image signal D-J [1], the partial image signal D-J [2], ..., the partial image signal D-J [m] in this order. A signal DJ is generated. Details of the image processing executed by the partial image processing unit 21J will be described later.
  • the partial image processing unit 21J (21L, 21C, 21R) generates the partial image signal DJ [m] (DL [m], DC [m], DR [m]).
  • the generated partial image signal DJ [m] is stored in the line buffer 22 and the partial write completion signal PtA- indicating that the storage of the partial image signal DJ [m] in the line buffer 22 is completed.
  • J (PtA-L, PtA-C, PtA-R) is output to the timing control unit 30. That is, when the left image processing unit 21L generates the partial image signal DL [m] and stores it in the line buffer 22, it outputs the partial writing completion signal PtA-L.
  • the central image image processing unit 21C when the central image image processing unit 21C generates the partial image signal D-C [m] and stores it in the line buffer 22, it outputs a partial writing completion signal PtA-C.
  • the right image processing unit 21R when the right image processing unit 21R generates a partial image signal D-R [m] and stores it in the line buffer 22, it outputs a partial writing completion signal PtA-R.
  • Such partial writing completion signals PtA-L, PtA-C, and PtA-R output when the image processing unit 21 generates the image signal D [m] and stores it in the line buffer 22.
  • the signal consisting of is referred to as a write completion signal PtA.
  • the partial write completion signal PtA-J (PtA-L, PtA-C, PtA-R) is a partial image signal DJ that has been written to the line buffer 22 by the partial image processing unit 21J. Is a signal indicating the line number m corresponding to.
  • the line number m indicated by the partial write completion signal PtA-J (PtA-L, PtA-C, PtA-R) is expressed in particular as “line number ma-J (ma-L, ma-C, ma ⁇ ). R) ”(ma-J is a natural number satisfying 1 ⁇ ma-J ⁇ M).
  • the minimum values ma of the line numbers ma-L, ma-C, and ma-R indicated by the partial write completion signals PtA-L, PtA-C, and PtA-R included in the write completion signal PtA are images. This corresponds to “image processing line information” representing a line for which processing has been completed. That is, the write completion signal PtA is a signal indicating image processing line information.
  • the partial writing completion signal PtA-J is not limited to the signal indicating the line number, and is high when the generation of the partial image signal DJ [m] by the partial image processing unit 21J is completed. It may be a binary signal including a pulse waveform that rises to.
  • the timing control unit 30 determines the number of pulses included in the partial write completion signal PtA-J after the display of one screen is started. By counting, the line number of the partial image signal DJ [m] that has been generated by the partial image processing unit 21J can be obtained.
  • the image signal output unit 23 reads the image signal D for each line from the line buffer 22 under the control of the timing control unit 30, and outputs the read image signal D [m] for one line to the display unit 40. Output.
  • the image signal D generated by the image processing unit 21 and stored in the line buffer 22 is referred to as an image signal DGA
  • the image signal output unit 23 is used for the line buffer 22.
  • the image signal D acquired from the above and output to the display unit 40 is referred to as an image signal DGB.
  • the image signal DGA generated by the partial image processing unit 21J is referred to as a partial image signal DGA-J (DGA-L, DGA-C, DGA-R).
  • the image signal DGA indicating an image to be displayed on the m-th line in the display area AD is referred to as an image signal DGA [m].
  • the image signal DGB indicating an image to be displayed on the m-th line of the display area AD is referred to as an image signal DGB [m].
  • the image signal output unit 23 displays the image signal DGB [m].
  • An output completion signal PtB indicating that the output to is completed is output to the timing control unit 30.
  • the output completion signal PtB is a signal indicating the line number m corresponding to the image signal D [m] that has been output to the display unit 40 by the image signal output unit 23.
  • the line number m indicated by the output completion signal PtB is particularly referred to as “line number mb” (mb is basically a natural number satisfying 0 ⁇ mb ⁇ M).
  • the line number mb that is a value indicated by the output completion signal PtB is an example of “display output line information” that indicates a line of the image signal D [m] that has been output to the display unit 40.
  • the image signal output unit 23 may output an invalid signal Dmy to the display unit 40 instead of outputting the image signal DGB [m] (see FIG. 8D). In this case, the image signal output unit 23 does not output the output completion signal PtB.
  • the output completion signal PtB is not limited to a signal indicating a line number, and has a pulse waveform that rises to a high level when the output of the image signal D [m] by the image signal output unit 23 is completed.
  • the binary signal may be included.
  • the timing control unit 30 includes an output control unit 31 that generates an output control signal CTR (more precisely, CTR [m]) based on the write completion signal PtA and the output completion signal PtB,
  • the timing generator 32 that controls the timing at which the image signal output unit 23 outputs the image signal D [m] (image signal DGB [m]) and the setting parameter PRM that defines the operation of the controller 41 are generated.
  • a parameter transmission unit 33 that transmits to the controller 41.
  • the output control unit 31 displays the image signal D [indicating the image that the image signal output unit 23 should display on the mth row of the display area AD on the display unit 40.
  • m] image signal DGB [m]
  • CTR output control signal
  • the image processing unit 21 completes image processing of the image signal D [m] (image signal DGA [m]) of the m-th row, and writing of the image signal DGA [m] to the line buffer 22 is completed. Doing things. (Second condition)
  • the image signal output unit 23 has completed the output of the image signal D [m-1] (image signal DGB [m-1]) in the (m-1) th row.
  • the first condition indicates a case where the minimum value ma of the line number ma-J indicated by the partial write completion signal PtA-J is greater than or equal to the line number m. That is, the first condition is satisfied when “m ⁇ ma” is satisfied, more specifically, when “m ⁇ ma-L”, “m ⁇ ma-C”, and “m ⁇ ma-R”. Is done.
  • the line of the display area AD that displays the image indicated by the image signal D [m] that is to be determined by the output control unit 31 may be referred to as a “display target line”.
  • the timing at which the image signal output unit 23 outputs the image signal D [m] (image signal DGB [m]) in the m-th row is a period during which the display area AD can display an image (described later in FIG. 8). To be included in the horizontal effective data period DHI).
  • the timing generator 32 controls the output timing of the image signal D [m] (image signal DGB [m]) from the image signal output unit 23. Therefore, the third condition is necessarily satisfied. For this reason, in this embodiment, the third condition is not considered in the determination by the output control unit 31.
  • the output control unit 31 can determine whether or not “preparation for outputting the image signal D [m] (image signal DGB [m]) has been completed” according to, for example, the following two modes.
  • the output control unit 31 directly executes. Specifically, when the image processing unit 21 outputs the write completion signal PtA, the output control unit 31 outputs line numbers ma-J indicated by a plurality of partial write completion signals PtA-J included in the write completion signal PtA. It is determined whether or not “m ⁇ ma” is satisfied for m based on the minimum value ma (executes the first determination).
  • the output control unit 31 determines that both the determination result of the first determination and the determination result of the second determination are negative when the determination result of the first determination or the determination result of the second determination is negative. The first determination and the second determination are repeated until affirmative. Specifically, for example, the output control unit 31 outputs the write completion signal PtA every time the write completion signal PtA is output from the image processing unit 21 until both determination results of the first determination and the second determination are positive. The second determination may be performed every time the output completion signal PtB is output from the image signal output unit 23.
  • the output control unit 31 performs the first determination and the second determination at a period of a horizontal scanning period Hd described later until both determination results of the first determination and the second determination become affirmative. It may be repeated.
  • the output control signal CTR (more precisely, CTR [m]) is determined and the determination result is affirmative. Set to a value that indicates
  • the output control unit 31 repeats the first determination until the determination result of the first determination becomes affirmative, and the determination result of the first determination is When the result is affirmative, the output control signal CTR is set to a value (CTR [m]) indicating that the determination result is affirmative.
  • CTR [m] the output control signal
  • the output control unit 31 thereafter causes the image processing unit 21 to write the write completion signal PtA. Is output based on the minimum value ma of the line number ma-J indicated by the write completion signal PtA, and it is determined whether or not “m ⁇ ma” is satisfied for m, and “m ⁇ ma” is satisfied. It may be determined that the first condition has been satisfied.
  • the image processing unit 21 generates the image signal D [m] (image signal DGA [m]) in the order of the line numbers, and the image signal output unit 23 selects the image signal D [m] (the image signal in the order of the line numbers. DGB [m]) is output.
  • the output of the image signal D [m-2] in the m-2nd row is completed, and the output control unit 31 is “ready for outputting the image signal D [m-1]”.
  • the image signal output unit 23 outputs the image signal D [m ⁇ 1].
  • the timing at which the output control unit 31 determines whether or not “preparation for outputting the image signal D [m] (image signal DGB [m]) has been completed” is determined from the image signal output unit 23 by the image signal D [ m-2] (image signal DGB [m-2]) is output, and the output control unit 31 sets “image signal D [m ⁇ 1] (image signal DGB [m ⁇ 1]”). ) Is ready to output ". That is, the output control unit 31 indicates the output completion signal PtB output by the image signal output unit 23 at the timing of performing the first determination as to whether or not “preparation for outputting the image signal D [m] has been completed”.
  • the line number mb is “m ⁇ 1”.
  • the output control unit 31 considers that the second condition is satisfied by the output of the output completion signal PtB from the image signal output unit 23. Then, the output control unit 31 performs a determination (first determination) as to whether or not the first condition is satisfied at the timing when the output completion signal PtB is output from the image signal output unit 23, whereby “image It is determined whether or not the output preparation of the signal D [m] (image signal DGB [m]) has been completed.
  • the timing generator 32 generates a display vertical synchronization signal DVsync, a vertical valid data signal DVactive, a display horizontal synchronization signal DHsync, a display dot clock signal DCLK, and an enable signal DEnb, and outputs these generated signals to the image signal output unit 23. And output to the display unit 40.
  • the display vertical synchronization signal DVsync (an example of “display synchronization signal”) is a display vertical for displaying an image with pixels in the entire display area AD (for M lines) of the liquid crystal panel 42. It is a signal that defines the scanning period Fd (an example of “frame of display synchronization signal”).
  • the display horizontal synchronization signal DHsync is a signal that defines a horizontal scanning period Hd for displaying an image with pixels for one line of the display area AD.
  • the display dot clock signal DCLK is a signal that defines the timing for displaying an image on each pixel of the display area AD.
  • the horizontal scanning period Hd has a predetermined fixed time length.
  • the display vertical scanning period Fd is composed of a plurality of horizontal scanning periods Hd, and has a variable time length (period) that is shorter than the time length (period) of the imaging vertical scanning period Fs. . That is, the number of horizontal scanning periods Hd included in each display vertical scanning period Fd is variable.
  • the display vertical scanning period Fd1 which is the first display vertical scanning period Fd, is the display vertical scanning period Fd2 subsequent to the display vertical scanning period Fd1.
  • the display vertical scanning period Fd2 is shorter than the display vertical scanning period Fd3 subsequent to the display vertical scanning period Fd2.
  • a pulse-like waveform that defines the start and end timings of the display vertical scanning period Fd is referred to as a display vertical synchronization pulse PlsV.
  • a pulse-like waveform that defines the start and end timing of the horizontal scanning period Hd is referred to as a display horizontal synchronization pulse PlsH.
  • the display vertical scanning period Fd includes a vertical synchronization period DVp, a vertical back porch period DVb, a vertical valid data period DVI, and a vertical front porch period DVf.
  • the vertical synchronization period DVp is a period in which the display vertical synchronization signal DVsync is active (low level in this example), and is a predetermined time length that starts at the same time as the display vertical scanning period Fd starts. It is a period having
  • the vertical back porch period DVb is a period subsequent to the vertical synchronization period DVp and has a predetermined time length.
  • the vertical valid data period DVI is a variable time period following the vertical back porch period DVb.
  • the vertical valid data period DVI the image signal output unit 23 outputs the image signal DGB (image signals DGB [1] to DGB [M]).
  • the vertical front porch period DVf is a period following the vertical valid data period DVI, and is a period having a predetermined time length that ends at the same time as the end of the display vertical scanning period Fd.
  • the vertical valid data period DVI is a period from the start of the horizontal scanning period Hd in which the enable signal DEnb is first active in each display vertical scanning period Fd to the end of the horizontal scanning period Hd in which the enable signal DEnb is active for the Mth time. Yes (the case where the enable signal DEnb becomes active will be described later).
  • the vertical valid data period DVI may be determined based on, for example, a count value output by a counter (not shown) that counts the number of times the enable signal DEnb is active.
  • a counter not shown
  • a vertical effective data signal DVactive that is active (high level in the example of this figure) during the period up to is introduced. That is, in the present embodiment, a period in which the vertical valid data signal DVactive is active will be described as a vertical valid data period DVI.
  • the vertical valid data signal DVactive is a signal introduced for convenience of explanation, and the output control unit 31 may not output the vertical valid data signal DVactive.
  • the horizontal scanning period Hd includes a horizontal synchronization period DHp, a horizontal back porch period DHb, a horizontal effective data period DHI, and a horizontal front porch period DHf.
  • the horizontal synchronization period DHp is a period in which the display horizontal synchronization signal DHsync is active (low level in this example), and has a predetermined time length that starts at the same time as the horizontal scanning period Hd starts. It is a period to have.
  • the horizontal back porch period DHb is a period subsequent to the horizontal synchronization period DHp, and is a period having a predetermined time length.
  • the horizontal effective data period DHI is a period having a predetermined time length following the horizontal back porch period DHb.
  • the horizontal front porch period DHf is a period following the horizontal effective data period DHI, and is a period having a predetermined time length that ends at the same time as the end of the horizontal scanning period Hd.
  • FIG. 8C illustrates a case where the horizontal scanning period Hd is the effective horizontal scanning period Hd-A.
  • the enable signal DEnb is active (high level in the example of this figure) in the horizontal effective data period DHI when the horizontal scanning period Hd is the effective horizontal scanning period Hd-A.
  • the image signal D [m] (image signal DGB [m]) is output from the image signal output unit 23.
  • the enable signal DEnb is inactive during a period other than the horizontal effective data period DHI (horizontal synchronization period DHp, horizontal back porch period DHb, horizontal front porch period DHf) in the effective horizontal scanning period Hd-A.
  • the image signal output unit 23 outputs the image signal D [m] (image signal DGB [m]) in a period other than the horizontal effective data period DHI in which the enable signal DEnb is inactive during the effective horizontal scanning period Hd-A.
  • Output of the line data for each pixel is stopped and an invalid line signal DGB-dmy is output.
  • the third condition described above is satisfied when the timing generator 32 activates the enable signal DEnb in the horizontal valid data period DHI. That is, the timing control unit 30 including the output control unit 31 and the timing generator 32 is the image signal D [m] (the image signal corresponding to the display target line at the timing when all of the first condition to the third condition described above are satisfied.
  • the line data of the signal DGB [m]) is output from the image signal output unit 23 for each pixel.
  • FIG. 8D illustrates the case where the horizontal scanning period Hd is the invalid horizontal scanning period Hd-D.
  • the enable signal DEnb is inactive in the horizontal effective data period DHI when the horizontal scanning period Hd is the invalid horizontal scanning period Hd-D.
  • the image signal output unit 23 outputs the invalid signal Dmy instead of the image signal D [m] (image signal DGB [m]) in the horizontal valid data period DHI in the invalid horizontal scanning period Hd-D.
  • the enable signal DEnb is inactive during the invalid horizontal scanning period Hd-D other than the horizontal valid data period DHI (horizontal synchronization period DHp, horizontal back porch period DHb, horizontal front porch period DHf).
  • the image signal output unit 23 stops the output of the image signal D [m] (image signal DGB [m]) in the invalid horizontal scanning period Hd-D other than the horizontal valid data period DHI, and the invalid line
  • the signal DGB-dmy is output.
  • the timing generator 32 determines whether the horizontal scanning period Hd is set to the effective horizontal scanning period Hd-A or the invalid horizontal scanning period Hd-D based on the output control signal CTR output from the output control unit 31. . In other words, the timing generator 32 determines whether to enable the enable signal DEnb in the horizontal valid data period DHI based on the output control signal CTR. The relationship among the types of the output control signal CTR, the enable signal DEnb, and the horizontal scanning period Hd will be described later.
  • FIG. 9 is an explanatory diagram for explaining the relationship between various signals generated by the timing generator 32 and the display timing of the image in the display area AD of the liquid crystal panel 42.
  • the M rows ⁇ N columns of pixels in the display area AD from the first row line to the M-th row line indicate that the vertical valid data signal DVactive is active during the display vertical scanning period Fd.
  • the vertical valid data period DVI an image for one screen indicated by the image signals D [1] to D [M] is displayed.
  • the N pixels constituting the m-th row line in the display area AD are in the horizontal effective data period DHI in which the enable signal DEnb is active in the horizontal scanning period Hd (effective horizontal scanning period Hd-A).
  • the image for each pixel of the line data indicated by the image signal D [m] is displayed.
  • the vertical valid data period DVI is extended by the number of invalid horizontal scanning periods Hd-D included in the vertical valid data period DVI.
  • the horizontal scanning period Hd included in the vertical valid data period DVI is It is assumed that all are effective horizontal scanning periods Hd-A.
  • FIG. 10 is an explanatory diagram for explaining the output control signal CTR and the enable signal DEnb.
  • the output control unit 31 determines that the output preparation of the image signal D [m] is completed, that is, when the first condition and the second condition are satisfied, the determination result is output to the output control signal CTR. Is set to a value CTR [m] indicating that is positive.
  • the output control unit 31 outputs a pulse-like waveform that temporarily rises to a high level as the output control signal CTR when it determines that the output preparation of the image signal D [m] is completed.
  • the output control unit 31 considers that the second condition is satisfied when the output completion signal PtB is output from the image signal output unit 23. Then, the output control unit 31 determines whether or not the image processing of the image signal D [m] is completed when the output completion signal PtB is output (whether the first condition is satisfied) (first condition). It is determined whether or not preparation for outputting the image signal D [m] has been completed. As illustrated in FIG. 10, when the output control unit 31 determines whether or not the output preparation of the image signal D [m] is completed, the output control unit 31 completes the image processing of the image signal D [m].
  • the timing at which it is determined that the first condition is satisfied (that is, the timing at which the result of the first determination is affirmative) is referred to as image processing determination time TA [m].
  • the timing at which the output completion signal PtB is supplied to the output control unit 31 (considering that the second condition is satisfied) is referred to as a display preparation determination time TB [m].
  • the time at which the generation of the image signal D [m] by the image processing unit 21 is actually completed is defined as an image signal generation time TC [m]. More specifically, the image signal generation time TC [m] is a time at which generation of all the partial image signals DL [m], DC [m], and DR [m] is completed.
  • the image signal generation time TC [m] is an example of “image signal generation time”.
  • the display preparation determination time TB [m] is substantially the same as the time when the output of the image signal D [m-1] from the output control unit 31 is completed, and the image signal D [m-1] is output validly. This is substantially the same time as the end of the horizontal effective data period DHI of the horizontal scanning period Hd-A (referred to as effective horizontal scanning period Hd-A [m-1]).
  • the time when the horizontal effective data period DHI of the first horizontal scanning period Hd [m] after the display preparation determination time TB [m] is started is an example of “displayable time”.
  • “substantially the same time” is regarded as the same time when there is a time lag due to signal transmission / reception or a time lag due to various processes and these time lags are ignored. It is a concept that includes the case where
  • the image processing determination time TA [m] is generated when the generation of the image signal D [m] (image signal DGA [m]) is completed by the display preparation determination time TB [m], that is, the display preparation determination time TB.
  • the display preparation determination time TB [m] is substantially the same time.
  • the output control unit 31 outputs by the display preparation determination time TB [m].
  • the image processing unit 21 completes the generation of the image signal D [m]. (Ie, approximately the same time as the image signal generation time TC [m]). In the case of Case-2, after the image processing unit 21 completes the generation of the image signal D [m] at the image signal generation time TC [m], the image processing unit 21 performs partial writing corresponding to the minimum value ma.
  • the timing at which the output control unit 31 that outputs the completion signal PtA-J and receives the supply of the partial writing completion signal PtA-J determines that “m ⁇ ma” is satisfied is the image processing determination time TA [m]. Therefore, there is a time lag between the image processing determination time TA [m] and the image signal generation time TC [m]. However, for the sake of simplicity, both times are regarded as substantially the same.
  • the output control unit 31 is the later of the image signal generation time TC [m] and the display preparation determination time TB [m]. (That is, this time is the image processing determination time TA [m]), the output permission pulse PL [m] is set in the output control signal CTR. That is, the output permission pulse PL [m] is output when the first condition and the second condition for the image signal D [m] are satisfied.
  • the timing generator 32 is first enabled after the output permission pulse PL [m] is output and when the third condition is satisfied, in other words, after the output permission pulse PL [m] is output.
  • Control is performed so that the image signal D [m] is output from the image signal output unit 23 when the signal DEnb becomes active.
  • the time when all of the first condition to the third condition are satisfied for the image signal D [m] is referred to as an output condition satisfaction time TZ [m].
  • the timing generator 32 determines the level of the internal processing signal IS to be used in the internal processing of the timing generator 32 based on the output control signal CTR. Then, the timing generator 32 determines the timing at which the enable signal DEnb is activated and the type of the horizontal scanning period Hd (effective horizontal scanning period Hd-A or invalid horizontal scanning period Hd-D) based on the internal processing signal IS. decide.
  • the timing generator 32 activates the internal processing signal IS when the output permission pulse PL [m] is set in the output control signal CTR (high level in this example). And
  • the timing generator 32 determines (classifies) the type of the horizontal scanning period Hd as an effective horizontal scanning period Hd-A [m],
  • the enable signal DEnb is activated at the timing when the horizontal effective data period DHI of the effective horizontal scanning period Hd-A [m] is started.
  • the timing when the enable signal DEnb becomes active corresponds to the output condition satisfaction time TZ [m].
  • the timing generator 32 generates an internal signal at the timing when the horizontal effective data period DHI of the effective horizontal scanning period Hd-A [m] starts and the enable signal DEnb becomes active, that is, at the output condition satisfaction time TZ [m]. Deactivate processing signal IS.
  • the timing generator 32 determines (classifies) the type of the horizontal scanning period Hd as the invalid horizontal scanning period Hd-D, The enable signal DEnb is deactivated during the invalid horizontal scanning period Hd-D.
  • the output control unit 31 determines whether or not the output preparation of the image signal D [2] is completed, and sets the output permission pulse PL [2] in the output control signal CTR.
  • a case (corresponding to Case-1) will be described.
  • the display preparation determination time TB [2] is the horizontal effective period of the horizontal scanning period Hd [1] (effective horizontal scanning period Hd-A [1]) in which the output of the image signal D [1] is completed. This is the end of the data period DHI.
  • the image signal generation time TC [2] for completing the image processing of the image signal D [2] comes before the display preparation determination time TB [2].
  • the image processing determination time TA [2] is substantially the same time as the display preparation determination time TB [2]. Therefore, the output control unit 31 outputs the output permission pulse PL [2] as the output control signal CTR at the end of the horizontal effective data period DHI of the horizontal scanning period Hd [1], that is, at the display preparation determination time TB [2]. Is output.
  • the timing generator 32 activates the internal processing signal IS at the timing when the output permission pulse PL [2] is output as the output control signal CTR, that is, at the timing when the horizontal valid data period DHI of the horizontal scanning period Hd [1] ends. To. In this case, the internal processing signal Is is active even at the start of the horizontal scanning period Hd [2].
  • the timing generator 32 determines whether the horizontal scanning period is the effective horizontal scanning period Hd-A [m] or the invalid horizontal scanning period Hd-D at the start timing (DHsync pulse) of the horizontal scanning period. A determination is made based on the state of the internal processing signal IS. In the above case, the internal processing signal IS is active. Therefore, the timing generator 32 sets the horizontal scanning period Hd [2] as the effective horizontal scanning period Hd-A [2], and activates the enable signal DEnb in the horizontal effective data period DHI of the horizontal scanning period Hd [2]. .
  • the start time of the horizontal effective data period DHI of the horizontal scanning period Hd [2] is the output condition satisfaction time TZ [2] in which all of the first condition to the third condition for the image signal D [2] are satisfied. Become. Therefore, the image signal D [2] is output in the horizontal scanning period Hd [2].
  • the timing generator 32 deactivates the internal processing signal IS at the timing when the horizontal valid data period DHI of the horizontal scanning period Hd [2] is started.
  • the output control unit 31 determines whether or not the output preparation of the image signal D [3] is completed, and sets the output permission pulse PL [3] in the output control signal CTR.
  • the case (corresponding to Case-2) will be described.
  • the display preparation determination time TB [3] is the horizontal effective period of the horizontal scanning period Hd [2] (effective horizontal scanning period Hd-A [2]) in which the output of the image signal D [2] is completed. This is the end of the data period DHI.
  • the image signal generation time TC [3] for completing the image processing of the image signal D [3] is later than the display preparation determination time TB [3].
  • the image processing determination time TA [3] is later than the display preparation determination time TB [3].
  • the output control unit 31 outputs the output permission pulse PL [3] at a time after the start of the horizontal scanning period Hd [3].
  • the timing generator 32 deactivates the internal processing signal Is at the start of the horizontal effective data period DHI of the horizontal scanning period Hd [2]. For this reason, the internal processing signal IS is inactive at the start of the horizontal scanning period Hd [3].
  • the timing generator 32 classifies the horizontal scanning period Hd [3] as the invalid horizontal scanning period Hd-D. Then, the enable signal DEnb is deactivated in the horizontal valid data period DHI of the horizontal scanning period Hd [3]. In this case, the image signal output unit 23 outputs the invalid signal Dmy without outputting the image signal D [3] in the horizontal effective data period DHI of the horizontal scanning period Hd [3]. Thereafter, the timing generator 32 activates the internal processing signal IS at the timing when the output permission pulse PL [3] is output as the output control signal CTR.
  • the timing at which the output permission pulse PL [3] is output is before the start of the horizontal scanning period Hd [4].
  • the internal processing signal IS is active even at the start of the horizontal scanning period Hd [4] (DHsync pulse). Therefore, the timing generator 32 sets the horizontal scanning period Hd [4] as the effective horizontal scanning period Hd-A [3], and activates the enable signal DEnb in the horizontal effective data period DHI of the horizontal scanning period Hd [4].
  • the start time of the horizontal effective data period DHI of the horizontal scanning period Hd [4] is the output condition satisfaction time TZ [3] in which all of the first condition to the third condition for the image signal D [3] are satisfied. Become.
  • the output control unit 31 determines whether or not the output preparation of the image signal D [1] is completed and sets the output permission pulse PL [1] in the output control signal CTR.
  • Case-1 is set as Case-1. It is assumed that this is the condition.
  • the output control unit 31 outputs the output permission pulse PL [m] when the first condition and the second condition are satisfied, and activates the state of the internal processing signal IS to At the start of the scanning period (DHsync pulse), it is determined whether the effective horizontal scanning period Hd-A [m] or the invalid horizontal scanning period Hd-D [m].
  • the image signal output unit 23 performs an operation of outputting the image signal D [m] in the first horizontal scanning period Hd after the output permission pulse PL [m] is output. .
  • the output timing of the image signal D [m] from the image signal output unit 23 of the image processing result of the line unit D [m] by the image processing unit 21 is output with the accuracy of the unit of the horizontal scanning period Hd. Will be adjusted.
  • the timing generator 32 determines the type of the horizontal scanning period Hd at the timing at which the horizontal scanning period Hd is started. However, this is merely an example, for example, an output permission pulse. From the start of the horizontal front porch period DHf of the horizontal scanning period Hd in which PL [m] is output to the end of the horizontal back porch period DHb of the first horizontal scanning period Hd after the output permission pulse PL [m] is output. It may be decided between.
  • the timing at which the internal processing signal IS is deactivated is the timing at which the enable signal DEnb is activated. However, this is only an example, and the timing generator 32 deactivates the internal processing signal IS. The timing of activation may be any time as long as it is during the horizontal effective data period DHI from when the enable signal DEnb becomes active until it becomes inactive.
  • the timing generator 32 uses the internal processing signal IS to determine the waveform of the enable signal DEnb and the type of the horizontal scanning period Hd.
  • the output control signal CTR has a waveform including the output permission pulse PL [m].
  • the output control signal CTR is, for example, an internal processing signal shown in FIG. It may have an IS waveform.
  • the timing generator 32 may supply the output control unit 31 with various signals such as the enable signal DEnb necessary for the output control unit 31 to determine the waveform of the output control signal CTR.
  • the display vertical scanning period Fd is a period for outputting the image signals D [1] to D [M] corresponding to the M rows.
  • the timing generator 32 provides M effective horizontal scanning periods Hd-A in the vertical effective data period DVI of each display vertical scanning period Fd.
  • the timing generator 32 according to the present embodiment classifies the horizontal scanning period Hd into either an effective horizontal scanning period Hd-A or an invalid horizontal scanning period Hd-D. Only when the horizontal scanning period Hd is the effective horizontal scanning period Hd-A, the image signal D [m] is output in the horizontal scanning period Hd.
  • the timing generator 32 when providing the invalid horizontal scanning period Hd-D in the vertical valid data period DVI of the display vertical scanning period Fd, is a time corresponding to the invalid horizontal scanning period Hd-D.
  • the display vertical synchronizing signal DVsync and the vertical effective data signal DVactive are extended so that the vertical effective data period DVI is extended by a length and M effective horizontal scanning periods Hd-A are provided in the vertical effective data period DVI of each display vertical scanning period Fd. Is output.
  • the timing generator 32 sets all the horizontal scanning periods Hd of the vertical effective data period DVI as the effective horizontal scanning period Hd-A as in the display vertical scanning period Fd1 shown in FIG.
  • the time length of DVI is set to M times the horizontal scanning period Hd.
  • a period excluding the vertical synchronization front porch period (DVf), the vertical synchronization period (DVp), and the vertical synchronization back porch period (DVb), that is, DVI is called a vertical effective data period DVI.
  • DVactive H.
  • the timing generator 32 when providing one or a plurality of invalid horizontal scanning periods Hd-D in the vertical valid data period DVI as in the display vertical scanning period Fd2 shown in FIG.
  • the time length of the display vertical scanning period Fd when all the horizontal scanning periods Hd of the vertical effective data period DVI are effective horizontal scanning periods Hd-A as in the display vertical scanning period Fd1 shown in FIG. This is referred to as standard vertical scanning time Td.
  • the maximum frame rate that can be displayed on the display unit 40 that is, “1 / Td” that is the frame rate when the time length of the display vertical scanning period Fd is the standard vertical scanning time Td, is set to “second frame rate”. May be called.
  • controlling the timing so that the image signal D is output at the second frame rate may be referred to as “first timing control”.
  • the timing control unit 30 controls the timing so that the image signal D is output in the vertical effective data period DVI in which one or more invalid horizontal scanning periods Hd-D are provided.
  • second timing control controls the timing so that the image signal D is output at the first frame rate.
  • FIG. 12 is a block diagram illustrating a configuration of the display unit 40.
  • the display unit 40 includes the controller 41 that controls the operation of the liquid crystal panel 42 and the liquid crystal panel 42 that displays an image according to the image signal D.
  • the liquid crystal panel 42 is provided with the display area AD for displaying an image corresponding to the image signal D.
  • the display area AD is M rows that can be received corresponding to the intersection of the M scanning lines extending in the horizontal direction, the N columns of data lines extending in the vertical direction, and the scanning lines and the data lines. ⁇ N columns of pixels.
  • the liquid crystal panel 42 includes a scanning line driving circuit 421 for selecting a scanning line, and a data line driving circuit 422 for driving the data line.
  • the controller 41 includes a data input unit 411 to which the image signal D (image signal DGB) is input from the image signal output unit 23, and the number of effective horizontal scanning periods Hd-A in each vertical effective data period DVI (the enable signal DEnb is active).
  • Counter 412 that counts the number of times the output of the liquid crystal panel 42
  • a timing generator 413 that generates various timing signals that define the drive timing of the liquid crystal panel 42
  • data that outputs an image signal D (image signal DGC) to the liquid crystal panel 42.
  • An output unit 414 and a register 415 for storing a setting parameter PRM that defines the operation of the controller 41 are provided.
  • data transmission between the image processing circuit 100 (the image signal generation unit 20 and the timing control unit 30) and the controller 41 is a low voltage differential (LVDS) serial interface (not shown). Do by. For this reason, data transmission between the image processing circuit 100 and the controller 41 can be performed at a higher speed than when data transmission is performed by a parallel interface.
  • LVDS low voltage differential
  • the setting parameter PRM set in the register 415 is a value that defines the operation of the controller 41 for operating the controller 41 in accordance with the specifications of the liquid crystal panel 42.
  • the setting parameter PRM for example, the time length of the horizontal scanning period Hd (or the clock number of the display dot clock signal DCLK included in the horizontal scanning period Hd.
  • the clock number of the display dot clock signal DCLK is simply referred to as “clock number”.
  • the time length of the horizontal effective data period DHI (or the number of pixels in the X-axis direction (N) in the display area AD), the time length of the horizontal synchronization period DHp (or the number of clocks), the horizontal back porch period DHb Of the vertical effective data period DVI when the invalid horizontal scanning period Hd-D is not included in the time length (or the number of clocks) of the horizontal front porch period DHf (or the number of clocks) of the vertical effective data period DVI.
  • Time length (or the number of vertical lines (M) in the display area AD In other words, the effective horizontal included in the vertical effective data period DVI.
  • the operation timing of the controller 41 can be set from the image processing circuit 100 in accordance with the specifications of the liquid crystal panel 42. Even when the specification of the liquid crystal panel 42 is changed, the controller 41 does not need to be changed. For this reason, it becomes possible to improve the versatility of the system.
  • the data input unit 411 receives from the image processing circuit 100 the display dot clock signal DCLK, the output signal from the image signal output unit 23 including the image signal D (image signal DGB) and the invalid signal Dmy, the enable signal DEnb, Is supplied.
  • the enable signal DEnb becomes active
  • the data input unit 411 supplies the image signal D [m for one line supplied from the image signal output unit 23 in synchronization with the display dot clock signal DCLK while the enable signal DEnb is active. ] And the captured image signal D [m] is output to the data output unit 414.
  • the enable signal DEnb is inactive, the data input unit 411 discards the invalid signal Dmy supplied from the image signal output unit 23 without taking it in.
  • the counter 412 is supplied with an enable signal DEnb and a display vertical synchronization signal DVsync from the image processing circuit 100.
  • the counter 412 counts rising edges of the enable signal DEnb, and outputs a count value Cnt indicating the count result to the timing generation unit 413.
  • the counter 412 resets the count value Cnt to “0” when the display vertical synchronization signal DVsync becomes active and the display vertical synchronization pulse PlsV is supplied as the display vertical synchronization signal DVsync. Therefore, the counter 412 can count the number of effective horizontal scanning periods Hd-A included in each display vertical scanning period Fd. That is, when the data input unit 411 takes in the image signal D [m] that designates an image to be displayed on the m-th line, the count value Cnt is the line number corresponding to the image signal D [m] ( m).
  • the timing generator 413 is supplied with the display vertical synchronization signal DVsync, the display horizontal synchronization signal DHsync, and the setting parameter PRM from the image processing circuit 100, and is also supplied with the count value Cnt from the counter 412. As described above, when the setting parameter PRM is supplied from the image processing circuit 100, the timing generation unit 413 sets the supplied setting parameter PRM in the register 415.
  • the timing generation unit 413 causes the scanning line driving circuit 421 to select the m-th line (scanning line) corresponding to the count value Cnt. Further, when the count value Cnt indicates “m”, the timing generation unit 413 outputs the image signal D [m] for one line captured by the data input unit 411 to the data output unit 414 as the image signal DGC. [m] is supplied to the data line driving circuit 422. In this case, the data line driving circuit 422 outputs data to N pixels (pixels in the m-th row) provided corresponding to the m-th scanning line selected by the scanning line driving circuit 421. The image signal DGC [m] supplied from the unit 414 is written through the data line.
  • the image of the selected line is displayed in the display area AD.
  • the image signals DGA and DGB are digital signals, but the image signal DGC may be a digital signal or an analog signal.
  • the controller 41 displays the image indicated by the image signal D supplied from the image signal output unit 23 in the display area AD of the liquid crystal panel 42.
  • the controller 41 detects that the count value Cnt is equal to the number of lines “M” of the display area AD set in the register 415. That is, at the timing when the vertical front porch period DVf is started, preparation for the modified frame processing is started. After the vertical front porch period DVf is started, the timing generation unit 413 outputs a modified frame processing start signal Cng for instructing the data input unit 411 and the data output unit 414 to execute the modified frame processing.
  • the modified frame process is a process for preparing to display an image in the next display vertical scanning period Fd.
  • the data stored in the buffers included in the data input unit 411 and the data output unit 414 is erased.
  • the process etc. which perform are included.
  • the frame reform process is started after the start of the vertical front porch period DVf. Further, it is preferable that the modified frame process is completed before the end of the vertical front porch period DVf.
  • FIG. 13 is a block diagram showing a configuration of each partial image processing unit 21J (21L, 21C, 21R). As shown in this figure, the partial image processing unit 21J is stored in the line buffer 211J (211L, 211C, 211R) for temporarily storing the imaging signal DS-J output from the image sensor 12J, and the line buffer 211J.
  • Pixel interpolation processing unit 212J (212L, 212C, 212R) that performs interpolation processing on the captured image signal DS-J
  • color reproduction processing unit 213J (213L) that performs color reproduction processing on the interpolated imaging signal DS-J 213C, 213R
  • a filter processing unit 214J (214L, 214C, 214R) for performing filter processing on the color-reproduced imaging signal DS-J, and gamma correction on the filtered imaging signal DS-J
  • a gamma correction unit 215J (215L, 215C, 215R) that performs image processing
  • a line buffer 216J (216L, 216) that temporarily stores the gamma-corrected imaging signal DS-J.
  • the driver can input an instruction for designating the trimming position using the operation unit 60.
  • the resizing processing unit 217J executes resizing processing for converting the imaging signal DS-J into a partial image signal DRS-J corresponding to the number of pixels in the display area AD-J.
  • the image indicated by the imaging signal DS-J may have distortion due to the optical characteristics of the lens provided in the imaging optical system provided corresponding to the image sensor 12J.
  • an image showing an imaging result when the subject is imaged is barrel aberration that expands outward as compared to an image that should be displayed in the display area AD-J, or an image that should be displayed originally. It may have pincushion aberration that shrinks inward as compared to. Therefore, the resizing processing unit 217J executes a distortion correction process for correcting distortion aberration such as barrel aberration and pincushion aberration in the resizing process.
  • FIG. 14 is an explanatory diagram for explaining the distortion correction processing executed by the resizing processing unit 217J.
  • the imaging signal DS-J for one line indicating the image to be displayed on the pJ-th line is referred to as imaging signal DS-J [pJ] (pJ is 1 ⁇ pJ ⁇ natural number satisfying PJ).
  • the partial image signal DRS-J for one line of the m-th row among the partial image signals DRS-J is referred to as a partial image signal DRS-J [m].
  • the image indicated by the imaging signal DS-J is denoted by reference symbol Pc1
  • the partial image signal DRS- when the image indicated by J is denoted by Pc2, and when pincushion aberration is generated, the image indicated by the imaging signal DS-J is denoted by Pc3, and the subject is imaged based on the imaging signal DS-J indicating the image Pc3.
  • the image indicated by the partial image signal DRS-J is denoted by reference symbol Pc4.
  • the image Pc1 is obtained even when the image to be displayed in the display area AD-J is a quadrangle SQ (assuming that trimming processing, horizontal reduction / enlargement processing, and vertical reduction / enlargement processing described later are not performed).
  • the imaging signal DS-J is a signal indicated by the imaging signal DS-J in the case where the imaging signal DS-J indicates a closed curve CV1 in which the square SQ is expanded due to barrel aberration.
  • the image Pc3 is an image to be displayed in the display area AD-J (when assuming that a trimming process, a horizontal reduction / enlargement process, and a vertical reduction / enlargement process described later are not performed) is a square SQ.
  • the image signal DS-J is a signal indicated by the image signal DS-J when the image signal DS-J indicates a closed curve CV2 in which the quadrangle SQ contracts due to pincushion aberration.
  • the resizing processing unit 217J corrects the image Pc1 indicating the closed curve CV1 to the image Pc2 indicating the quadrangle SQ in the distortion correction processing. Similarly, the resizing processing unit 217J corrects the image Pc3 indicating the closed curve CV2 to the image Pc4 indicating the quadrangle SQ in the distortion correction process when barrel-shaped aberration occurs. In these cases, the resizing processing unit 217J associates the pixel in the image before correction with the pixel in the image after correction, sets the pixel before correction corresponding to the pixel after correction as the center pixel, and the center pixel and the surrounding pixels. The gradation to be displayed for the corrected pixel is determined based on the gradation to be displayed at each pixel in the reference region including the peripheral pixels as pixels.
  • the resizing processing unit 217J determines the uncorrected pixel PxC1 constituting the image Pc1 or the image Pc3 as the central pixel. Then, the resizing processing unit 217J determines the gradation to be displayed on the pixel PxS1 based on the gradation to be displayed on each pixel in the reference area Area1 including the pixel PxC1 that is the central pixel.
  • the resizing processing unit 217J determines the uncorrected pixel PxC2 constituting the image Pc1 or the image Pc3 as the central pixel when determining the gradation of the corrected pixel PxS2 constituting the image Pc2 or the image Pc4. Then, the resizing processing unit 217J determines the gradation to be displayed by the pixel PxS2 based on the gradation to be displayed by each pixel in the reference area Area2 including the pixel PxC2 that is the central pixel.
  • pixels with dark hatching in the image Pc2 and the image Pc4 indicate corrected pixels located in the first row, the seventh row, and the twelfth row in the partial image signal DJ, and the image Pc1 and the image Pc1.
  • the pixels with dark hatching in Pc3 indicate the uncorrected pixels (center pixels) corresponding to the corrected pixels, and the pixels with light hatching in the images Pc1 and Pc3 correspond to the center pixels, respectively.
  • the surrounding pixels are shown.
  • the degree of image expansion when barrel aberration is occurring varies depending on the position of the line on the screen, and as the vertical position on the screen approaches the end, The degree of image expansion increases.
  • the degree of image shrinkage when pincushion aberration occurs varies depending on the position of the line on the screen, and the degree of image shrinkage increases as the vertical position on the screen approaches the edge. Therefore, the number of lines of the imaging signal DS-J required when the resize processing unit 217J generates the partial image signal DRS-J [m] is the position of the line corresponding to the partial image signal D-J [m] ( m). For this reason, the time length required for the resizing processing by the resizing processing unit 217J varies depending on the position of the line.
  • the resizing processing unit 217J in order for the resizing processing unit 217J to generate the partial image signal DRS-J [1] corresponding to the first line, it corresponds to the first to fifth lines.
  • the imaging signals DS-J [1] to DS-J [5] to be used are required.
  • the imaging signal DS corresponding to the eighth to tenth lines. -J [8] to DS-J [10] are required. That is, the time length required for the resize processing unit 217J to generate the partial image signal DRS-J [1] is longer than the time length required to generate the partial image signal DRS-J [7].
  • the driver can change the region reflected in the mirror by setting the up / down / left / right direction of the mirror to an arbitrary direction by using an operation lever or a button provided beside the driver's seat.
  • the driver of the vehicle ⁇ uses the touch panel (not shown) of the operation unit 60 to display the image indicated by the resized image of the partial image signal DRS-J.
  • an instruction for designating a trimming position can be input.
  • FIG. 15A shows an example of the trimming area designated by the driver.
  • the trimming area AreaT-J is a rectangular area that is a part of the image indicated by the partial image signal DRS-J.
  • the driver can visually recognize the image indicated by the partial image signal DRS-J displayed on the touch panel (not shown) of the operation unit 60 in the vehicle compartment, and display the rectangle displayed on the image.
  • the frame FRM-J is moved by a touch operation to designate the trimming area AreaT-J.
  • the rectangular frame FRM-J defines an area of a predetermined size
  • the trimming area AreaT-J is determined by, for example, the position PosT-J of the upper left vertex of the rectangular frame FRM-J.
  • the control unit 50 When the driver moves the rectangular frame FRM-J with the touch panel and designates the position PosT-J, the control unit 50 generates a position designation signal Cp-J indicating the position PosT-J and trims the partial image processing unit 21J. This is supplied to the processing unit 218J.
  • the trimming processing unit 218J determines the rectangular frame FRM-J having the position PosT-J designated by the position designation signal Cp-J as the upper left vertex as the trimming area AreaT-J, and the image indicated by the partial image signal DRS-J Among them, a trimming process for trimming the trimming area AreaT-J is executed.
  • an operation lever similar to the conventional one is provided, and the driver moves the operation lever etc. by hand to move the rectangular frame FRM-J of a predetermined size in the horizontal and vertical directions, thereby trimming area AreaT- It is good also as a structure which can designate J.
  • the partial image signal DRS-J matches the number of pixels included in the display area AD-J. Therefore, the number of pixels in the trimming area AreaT-J, which is a part of the partial image signal DRS-J, is greater than the number of pixels included in the display area AD-J. Less. Therefore, in order to make the number of pixels of the trimming area AreaT-J coincide with the number of pixels included in the display area AD-J, the trimming processing unit 218J enlarges the trimming area AreaT-J after the trimming area AreaT-J is designated. Execute the enlargement process.
  • FIG. 15B shows an example of the image after the trimming process. As understood from FIGS. 15A and 15B, the image indicated by the trimming area AreaT-J shown in FIG.
  • a partial image signal DT-J (having the same number of pixels as the partial image signal D-J) is generated.
  • An image of Mrs rows ⁇ NrsJ columns (Mrs is a natural number satisfying M ⁇ Mrs ⁇ PJ and NrsJ is a natural number satisfying NJ ⁇ NrsJ ⁇ QJ) is generated by the resizing process, and then the image generated by the resizing process is used.
  • a trimming process for cutting out an image of M rows ⁇ NJ columns may be executed.
  • the trimming area AreaT-J is M rows ⁇ NJ columns, enlargement processing is unnecessary, and the image quality can be improved.
  • the rectangular frame FRM-J does not need to have a predetermined size, and may be configured to be changeable by a driver's operation. In this case, the enlargement ratio of the image indicated by the trimming area AreaT-J can be freely changed.
  • a mechanism for making the orientation of the camera movable as compared to a configuration in which the photographing range is changed by making the photographing direction of the camera itself including the image sensor movable in the imaging unit there is an advantage that the cost can be suppressed because of eliminating the need for.
  • the trimming process after the trimming area AreaT-J is designated, the area is enlarged in accordance with the size of the display area AD-J, so that there is an advantage that the area that the driver wants to see is enlarged and displayed. .
  • the partial image processing unit 21J further performs a horizontal reversal process on the partial image signal DT-J, so that a part indicating an image obtained by horizontally reversing the image indicated by the partial image signal DT-J is obtained.
  • Mirror image generation unit 219J (219L, 219C, 219R) that generates image signal DF-J (DF-L, DF-C, DF-R), and horizontal direction reduction / enlargement processing for partial image signal DF-J
  • DF-J image signal
  • DF-C image signal
  • DF-R horizontal direction reduction / enlargement processing for partial image signal DF-J
  • a horizontal image for generating a partial image signal DX-J (DX-L, DX-C, DX-R) indicating an image obtained by reducing and enlarging the image indicated by the partial image signal DF-J in the horizontal direction for each line.
  • the direction reduction / enlargement processing unit 220J (220L, 220C, 220R) and the vertical image reduction / enlargement processing are performed on the partial image signal DX-J to reduce the image indicated by the partial image signal DX-J in the vertical direction.
  • a vertical reduction / enlargement processing unit that generates a partial image signal DJ indicating an enlarged image Comprising 21J (221L, 221C, 221R) and the.
  • FIG. 15C shows an example of an image indicated by the partial image signal DF-J generated by the left-right reversing process executed by the mirror image generation unit 219J.
  • the driver of the vehicle ⁇ confirms the safety of the rear and rear sides of the vehicle by looking at the mirror image of the subject reflected on the conventional side mirror and rearview mirror.
  • the image sensor 12J captures the subject itself, not the mirror image of the subject. For this reason, the orientation of the image indicated by the imaging signal DS-J output from the image sensor 12J is opposite to the mirror image reflected on the conventional side mirror or rearview mirror. Therefore, the mirror image generation unit 219J generates a partial image signal DF-J (FIG.
  • FIG. 16A is a conceptual diagram of image enlargement / reduction processing according to the present embodiment.
  • the reduction / enlargement process in the left image processing unit 21L among the partial image processing units 21J (21L, 21C, 21R) will be described as an example.
  • the image indicated by the partial image signal DF-L output from the mirror image generation unit 219L is represented by the upper left region LR1, the left central region LR2,
  • the lower left area LR3, the upper central area LR4, the central area LR5, and the lower central area LR6 are divided into six areas.
  • the ratio of the lengths of the left region (region far from the vehicle body) and the central region (region close to the vehicle body) is “2: 3 ”
  • the ratio of the lengths of the upper region, the central region, and the lower region in the vertical direction (vertical direction) is“ 1: 3: 1 ”.
  • a predetermined horizontal scaling factor (magnification or reduction ratio in the left-right direction) and a predetermined vertical scaling factor (magnification or reduction ratio in the vertical direction) are set in advance.
  • information in the region LRC (FIG. 2) close to the vehicle body is information necessary for safe driving of the vehicle because of high risk of contact with the vehicle.
  • an image in the region LRL far from the vehicle body is less important in safety confirmation.
  • the enlargement ratio or reduction ratio in the left-right direction is set so that the region LRC close to the vehicle body in the left-right direction is relatively enlarged compared to the region LRL far from the vehicle body.
  • images of other vehicles and pedestrians are necessary information for safe driving of the vehicle, but images of scenery such as sky and mountains in the area above the image, The importance of the road image in the area below the image is low.
  • the enlargement ratio or reduction ratio in the vertical direction is set so that the center area in the vertical direction is relatively enlarged compared to the upper area or the lower area.
  • the upper left region LR1 and the lower left region LR3 which are far from the vehicle ⁇ and are the upper or lower region
  • Both the horizontal reduction ratio H2 and the vertical reduction ratios V2 and V3 are set to 25%.
  • the horizontal reduction ratio H2 is set to 25% and the vertical expansion ratio V1 is set to 150%.
  • the horizontal enlargement ratio H1 is set to 150%, and the vertical reduction ratios V2 and V3 are both set.
  • both the horizontal magnification factor H1 and the vertical magnification factor V1 are set to 150%.
  • the reduction / enlargement processing executed by the right image processing unit 21R is the same as the reduction / enlargement processing executed by the left image processing unit 21L shown in FIG. 16A except that the left and right are reversed. is there. That is, in the reduction / enlargement processing in the left image processing unit 21L and the right image processing unit 21R, the enlargement ratio H1 for the region close to the vehicle ⁇ in the left-right direction and the region far from the vehicle ⁇ in the left-right direction.
  • Y1 ⁇ V1 + Y2 ⁇ V2 + Y3 ⁇ V3 By setting the enlargement ratio and the reduction ratio in this way, the ratio of the sizes between the regions can be changed without changing the size (number of pixels) of the images themselves indicated by the partial image signals DF-L and DF-R.
  • Modified partial image signals D-L and D-R can be generated. In other words, even when the reduction / enlargement processing is performed, the partial image signals DL and DR can be made to coincide with the number of pixels included in the display areas AD-L and AD-R.
  • FIG. 16B is a conceptual diagram for explaining horizontal reduction / enlargement processing executed by the horizontal reduction / enlargement processing unit 220L included in the left image processing unit 21L
  • FIG. 16C is a vertical reduction / enlargement process. It is a conceptual diagram for explaining the vertical direction reduction / enlargement processing executed by a unit 221L.
  • the horizontal direction reduction / enlargement processing unit 220L processing for relatively expanding the region close to the vehicle body in the left-right direction compared to the region far from the vehicle body with respect to the partial image signal DF-L output from the mirror image generation unit 219L. (Horizontal reduction / enlargement processing) is executed.
  • a scaling process corresponding to the set enlargement ratio H1 or reduction ratio H2 is performed on the images in the regions LR1 to LR6.
  • This scaling process is executed for each line. For example, assuming that the number of pixels in one line is 100 (that is, 100 columns), the pixels from the first column to the 40th column belonging to the upper left region LR1, the left center region LR2, and the lower left region LR3 are reduced by a reduction ratio H2 (25% ) To reduce the size. That is, processing for reducing the number of pixels from 40 to 10 is performed.
  • a well-known method is arbitrarily employed such as arithmetically averaging the values indicated by the detection signals output from the light receiving elements for a predetermined number of adjacent pixels. Further, a process of enlarging the pixels from the 41st column to the 100th column belonging to the central upper region LR4, the central region LR5, and the central lower region LR6 at an enlargement ratio H1 (150%) is performed. That is, processing for increasing the number of pixels from 60 to 90 is performed. A known method such as nearest neighbor interpolation is arbitrarily employed for this enlargement process. When the horizontal reduction / enlargement processing is performed on all lines, the image size ratio of each of the regions LR1 to LR6 is changed as shown in FIG. 16B (image indicated by the partial image signal DX-L). Is generated.
  • the vertical reduction / enlargement processing unit 221L compares the central area with the upper or lower area in the vertical direction with respect to the partial image signal DX-L output for each line from the horizontal reduction / enlargement processing unit 220L.
  • the process of relatively enlarging (vertical reduction / enlargement process) is executed. Specifically, a scaling process corresponding to the set enlargement rate V1 or reduction rate V2 or V3 is performed on the images in the regions LR1 to LR6. This scaling process is executed for each of a plurality of lines.
  • the number of lines of the partial image signal DX-L is 100 lines
  • the number of lines corresponding to the reduction ratio V2 (25%) among the first to twentieth lines belonging to the upper left region LR1 and the central upper region LR4.
  • the process of thinning out is performed. That is, a process of thinning out one line for every four lines is performed. Further, the pixels in the 21st to 80th rows belonging to the left central region LR2 and the central region LR5 are enlarged at an enlargement ratio V1 (150%). Of the 81st to 100th rows belonging to the lower left region LR3 and the central lower region LR6, the number of lines corresponding to the reduction rate V3 (25%) is thinned out.
  • the image size ratio of each of the regions LR1 to LR6 is changed as shown in FIG. 16C (image indicated by the partial image signal DL). Is generated.
  • FIG. 17 is an example of an image indicated by the partial image signal DL that has undergone the horizontal reduction / enlargement process and the vertical reduction / enlargement process.
  • the image indicated by the partial image signal D-L shown in this figure is displayed in the left display area AD-L and then enlarged in the enlarged display area Area-L (see FIG. 3A or FIG. 3B). That is, in the enlarged display area Area-L, an image is displayed that is close to the vehicle body in the left-right direction and whose center area in the up-down direction is relatively enlarged compared to other areas.
  • FIG. 18 is an example of an image indicated by the partial image signal DR that has undergone the horizontal reduction / enlargement process and the vertical reduction / enlargement process.
  • the image indicated by the partial image signal D-R shown in this figure is displayed in the right display area AD-R and enlarged in the enlarged display area Area-R (see FIG. 3A or 3B). That is, in the enlarged display area Area-R, an image is displayed that is close to the vehicle body in the left-right direction and whose center area in the up-down direction is relatively enlarged compared to other areas.
  • the image indicated by the partial image signal DR that is enlarged and displayed in the enlarged display area Area-R has a region RRC (see FIG. 2) that is close to the vehicle body in the left-right direction more than the region RRR that is far from the vehicle body. The center region is enlarged in the vertical direction.
  • reduction / enlargement processing horizontal reduction / enlargement processing and vertical reduction / enlargement processing
  • the reduction / enlargement processing in the image processing unit 21C for the central image is performed on the left side in the division mode when the partial image signal DT-J is divided into a plurality of areas and the reduction / enlargement ratio of each divided area. This is different from the reduction / enlargement processing in the image processing unit 21L and the right image processing unit 21R.
  • FIG. 19 is a conceptual diagram of reduction / enlargement processing in the central image processing unit 21C.
  • the image of the partial image signal DF-C output from the mirror image generation unit 219C is represented by the upper left region BR1, the left central region BR2, the lower left
  • the area is divided into nine areas: area BR3, center upper area BR4, center area BR5, center lower area BR6, upper right area BR7, right center area BR8, and lower right area BR9.
  • the ratio of the lengths of the left region BRL see FIG. 2), the central region BRC, and the right region BRR is “1: 3: 1”
  • the ratio of the lengths of the upper region, the central region, and the lower region is “1: 3: 1”.
  • a predetermined horizontal scaling factor (magnification or reduction ratio in the left-right direction) and a predetermined vertical scaling factor (magnification or reduction ratio in the vertical direction) are set in advance.
  • the upper left region BR1, the lower left region BR3, the upper right region BR7, and the lower right region BR9 which are end regions in both the horizontal direction and the vertical direction, are reduced in the horizontal direction. Both the rate and the vertical reduction rate are set to 25%.
  • the reduction ratio in the left-right direction is set to 25% and the enlargement ratio in the up-down direction is set to 150%. Is done.
  • the left-right direction enlargement ratio is set to 150% and the up-down direction reduction ratio is set to 25%.
  • both the left and right direction enlargement ratio and the up and down direction enlargement ratio are set to 150%.
  • the physical processing is not required, and the center in the left and right and up and down directions. It is possible to improve the visibility of the area.
  • the image indicated by the partial image signal D-C generated in this way is displayed in the central display area AD-C and then enlarged and displayed in the enlarged display area Area-L (see FIG. 3A or 3B).
  • the vertical reduction / enlargement processing unit 221J completes the generated partial image signal DJ [m] (partial image The signal DGA-J [m]) is stored in the line buffer 22, and a partial write completion signal PtA-J indicating that the storage of the partial image signal D-J [m] in the line buffer 22 is completed is output. .
  • imaging signal DS imaging signal DS-J [pJ]
  • image signal D image signal D [m]
  • the number of lines of the imaging signal DS-J necessary for generating the partial image signal D-J [m] is the partial image. It fluctuates depending on the position of the line (value of m) corresponding to the signal DJ [m].
  • the number of lines of the imaging signal DS-J required when the resize processing unit 217J of the partial image processing unit 21J generates the partial image signal DRS-J [m] by resizing processing including distortion correction processing is as follows. It fluctuates depending on the position of the line (value of m) corresponding to the signal DRS-J [m]. In the example shown in FIG.
  • the imaging signal DS-J necessary for generating the partial image signal DRS-J [1] is for five lines of imaging signals DS-J [1] to DS-J [5].
  • Imaging signal DS-J [pJ] and the imaging signal DS-J necessary for generating the partial image signal DRS-J [7] is the imaging signal DS-J [8] to DS-J [10 ]
  • the image signal DS-J necessary for generating the partial image signal DRS-J [12] is the image signal DS-J [12]- This is the imaging signal DS-J [pJ] for five lines of DS-J [16].
  • the number of lines of the partial image signal DX-J required when the vertical direction reduction / enlargement processing unit 221J generates the partial image signal DJ [m] by the vertical direction reduction / enlargement processing is as follows. It fluctuates depending on the position of the line (value of m) corresponding to the signal DJ [m]. Therefore, the time required for the image processing performed by the partial image processing unit 21J to generate the partial image signal D-J [m] is the position of the line corresponding to the partial image signal D-J [m] ( m).
  • FIG. 20 is a timing chart schematically showing the relationship between the image signal D [m] and the partial image signal D-J [m] and the imaging signal DS-J [pJ].
  • the generation of the partial image signal DL [m] is generated.
  • the imaging signal DS-L [pL] used for the imaging is the imaging signals DS-L [10] to DS-L [12]
  • the imaging signals DS-L [10] to DS-L [12] are captured. This is referred to as signal DGS-L [m].
  • the imaging signal DS-C [pC] is the imaging signal DS-C [14] to DS-C [17]
  • the imaging signal DS-C [14] to DS-C [17] is converted to the imaging signal DGS-C. This is referred to as [m].
  • the imaging signal DS-R [pR] is the imaging signal DS-R [12] to DS-R [14]
  • the imaging signal DS-R [12] to DS-R [14] is converted to the imaging signal DGS-R. This is referred to as [m].
  • an imaging signal DGS [m] a signal composed of the imaging signal DGS-L [m], the imaging signal DGS-C [m], and the imaging signal DGS-R [m], which is necessary for generating the image signal D [m]
  • an imaging signal DGS [m] a signal composed of the imaging signal DGS-L [m], the imaging signal DGS-C [m], and the imaging signal DGS-R [m] which is necessary for generating the image signal D [m]
  • An imaging signal DGS-C [m] composed of an imaging signal DGS-L [m], imaging signals DS-C [14] to DS-C [17], and imaging signals DS-R [12] to DS-R [
  • the image signal DGS-R [m] consisting of 14] is referred to as an image signal DGS [m].
  • the time required for the image processing for generating the image signal D [m] is referred to as an image processing time UA [m] and is required for the image processing for generating the partial image signal D-J [m].
  • the time is referred to as a partial image processing time UA-J [m].
  • the partial image processing unit 21J determines that the partial image processing time UA-J [m] varies depending on the position of the line (value of m) corresponding to the partial image signal D-J [m].
  • the image signal D [m] is composed of partial image signals D-L [m], D-C [m], and D-R [m]. For this reason, the image processing time UA [m] varies depending on the position of the line (value of m) corresponding to the image signal D [m].
  • the image processing unit 21 When the supply of the imaging signal DGS [m] from the imaging unit 10 is started, the image processing unit 21 performs image processing on the imaging signal DGS [m]. Then, the image processing unit 21 completes the image processing after the image processing time UA [m], and generates an image signal D [m]. More specifically, as shown in FIG. 20, the left image processing unit 21L of the image processing unit 21 performs image processing on the imaging signal DGS-L [m] supplied by the left rear image sensor 12L. After the partial image processing time UA-L [m], a partial image signal DL [m] is generated and a partial writing completion signal PtA-L is output.
  • the image processing unit 21C for the central image in the image processing unit 21 performs image processing on the imaging signal DGS-C [m] supplied from the image sensor 12C for the central rear, and the partial image processing time UA-C [ After m], a partial image signal D-C [m] is generated, and a partial write completion signal PtA-C is output.
  • the right image processing unit 21R of the image processing unit 21 performs image processing on the imaging signal DGS-R [m] supplied by the right rear image sensor 12R, and the partial image processing time UA-R [ After m], a partial image signal D-R [m] is generated, and a partial writing completion signal PtA-R is output.
  • imaging signal DS-J [pJ] are continuously output over a part of the imaging horizontal synchronization signal SHsync, for example, as shown in FIG. 20 (and subsequent figures). For convenience of illustration, periods in which various signals are output are indicated by circles.
  • FIG. 21 shows that the imaging unit 10 sends an imaging signal DS (imaging signal) to the image signal generation unit 20 in each of the imaging vertical scanning periods Fs1 to Fs3 among a plurality of consecutive imaging vertical scanning periods Fs (Fs0 to Fs3).
  • 6 is a timing chart schematically showing the timing of outputting (supplying) DS-J [1] to DS-J [pJ]).
  • the left rear image sensor 12L, the center rear image sensor 12C, and the right rear image sensor 12R operate in synchronization with various timing signals output from the timing generator 13. Therefore, the frame rates of the left rear image sensor 12L, the center rear image sensor 12C, and the right rear image sensor 12R are equal.
  • the pixel size of the imaging signal DS-J output from each image sensor 12J may be different from each other. Further, the time required for transmission of the imaging signal DS-J from each image sensor 12J to the partial image processing unit 21J may be different. Therefore, normally, the period during which the imaging signal DS-J is output (supplied) from the imaging unit 10 to the image signal generation unit 20 differs for each of the imaging signals DS-L, DS-C, and DS-R. Therefore, as shown in FIG.
  • the imaging signal DS-L the imaging signal DS-L
  • DS-C the imaging signal DS-C
  • DS-R ends from the earliest time among the times when the output (supply) of DS-C and DS-R is started. This is the period up to the latest time.
  • the imaging signal DS (imaging signal DS-J [pJ]) output in the imaging vertical scanning period Fs0 to Fs3 will be referred to as the imaging signals DS0 to DS3 (imaging signals DS-J0 [pJ] to DS-J3 [ pJ]).
  • the imaging signals DGS [m] output in the imaging vertical scanning periods Fs0 to Fs3 may be expressed separately as imaging signals DGS0 [m] to DGS3 [m], respectively.
  • the time when the imaging unit 10 outputs the imaging signal DS and the time when the image signal generation unit 20 receives the supply of the imaging signal DS are substantially the same time, and they are not distinguished. It will be explained in the following.
  • the image processing unit 21 outputs the image signal D (D [1] to D [M]), that is, the image based on the imaging signals DS1 to DS3 output by the imaging unit 10 in the imaging vertical scanning periods Fs1 to Fs3.
  • a signal DGA (DGA [1] to DGA [M]) is generated, and the generated image signal DGA is stored in the line buffer 22 and the display is displayed among a plurality of continuous display vertical scanning periods Fd (Fd0 to Fd3).
  • the image signal output unit 23 receives the image signal D (D [1] to D [M]), that is, the image signal DGB (DGB [1] to DGB [M]) from the line buffer 22.
  • FIG. 5 is a timing chart schematically showing a relationship between the timing at which the information is acquired and output to the display unit 40.
  • the image signals D [m] (DGA [m], DGB [m]) generated based on the imaging signals DGS0 [m] to DGS3 [m] are used as the image signals D0 [m] to D3 [m].
  • DGA0 [m] to DGA3 [m], DGB0 [m] to DGB3 [m] may be distinguished and expressed.
  • a period in which the imaging signal DS is output in the imaging vertical scanning period Fs is referred to as “frame of the imaging signal DS”.
  • the vertical effective data period DVI in which the image signal D can be output is referred to as a “frame of the image signal D”.
  • the time from the start of the frame of the imaging signal DS to the start of the frame of the image signal D is referred to as a phase difference PD.
  • the image signal generation unit 20 outputs an image signal D based on the imaging signal DS output by the imaging unit 10 in the imaging vertical scanning period Fs from the start of the frame of the imaging vertical scanning period Fs.
  • the time until the start of the frame in the display vertical scanning period Fd may be used.
  • the timing at which the imaging unit 10 supplies the imaging signals DGS [1] to DGS [M] to the image processing unit 21 is represented by a line L1. That is, for the line L1, the image processing unit 21 starts image processing for generating each of the image signals D [1] to D [M] (image signals DGA [1] to DGA [M]) for each line. This represents the state (timing) in the time direction. Further, the generation of the image signals DGA [1] to DGA [M] by the image processing unit 21 is completed, and the state (timing) in the time direction in which these are stored in the line buffer 22 for each line is represented by a line L2. .
  • the image signal output unit 23 outputs the image signal DGB [m] after the generation of the image signal DGA [m] is completed. Therefore, the image signal DGB [m] is not output at a time before the time indicated by the line L2.
  • the line L2 is a line connecting the image signal generation times TC [1] to TC [M] described in FIG.
  • the image signal output unit 23 supplies the image signals DGB [1] to DGB [M] at an ideal timing for the display unit 40, that is, the highest frame rate (display vertical) that the display unit 40 can display.
  • the image signals DGB [1] to DGB [M] are supplied so as to display at a frame rate when the time length of the scanning period Fd is the standard vertical scanning time Td)
  • the image signal output unit 23 outputs the image signal DGB.
  • the timing for reading out and displaying [1] to DGB [M] sequentially for each line is represented by a line L3.
  • the line L3 is assumed when the image signal output unit 23 outputs the image signal DGB [m] for one line for each horizontal scanning period Hd in which the display unit 40 can display an image for one line (that is, When the frame rate of the display unit 40 is the second frame rate), the display unit 40 reads and displays the images indicated by the image signals DGB [1] to DGB [M] in the line order for each horizontal scanning period Hd. And has a slope that increases by one line for each horizontal scanning period Hd.
  • the line L3 assumes that all of the horizontal scanning periods Hd included in the vertical valid data period DVI are valid horizontal scanning periods Hd-A, and the invalid horizontal scanning period Hd- Assuming that D is included, the output time of the image signal D [m] on the premise that the output of the image signal D [m-1] of the m-1st row is completed (satisfaction of the second condition)
  • the display preparation determination time TB [m] shown does not necessarily match.
  • the image signal output unit 23 outputs the image signal DGB [m] when the display unit 40 can display. Therefore, the image signal DGB [m] is not read out and output at a time before the time indicated by the line L3.
  • the image processing times UA corresponding to the image signals DGA0 [m] to DGA3 [m] may be distinguished and expressed as image processing times UA0 [m] to UA3 [m].
  • the time from when the image signal DGA [m] is stored in the line buffer 22 until it is output to the display unit 40 by the image signal output unit 23 is referred to as a standby time UB.
  • the standby times UB corresponding to the image signals DGB1 [m] to DGB3 [m] may be distinguished and expressed as the standby times UB1 [m] to UB3 [m].
  • the number of lines of the imaging signal DS-J necessary for generating the partial image signal D-J [m] is the partial image signal DJ [m ] Varies according to the position of the line (value of m). For this reason, usually, the start interval of the image processing for generating the image signal D [m] corresponding to each line does not become a constant interval but varies. That is, the line L1 is not a straight line but a broken line. However, in FIG. 22, it is drawn as a straight line for convenience of illustration.
  • the inclination of the line L1 is determined according to the first frame rate that is the frame rate of the imaging unit 10. .
  • the image processing time UA [m] required for generating the image signal D [m] varies depending on the position of the line (value of m) corresponding to the image signal D [m].
  • the line L2 is usually not a straight line but a broken line, but is drawn as a straight line in FIG. 22 for convenience of illustration.
  • the image processing unit 21 outputs the image signal D1 [m] (DGA1 [m]) based on the imaging signal DS1 (DGS1 [m]) output from the imaging unit 10 in the imaging vertical scanning period Fs1.
  • the line L2 indicating the time to be generated is the line L4 indicating the earliest time at which the display unit 40 can display the image indicated by the image signal D1 [m] (DGA1 [m]) in the display vertical scanning period Fd1 (the aforementioned line A virtual timing different from the definition of L3 is described as a line L4).
  • Such a state in which the line L2 is temporally ahead of the line L3 (line L4) is referred to as a “first state”.
  • the first state is a preparation for displaying an image indicated by the image signal D [m] on the display unit 40 when the image processing unit 21 generates the image signal D [m] based on the imaging signal DS. It is a state that has not been made.
  • the display unit 40 displays the image signal D1 [m]. This is a case where the image indicated by the image signal D1 [m-1] to be displayed is being displayed before the display unit 40 cannot display the image indicated by the image signal D1 [m].
  • the display unit 40 side for displaying the image signal D [m] is not ready in time, so the display The display of the image in the unit 40 is in a state of being delayed because the display preparation on the display unit 40 side becomes a bottleneck.
  • the first state is that the image signal D [m] can be displayed promptly without delay at the timing when the display unit 40 can display the image signal D [m]. It is.
  • the time (cycle) required to display one screen on the display unit 40 is shorter than the time (cycle) required to image one screen on the imaging unit 10.
  • the display delay in which display preparation becomes a bottleneck is gradually reduced and eliminated.
  • FIG. 22 for convenience of illustration, only one set of vertical scanning period of one imaging vertical scanning period Fs (Fs1) and one display vertical scanning period Fd (Fd1) is shown as the first state.
  • the phase difference PD1 in the first state (the phase difference PD in the first state is denoted by the symbol PD1 as shown in FIG. 22) is the difference between the display vertical scanning period Fd and the imaging vertical scanning period Fs.
  • the distance between the line L3 and the line L2 is generally shortened by a time corresponding to the difference between the display vertical scanning period Fd and the imaging vertical scanning period Fs.
  • the line L2 precedes the line L3 (line L4) in time before the display delay on which the display preparation on the display unit 40 side becomes a bottleneck is eliminated.
  • the display delay becomes a bottleneck, the display delay is resolved, but this is not actually the case, but the earliest possible display of an image on the display unit 40 side. It is assumed that the line L4 indicating the time can be a timing that precedes the line L2 in time as a virtual state.
  • the line L2 may not be a straight line but a broken line. In this case, it can be seen that the cross between the line L2 and the virtual line L4 may occur a plurality of times.
  • the image processing unit 21 outputs the image signal D2 [m] (DGA2 [m]) based on the imaging signal DS2 (DGS2 [m]) output from the imaging unit 10 in the imaging vertical scanning period Fs2.
  • the line L2 indicating the generated time crosses the line L4 indicating the earliest time at which the display unit 40 can display the image indicated by the image signal D2 [m] (DGA2 [m]) in the display vertical scanning period Fd2. Yes.
  • Such a state in which the line L2 and the line L4 cross is referred to as a “second state”.
  • the state in which such a cross first occurs is referred to as a “second state”.
  • the time at which the line L2 and the line L4 cross is referred to as time Tth.
  • the time when the cross first occurs is defined as time Tth.
  • the second state refers to preparation for displaying the image indicated by the image signal D [m] on the display unit 40 when the image processing unit 21 generates the image signal D [m] based on the imaging signal DS.
  • the image processing unit 21 displays the image. Transition to a state where there is a case where the image processing for generating the signal D [m] has not been completed (a state where the line L4 is temporally ahead of the line L2) exists.
  • the image signal D [m] is displayed without delay at the timing at which the display unit 40 can display the image indicated by the image signal D [m].
  • the image signal D [m] is generated even at the time when the image signal D [m] can be displayed on the display unit 40 side. Since the image processing in the image processing unit 21 for doing so is not in time, the display of the image in the display unit 40 may be delayed due to the image processing of the image processing unit 21 becoming a bottleneck.
  • the phase difference PD2 (the phase difference PD in the second state is denoted by the symbol PD2 as shown in FIG. 22) is shorter than the phase difference PD1 as shown in FIG.
  • the timing generator 32 inserts the invalid horizontal scanning period Hd-D once in the vertical valid data period DVI and outputs the image signal D [m] from the image signal output unit 23 ( The display timing of the image indicated by the image signal D [m] on the display unit 40 is adjusted. However, if the image processing in the image processing unit 21 for generating the image signal D [m] is not in time even after one invalid horizontal scanning period Hd-D is inserted, the next invalid horizontal scanning is performed. Repeat insertion of period Hd-D.
  • the display unit 40 waits for the completion of the image processing for generating the image signal D [m], and when the image signal D [m] is generated after that, within the time equal to or shorter than the horizontal scanning period Hd, An image indicated by the image signal D [m] is displayed. That is, after the time Tth, by adjusting the output timing of the image signal D [m] (DGB [m]) from the image signal output unit 23 by inserting the invalid horizontal scanning period Hd-D, the display unit 40 side Is made to follow the timing of completion of the image processing in the image processing unit 21 with the accuracy of the horizontal scanning period Hd.
  • the line L4 indicating the earliest time at which the display unit 40 can display the image indicated by the image signal D3 [m] (DGA3 [m])
  • the image processing unit 21 temporally precedes the line L2 indicating the time at which the image signal D3 [m] (DGA3 [m]) is generated. Yes.
  • Such a state in which the line L4 precedes the line L2 in time is referred to as a “third state”.
  • the line L2 is not a straight line but a broken line, and the crossing of the line L2 and the line L3 may occur a plurality of times.
  • a state in a set of vertical scanning periods (Fs and Fd) started after time Tth is referred to as a third state. That is, the third state refers to image processing for the image processing unit 21 to generate the image signal D [m] when the display unit 40 completes preparation for displaying the image indicated by the image signal D [m]. It is a state that the case where it is not completed has always occurred. That is, in the third state, even when the preparation on the display unit 40 side for displaying the image signal D [m] is completed, the image processing in the image processing unit 21 for generating the image signal D [m] is performed.
  • the phase difference PD3 (the phase difference PD in the third state is denoted by the symbol PD3 as shown in FIG. 22) is shorter than the phase difference PD2 as shown in FIG. .
  • the phase difference PD1 in the first state is larger than the image processing time UA (more specifically, the maximum value of the image processing times UA1 [1] to UA1 [M]), and the phase difference in the third state.
  • PD3 is equal to or less than the maximum value of the image processing times UA3 [1] to UA3 [M].
  • the timing generator 32 adjusts the display timing of the image indicated by the image signal D [m] on the display unit 40 by inserting the invalid horizontal scanning period Hd-D into the vertical valid data period DVI. To do. Thereby, the display timing on the display unit 40 side can be made to follow the completion timing of the image processing in the image processing unit 21 with the accuracy of the horizontal scanning period Hd.
  • the image processing time UA varies from line to line. However, the fluctuation range is sufficiently smaller than the imaging vertical scanning period Fs. Therefore, in a state where the output timing of the image signal D [m] (display timing on the display unit 40 side) is made to follow the completion timing of the image processing in the image processing unit 21, the imaging unit 10 captures the imaging signal DS3.
  • the timing control unit 30 outputs the image signal D [m] so that the frame rate of the display unit 40 becomes the first frame rate that is the frame rate of the imaging unit 10. Timing is adjusted (second timing control).
  • FIG. 22 for convenience of illustration, only one set of vertical scanning period of one imaging vertical scanning period Fs (Fs3) and one display vertical scanning period Fd (Fd3) is shown as the third state. Actually, there are a plurality of sets of vertical scanning periods. In the third state, in each of a plurality of sets of vertical scanning periods, the time length during which the imaging unit 10 outputs the imaging signal DS3 and the period during which the image signal output unit 23 outputs the image signal DGB3. The timing at which the image signal D [m] is output is adjusted such that the time length of the image signal D [m] is substantially the same.
  • the image signal D [m] is set so that the frame rate of the display unit 40 becomes the first frame rate that is the frame rate of the imaging unit 10 in each of a plurality of sets of vertical scanning periods.
  • the output timing is adjusted. Therefore, in the third state, the phase difference PD3 has substantially the same time length in each of the plurality of sets of vertical scanning periods.
  • the timing control unit 30 sets the phase difference PD by the first timing control that controls the timing so that the image signal D is output at the second frame rate.
  • the phase difference PD is minimized by the second timing control for controlling the timing so that the image signal D is output at the first frame rate.
  • the predetermined time is, for example, the image processing times UA1 [1] to UA1 [M].
  • the maximum value may be set.
  • the predetermined time is, for example, the image processing time UA1.
  • the time from the start of the frame of the imaging vertical scanning period Fs to the start of the frame of the imaging signal DS, and the frame of the image signal D from the start of the frame of the display vertical scanning period Fd It may be determined based on the time until the start of.
  • the imaging signal DS1 (DGS1) output by the imaging unit 10 in the imaging vertical scanning period Fs1 and the image signal generation unit 20 output to the display unit 40 in the display vertical scanning period Fd1.
  • the first state will be described by taking the relationship with the image signal D1 (DGB1) as an example.
  • FIG. 23 illustrates the relationship among the imaging signal DS-J1 [pJ], the imaging signal DGS1 [m], and the image signal D1 [m] (the image signal DGA1 [m] and the image signal DGB1 [m]). It is a timing chart.
  • the imaging signal DS is not distinguished from the imaging signals DS-L [pL], DS-C [pC], and DS-R [pR].
  • the imaging signal DGS [1] includes the imaging signals DS-J [1] and DS-J [2], and the imaging signal DGS [2] is the imaging signal DS-. J [2] and DS-J [3] are included, the imaging signal DGS [3] is including the imaging signals DS-J [3] and DS-J [4], and the imaging signal DGS [4] is the imaging signal. Assume that DS-J [4] and DS-J [5] are included. That is, in the example illustrated in FIGS.
  • the image signal D [1] is generated based on the imaging signals DS-J [1] and DS-J [2], and the image signal D [2] is captured.
  • An image signal D [3] is generated based on the imaging signals DS-J [3] and DS-J [4], and is generated based on the signals DS-J [2] and DS-J [3].
  • the signal D [4] is generated based on the imaging signals DS-J [4] and DS-J [5].
  • FIGS. 23 to 25 it is assumed that the cross between the line L2 and the line L3 occurs only once.
  • imaging signals DS-J1 [m] and DS-J1 [m + 1] are output from the imaging unit 10 (output of the imaging signal DGS1 [m] is started for convenience).
  • the image processing unit 21 starts generating the image signal DGA1 [m] based on the imaging signal DGS1 [m].
  • the image processing unit 21 completes the generation of the image signal DGA1 [m] after the image processing time UA1 [m] has elapsed from the start of the image processing, and stores it in the line buffer 22.
  • the example shown in FIG. 23 illustrates the first state described above, and the line L2 precedes the line L3 in time. That is, in the example shown in FIG.
  • the display unit 40 is not ready to display the image indicated by the image signal DGB1 [m].
  • the output permission pulse PL [m] is not output from the output control unit 31. Therefore, the image signal output unit 23 outputs the image signal DGB1 [m] for the waiting time UB1 [m] until the first horizontal scanning period Hd1 [m] after the output permission pulse PL [m] is output. After that, the image signal DGB1 [m] is output in the horizontal scanning period Hd1 [m].
  • the first state illustrated in FIG. 23 is a case where the display preparation by the display unit 40 is not in time until the image processing by the image processing unit 21 is completed.
  • the generation of the image signal DGA1 [m] by the image processing unit 21 is completed before the horizontal scanning period Hd1 [m] is started, and the image signal DGB1 [m] can be output from the image signal output unit 23. It is in a state. Therefore, in the first state illustrated in FIG. 23, all the horizontal scanning periods Hd included in the vertical effective data period DVI of the display vertical scanning period Fd1 are effective horizontal scanning periods Hd-A. That is, in the first state, the time length of the display vertical scanning period Fd becomes the standard vertical scanning time Td.
  • the delay time ⁇ T1 from when the imaging unit 10 outputs the imaging signal DS1 to when the display unit 40 displays the image indicated by the image signal D1 is the time required for image processing in the image signal generation unit 20 (image processing).
  • FIG. 24 illustrates the relationship between the imaging signal DS-J2 [pJ] (imaging signal DGS2 [m]) and the image signal D2 [m] (image signal DGA2 [m] and image signal DGB2 [m]). It is a timing chart.
  • an imaging signal consisting of imaging signals DS-J2 [m] and DS-J2 [m + 1] is output from the imaging unit 10 (output of DGS2 [m] is started for convenience).
  • the image processing unit 21 starts generating the image signal DGA2 [m] based on the imaging signal DGS2 [m].
  • the image processing unit 21 completes the generation of the image signal DGA2 [m] after the image processing time UA2 [m] has elapsed from the start of the image processing, and stores it in the line buffer 22.
  • the image signals D2 [1], D2 [2], and D2 [3] are image signals D [m] output by the image signal output unit 23 before time Tth, It is assumed that the image signal D2 [4] is the image signal D [m] output from the image signal output unit 23 after time Tth.
  • the line L2 precedes the line L3 (line L4) in time. That is, before the time Tth, the output permission pulse PL [m] is not output from the output control unit 31 at the timing when the generation of the image signal DGA2 [m] by the image processing unit 21 is completed. Therefore, before the time Tth, the image signal output unit 23 outputs the image signal DGB2 for the waiting time UB2 [m] until the first horizontal scanning period Hd2 [m] after the output permission pulse PL [m] is output. After waiting for the output of [m], the image signal DGB2 [m] is output in the horizontal scanning period Hd2 [m]. In the example shown in FIG.
  • the image signal output unit 23 waits for the output of the image signal DGB2 [1] for the standby time UB2 [1], and then the horizontal scanning period Hd2 In [1], the image signal DGB2 [1] is output. Similarly, after the image signal DGA2 [2] is generated, the image signal output unit 23 waits for the output of the image signal DGB2 [2] for the standby time UB2 [2], and then in the horizontal scanning period Hd2 [2]. The image signal DGB2 [2] is output.
  • the line L4 usually precedes the line L2.
  • the display unit 40 immediately (in the immediately following horizontal scanning period Hd), the image signal DGB2 The image indicated by [m] can be displayed. Therefore, when the line L4 precedes the line L2, the output control unit 31 outputs the output permission pulse PL [m] at the timing when the generation of the image signal DGA2 [m] by the image processing unit 21 is completed.
  • the image signal output unit 23 generates the image signal in the first horizontal scanning period Hd2 [3] after the image signal DGA2 [3] is generated and the output permission pulse PL [3] is output. DGB2 [3] is output. Further, in the example shown in this figure, the image signal DGA2 [4] is generated after the start of the horizontal scanning period Hd2 [4]. Therefore, the image signal output unit 23 generates the image signal DGA2 [4] and outputs the image signal DGB2 [4] in the first horizontal scanning period Hd2 [5] after the output permission pulse PL [4] is output. Is output. Then, the timing generator 32 sets the horizontal scanning period Hd2 [4] as an invalid horizontal scanning period Hd-D.
  • the invalid horizontal scanning period is included in the vertical valid data period DVI of the display vertical scanning period Fd2.
  • Hd-D is inserted. That is, in the second state, the time length of the display vertical scanning period Fd is the sum of the standard vertical scanning time Td and the extended vertical scanning time Tex.
  • the delay time ⁇ T2 from when the imaging unit 10 outputs the imaging signal DS2 to when the display unit 40 displays the image indicated by the image signal D2 is required for image processing in the image signal generation unit 20 before time Tth.
  • FIG. 25 illustrates the relationship between the imaging signal DS-J3 [pJ] (imaging signal DGS3 [m]) and the image signal D3 [m] (the image signal DGA3 [m] and the image signal DGB3 [m]). It is a timing chart.
  • an imaging signal consisting of imaging signals DS-J3 [m] and DS-J3 [m + 1] is output from the imaging unit 10 (output of DGS3 [m] is started for convenience).
  • the image processing unit 21 starts generating the image signal DGA3 [m] based on the imaging signal DGS3 [m].
  • the image processing unit 21 completes generation of the image signal DGA3 [m] after the image processing time UA3 [m] has elapsed from the start of the image processing, and stores this in the line buffer 22.
  • the line L4 usually precedes the line L2 in time.
  • the display unit 40 immediately (in the immediately following horizontal scanning period Hd) displays the image signal DGB3.
  • the image indicated by [m] can be displayed. Therefore, in this case, the output permission pulse PL [m] is output from the output control unit 31 at the timing when the generation of the image signal DGA3 [m] by the image processing unit 21 is completed.
  • the image signal output unit 23 generates the image signal DGA3 [1] and outputs the first horizontal scanning period Hd3 [3 after the output permission pulse PL [1] is output.
  • the image signal DGB3 [1] is output, the image signal DGA3 [2] is generated, and the image signal DGB3 is generated in the first horizontal scanning period Hd3 [5] after the output permission pulse PL [2] is output.
  • [2] is output, the image signal DGA3 [3] is generated, and the image signal DGB3 [3] is output in the first horizontal scanning period Hd3 [7] after the output permission pulse PL [3] is output.
  • the image signal DGB3 [4] is output in the first horizontal scanning period Hd3 [9] after the image signal DGA3 [4] is generated and the output permission pulse PL [4] is output.
  • the timing generator 32 starts the vertical valid data period DVI of the display vertical scanning period Fd1, but since the output permission pulse PL [1] is not output, the horizontal scanning period Hd3 [1], In Hd3 [2], an invalid horizontal scanning period Hd-D is output. Similarly, in Hd3 [4], Hd3 [6], and Hd3 [8], an invalid horizontal scanning period Hd-D is output. Do.
  • the invalid horizontal scanning period Hd-D is included in the vertical valid data period DVI of the display vertical scanning period Fd3.
  • the time length of the display vertical scanning period Fd is set to the horizontal scanning period so that the display unit 40 can perform display synchronized with the imaging signal DS output in the imaging vertical scanning period Fs. It is adjusted with the accuracy of Hd. That is, in the third state, when viewed roughly, the display vertical scanning period Fd is adjusted to be substantially the same as the imaging vertical scanning period Fs.
  • the display unit 40 is in the first horizontal scanning period Hd after the image processing unit 21 generates the image signal D [m].
  • An image indicated by the image signal D [m] is displayed. Therefore, the delay time ⁇ T3 from when the imaging unit 10 outputs the imaging signal DS3 to when the display unit 40 displays the image indicated by the image signal D3 is the time required for image processing in the image signal generation unit 20 (image processing). It is almost the same as time UA).
  • the imaging unit 10 starts outputting the imaging signal DS-J [pJ] to when the display unit 40 starts displaying the image indicated by the image signal D [m].
  • the delay time ⁇ T3 and the image processing time UA required for the image processing unit 21 to generate the image signal D [m] are equalized with the accuracy of the horizontal scanning period Hd. For this reason, in the third state, the delay from imaging by the imaging unit 10 to display by the display unit 40 can be minimized with the accuracy of the horizontal scanning period Hd.
  • the delay time ⁇ T3 is shorter than the delay time ⁇ T1 according to the first state and is equal to or shorter than the delay time ⁇ T2 according to the second state.
  • the time (cycle) required for displaying one screen on the display unit 40 is shorter than the time (cycle) required for imaging one screen on the imaging unit 10. Therefore, even when the vehicle imaging display device 1 operates in the first state and the display preparation on the display unit 40 side causes a display delay that becomes a bottleneck, every imaging vertical scanning period Fs. The display delay gradually decreases. In other words, even when the vehicle imaging display device 1 initially operates in the first state, the vehicular imaging display device 1 finally shifts to the operation in the third state and starts the operation in the third state. After that, the operation in the third state can be maintained. As a result, the display timing on the display unit 40 side can be made to follow the completion timing of the image processing in the image processing unit 21 with the accuracy of the horizontal scanning period Hd.
  • the image signal D [m] is output from the image signal output unit 23 when the first condition and the second condition are satisfied, and the first condition or the second condition is satisfied. If not satisfied, an invalid horizontal scanning period Hd-D is inserted to adjust the output timing of the image signal D [m] from the image signal output unit 23 with the accuracy of the horizontal scanning period Hd.
  • the display unit 40 displays the image signal D [m] in the first horizontal scanning period Hd after the image processing unit 21 generates the image signal D [m]. An image can be displayed.
  • the delay from the imaging by the imaging unit 10 to the display by the display unit 40 can be minimized with the accuracy of the horizontal scanning period Hd.
  • the invalid vertical scanning period Hd-D is inserted into the vertical effective data period DVI so that the time length of the display vertical scanning period Fd is variable and the imaging vertical is set. A state that is substantially the same as the time length of the scanning period Fs can be maintained. For this reason, it is possible to realize a high-quality display with reduced display flicker and the like.
  • the imaging unit 10 when there is a change in image processing time due to a change in image processing technique or when the image processing time UA varies from line to line, the imaging unit 10 has a different frame rate.
  • the display unit 40 is replaced with another one or when the display unit 40 is replaced with one having a different frame rate, the phase difference between the imaging unit 10 and the display unit 40, the frame rate of the imaging unit 10, and the display unit 40 can display Even when part or all of the highest frame rate changes, the phase difference PD can be automatically converged to a length equal to or shorter than the image processing time UA.
  • the image indicated by the partial image signal DL, the image indicated by the partial image signal DR, and the image indicated by the partial image signal DC are provided in one display unit 40. Since the display is performed in the display area AD, the cost of the imaging display device 1 for a vehicle can be reduced as compared with the case where three display units are provided in one-to-one correspondence with the three partial image signals DJ. .
  • the time required for the image processing for generating R [m] and the time required for the image processing for generating the partial image signal D-C [m] by the central image processing unit 21C may be different from each other. .
  • the image processing circuit 100 In this case, for example, three display units are provided in a one-to-one correspondence with the three partial image signals DJ, and the images indicated by the partial image signals DJ are individually displayed on each display unit. In this case, the display timing is different for each display unit. In such a case, the display quality of the three display units as a whole is reduced.
  • the image processing circuit 100 all of the partial image signal D-L [m], the partial image signal D-R [m], and the partial image signal D-C [m] After the first condition indicating the generation is satisfied, these three partial image signals DJ [m] are output as one image signal D [m].
  • the display unit 40 displays the image indicated by the image signal D [m] composed of the three partial image signals D-J [m] in the same horizontal scanning period Hd in one display area AD. As a result, it is possible to suppress a decrease in display quality of the display area AD as a whole due to different display timings for each display area AD-J. ⁇ B. Second Embodiment>
  • the output timing of the image signal D [m] is set to the horizontal scanning period Hd.
  • the time length of the horizontal scanning period Hd was set to a fixed length by adjusting with accuracy.
  • the time length of the horizontal scanning period Hd is variable, and the output timing of the image signal D [m] is, for example, in the cycle of the display dot clock signal DCLK. In the point which adjusts, it differs from the imaging display apparatus 1 for vehicles which concerns on 1st Embodiment.
  • the imaging display device for a vehicle according to the second embodiment will be described with reference to FIGS. 26 to 28.
  • symbol referred by the above description is diverted and each detailed description is abbreviate
  • FIG. 26 illustrates an output control signal CTR, an enable signal DEnb, and a display horizontal synchronization signal generated by the timing control unit 30 (the output control unit 31 and the timing generator 32) included in the vehicle imaging display device according to the second embodiment. It is explanatory drawing for demonstrating the relationship with DHsync2.
  • the timing control unit 30 included in the vehicular imaging display device according to the second embodiment is configured so that the timing generator 32 generates a display horizontal synchronization signal DHsync2 having a display horizontal synchronization pulse PlsH with a variable period instead of the display horizontal synchronization signal DHsync.
  • the vehicular imaging display device 1 according to the first embodiment (FIG. 10) except that a display vertical synchronization signal DVsync2 having a display vertical synchronization pulse PlsV with a variable period is generated instead of the display vertical synchronization signal DVsync. Reference) is configured.
  • the output control unit 31 As shown in FIG. 26, the output control unit 31 according to the second embodiment, as in the first embodiment, the later time of the image processing determination time TA [m] and the display preparation determination time TB [m]. (In this figure, since the second aspect described above is employed, the output permission pulse PL [m] is set in the output control signal CTR at the image processing determination time TA [m]). Also, as shown in FIG. 26, the timing generator 32 according to the second embodiment has a fixed time length from the timing when the output permission pulse PL [m] is set in the output control signal CTR output by the output control unit 31. After the elapse of the reference front porch time TP, the display horizontal synchronization pulse PlsH is output as the display horizontal synchronization signal DHsync2.
  • the horizontal front porch period DHf is the reference front porch time TP.
  • the time length of the horizontal front porch period DHf is determined from the reference front porch time TP and the display preparation determination time TB [m] to the image signal generation time TC [m] (image processing determination time TA). [m]) and the total length of the extended front porch time TPX, which is the length of time.
  • the output control unit 31 determines that the output preparation of the image signal D [m] is completed, and outputs the output permission pulse PL [m] as the output control signal CTR. Waiting for the output, the horizontal scanning period Hd [m] is started only after the reference front porch time TP after the output permission pulse PL [m] is output. In other words, the timing generator 32 according to the second embodiment extends the horizontal front porch period DHf until the preparation for outputting the image signal D [m] is completed. Therefore, the image signal output unit 23 outputs the image signal D [m] in the horizontal scanning period Hd [m] even when the image processing of the image signal D [m] in the image processing unit 21 is delayed. It becomes possible to do. In this case, the delay time from when the imaging unit 10 outputs the imaging signal DGS [m] until the display unit 40 displays an image based on the image signal D [m] is minimum with the accuracy of the display dot clock signal DCLK. Will be converted.
  • FIG. 27 shows the vehicle image pickup display according to the second embodiment in a state where the display delay in the display unit 40 becomes a bottleneck (ie, the second state described with reference to FIG. 24). It is a timing chart for demonstrating operation
  • FIG. 28 shows the vehicle according to the second embodiment in a state where the image processing of the image processing unit 21 is a bottleneck and the display is delayed (that is, the third state described in FIG. 25). It is a timing chart for explaining operation of an imaging display device. In FIGS. 27 and 28, the symbols described in FIGS. 22 to 25 are used.
  • the image signal DGA2 [3] is generated before the fall timing of the enable signal DEnb in the horizontal scanning period Hd2 [2]. Therefore, the output permission pulse PL [3] is output at the falling timing of the enable signal DEnb in the horizontal scanning period Hd2 [2].
  • the time length of the horizontal front porch period DHf in the horizontal scanning period Hd2 [2] is the reference front porch time TP.
  • the timing at which the image signal DGA2 [4] is generated is later than the falling timing of the enable signal DEnb in the horizontal scanning period Hd2 [3]. Therefore, the output permission pulse PL [4] is output at the timing when the image signal DGA2 [4] is generated.
  • the time length of the horizontal front porch period DHf of the horizontal scanning period Hd2 [3] is the reference front porch time TP and the extended front porch time TPX (timing of the fall of the enable signal DEnb in the horizontal scanning period Hd2 [3].
  • the horizontal scanning period Hd is extended according to the state of the image processing after the time Tth when the display delay in which the display preparation in the display unit 40 becomes a bottleneck is eliminated.
  • the timing at which the image signal DGA3 [m] is generated is after the falling timing of the enable signal DEnb in the horizontal scanning period Hd3 [m ⁇ 1]. Therefore, the output permission pulse PL [m] is output at the timing when the image signal DGA3 [m] is generated.
  • the time length of the horizontal front porch period DHf of the horizontal scanning period Hd3 [m] is the reference front porch time TP and the extended front porch time TPX (timing of the fall of the enable signal DEnb in the horizontal scanning period Hd3 [m].
  • the output permission pulse PL [m] is output). That is, in a state where the image processing of the image processing unit 21 is a bottleneck and the display is delayed (third state), the horizontal scanning period Hd is extended according to the state of the image processing. .
  • the display vertical scanning period Fd also has a variable time length.
  • the HUD is exemplified as the display unit 40.
  • the present invention is not limited to such a mode, and a rear projection type projector, a liquid crystal display device, and an organic light emitting diode (OLED) display device A plasma display device may also be used.
  • OLED organic light emitting diode
  • ⁇ Modification 2> data transmission between the image processing circuit 100 and the display unit 40 is performed by a low voltage differential (LVDS) serial interface, but may be performed by a parallel interface.
  • LVDS low voltage differential
  • the imaging vertical scanning period Fs defined by the imaging vertical synchronization signal SVsync has a length longer than the display vertical scanning period Fd defined by the display vertical synchronization signal DVsync (or DVsync2).
  • the present invention is not limited to such an embodiment, and the imaging vertical scanning period Fs may have a shorter time length than the display vertical scanning period Fd.
  • the output control unit 31 uses the image signal D based on the write completion signal PtA output from the image processing unit 21 and the output completion signal PtB output from the image signal output unit 23. It is determined whether or not the preparation for outputting [m] is completed.
  • the present invention is not limited to such an aspect, and the output control unit 31 periodically refers to the line buffer 22. By determining that the image signal D [m] is recorded in the line buffer 22 and that the image signal D [m ⁇ 1] is read from the line buffer 22, the image signal D [m] is obtained. It may be determined whether or not preparation for output has been completed.
  • the imaging unit 10 includes three image sensors 12J (12L, 12C, and 12R) has been described as an example.
  • the imaging unit 10 only needs to include two or more image sensors 12J.
  • the image processing unit 21 only needs to include two or more partial image processing units 21J corresponding to two or more image sensors 12J, and the display area AD includes two or more image sensors. It is sufficient that an image can be displayed as two or more display areas AD-J corresponding to 12J on a one-to-one basis.
  • the first condition indicating that the image processing of the image signal D [m] of the m-th row that is the display target line is completed is a partial document output by each of the two or more partial image processing units 21J.
  • the minimum value ma indicated by the insertion completion signal PtA-J may be satisfied when it is equal to or greater than the line number m of the display target line. That is, in this case, the “image processing line information” indicates a line for displaying an image at the end among the lines in which the partial image signals DJ [m] generated by the two or more partial image processing units 21J are displayed. Information.
  • the horizontal reduction / enlargement process in which the region close to the vehicle ⁇ in the left-right direction is relatively enlarged compared to the region far from the vehicle body, and the center in the vertical direction are centered.
  • the aspect of executing both the vertical direction reduction / enlargement processing for relatively expanding the area by comparing it with the upper or lower area has been described, but either one of them may be executed or both of them may be executed. It may not be.
  • the horizontal direction reduction / enlargement process that relatively enlarges the area close to the vehicle ⁇ compared to the area far from the vehicle ⁇ is a process of reducing the area far from the vehicle ⁇ or an area close to the vehicle body.
  • This process can be realized by at least one of the processes. That is, when the area close to the vehicle body is enlarged, the process of reducing the area far from the vehicle body is not essential, and when the area far from the vehicle body is reduced, the process of enlarging the area close to the vehicle body is not essential.
  • the vertical direction reduction / enlargement process in which the central area is relatively enlarged compared to the upper or lower area is a process of expanding the central area, a process of reducing the upper area, or This process can be realized by any one of the processes for reducing the lower area.
  • the mirror image generation process is performed after the trimming process, and then the horizontal direction reduction / enlargement process and the vertical direction reduction / enlargement process are performed. Can be changed.
  • the image of the trimming area AreaT-J trimmed in the trimming process is once enlarged in accordance with the size of the display area AD-J, and then left-right inversion processing, horizontal reduction / enlargement processing, The vertical reduction / enlargement processing is executed, but the left / right reversal processing is executed without enlarging the trimmed image.
  • the display area AD- An enlargement process for adjusting to the size of J may be executed. With this configuration, the image processing time can be shortened.
  • FIGS. 3A and 3B the image displayed in the left display area AD-L is enlarged and the image displayed in the central display area AD-C.
  • An example of the arrangement of the enlarged display area Area-C where the image is enlarged and the enlarged display area Area-R where the image displayed in the right display area AD-R is enlarged is shown.
  • the present invention can be changed as appropriate without departing from the spirit of the present invention.
  • the image processing unit 21 may execute processing for correcting the brightness of an image based on the imaging signal DS. By executing the correction for increasing the brightness of the image based on the imaging signal DS, it is possible to display a useful image outside the vehicle for safe driving of the vehicle even for an image captured in a dark place.
  • the “imaging display device” is exemplified by the vehicle imaging display device mounted on the vehicle ⁇ . It is not limited to. For example, you may use for display apparatuses, such as a projector apparatus, HUD (head up display), and HMD (head mounted display).
  • display apparatuses such as a projector apparatus, HUD (head up display), and HMD (head mounted display).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　撮像から表示までの遅延時間を短縮する。　被写体を撮像して撮像信号を出力する複数の撮像素子を具備する撮像部と、複数の撮像素子に対応する複数の表示領域を具備する表示部と、各撮像素子が出力する撮像信号に基づき、各表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、複数の部分画像信号からなり表示部の各ラインで表示すべき画像を示す画像信号を表示部に出力する画像信号生成部と、表示部に対する出力が完了した画像信号に対応するラインが表示対象ラインに先行して画像を表示するラインを示し、且つ、画像信号生成部が生成した部分画像信号に対応するラインのうち最後に画像を表示するラインが表示対象ライン以後に画像を表示するラインを示す場合に、表示対象ラインで表示すべき画像を示す画像信号を出力するように画像信号生成部を制御するタイミング制御部と、を備えることを特徴する撮像装置。

Description

撮像装置、撮像表示装置、及び、車両
　本発明は、撮像装置、撮像表示装置、及び、車両に関する。
　従来から、複数の映像信号の示す画像を合成して表示領域に表示する技術が知られている（例えば、特許文献１）。
　このような、複数の映像信号を合成して表示する技術は、車両外部の様子を示す画像を車両室内に表示して車両の運転を補助する撮像表示装置として活用されている。例えば、特許文献２には、車両外部を撮像する複数のイメージセンサー（撮像素子）が出力する複数の撮像信号の示す画像を合成して、合成した画像を車両内部に設けられた表示部に表示させる技術が開示されている。
特開２００５－２８４０２９号公報 特開２００９－０７５９８８号公報
　ところで、表示する画像が動画である場合には、イメージセンサーの撮像結果をリアルタイムで表示する必要性が高い。特に、車両用の撮像表示装置においては、安全な車両の走行のために、リアルタイムに撮像結果を表示することが厳格に求められる。
　しかしながら、イメージセンサーと表示部とは異なる装置であるため、異なる基準信号に同期して動作するのが通常である。このため、撮像信号のフレームの開始と画像信号のフレームの開始とがずれ、遅延時間が大きくなる場合がある。例えば、画像信号のフレームが開始された直後に撮像信号のフレームが開始されると、画像信号の１フレーム期間以上の遅延時間が発生することになる。
　また、複数のイメージセンサーが出力する複数の撮像信号の示す画像を合成して表示する場合、単一のイメージセンサーが出力する撮像信号の示す画像を表示する場合と比較して、撮像から表示までの遅延時間が長くなる場合が多い。
　本発明は、上述した事情に鑑みてなされたものであり、複数のイメージセンサーが出力する複数の撮像信号に基づく画像を表示する場合において、撮像から表示までの遅延時間を短縮することを、解決課題の一つとする。
　以上の課題を解決するために、本発明に係る撮像装置は、被写体を撮像して撮像信号を出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備する表示部と、前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部の各ラインで表示すべき画像を示す画像信号を、前記表示部に出力する画像信号生成部と、前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した部分画像信号に対応するラインのうち、最後に画像を表示するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備え、前記タイミング制御部は、前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴する。
　この発明によれば、表示対象ラインの画像信号を構成する全ての部分画像信号が生成されている場合には、表示対象ラインに先行して画像を表示する先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号を出力することができる。一方、先行表示ラインの画像信号の出力が完了したときに、表示対象ラインの画像信号の生成がされていない場合には、表示対象ラインの画像信号が生成されたタイミングにおいて、表示対象ラインの画像信号を出力することができる。すなわち、この発明によれば、表示対象ラインの画像信号の出力が可能となったタイミングにおいて、表示対象ラインの画像信号を出力することが可能となる。このため、ライン毎の画像処理時間に応じて、各ラインの画像信号を表示部に対して出力するタイミングを制御することが可能となる。従って、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像部による撮像から表示部における表示までの遅延を小さくすることができる。
　また、上述した撮像装置において、前記表示部は、一定周期で出力される表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記表示水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記表示水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
　この態様によれば、表示水平同期パルスにより定められる水平走査期間の精度で、各ラインの画像信号の出力タイミングを制御することができる。このため、撮像から表示までの間隔が、例えば、１フレーム期間以上の期間となるような、大きな遅延の発生を防止することができる。
　また、上述した撮像装置において、前記表示部は、表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、前記画像信号生成部は、前記表示水平同期パルスに同期して前記画像信号を出力し、前記タイミング制御部は、前記表示水平同期パルスを可変な周期で出力可能であり、前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、ことを特徴としてもよい。
　この態様によれば、表示水平同期パルスにより定められる水平走査期間の時間長が、各ラインの画像信号の出力が可能となるタイミングに応じて定められる。このため、ライン毎の画像処理時間に応じたタイミングで、各ラインの画像信号を表示部に対して出力することが可能となり、ライン毎の画像処理時間の変動を考慮せずに各ラインの画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
　また、本発明に係る撮像装置は、被写体を撮像して撮像結果を示す撮像信号を撮像同期信号に同期させて出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備し、表示同期信号に同期して、前記撮像部よりも高いフレームレートで画像表示が可能な表示部と、前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域で表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部で表示すべき画像を示す画像信号を、前記表示同期信号に同期させて前記表示部に出力する画像信号生成部と、前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、を備え、前記撮像同期信号のフレームの開始から前記表示同期信号のフレームの開始までの時間を位相差とし、前記撮像部のフレームレートを第１フレームレートとし、前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、前記タイミング制御部は、前記位相差が、所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、ことを特徴とする。
　本発明では、撮像部と表示部の位相差が、所定時間よりも長い場合には、撮像部よりも高いフレームレートである第２フレームレートで画像信号を出力することで、表示部のフレーム期間と撮像部のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、表示部のフレームレートが撮像部のフレームレートである第１フレームレートとなるようにすることで、画像信号を撮像信号に同期させて出力する。
　このため、位相差が、所定時間よりも大きい場合において、位相差を所定時間以下となるまで段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。これにより、撮像から表示までの遅延時間が最小化された状態を維持することができる。
　なお、所定時間とは、例えば、表示部の１ライン分に相当する画像信号の生成に要する時間に基づいて定められる時間であってもよい。
　また、上述した撮像装置において、前記タイミング制御部は、前記位相差が前記所定時間より長い場合には、前記Ｋ個の部分画像信号を生成した後、前記Ｋ個の部分画像信号の示す画像が前記表示部で表示可能となるまで待機して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、ことを特徴としてもよい。
　この態様によれば、表示部が画像信号の示す画像を表示可能となるまで待機することで、表示部のフレームレートが第２フレームレートとなるように画像信号を出力するため、撮像部及び表示部の位相差を、段階的に短縮することができる。
　また、上述した撮像装置において、前記表示同期信号は、一定周期の表示水平同期パルスを含み、前記タイミング制御部は、前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、前記画像信号生成時刻の後に最初に出力される表示水平同期パルスに同期して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、ことを特徴としてもよい。
　この態様によれば、画像信号の生成から出力までの間隔を、表示水平同期パルスにより定められる水平走査期間以下とすることができる。つまり、表示水平同期パルスにより定められる水平走査期間の精度で、画像信号の出力タイミングを制御することができる。このため、画像処理の完了に応じたタイミングで、画像信号を表示部に対して出力することが可能となり、画像処理時間の変動を考慮せずに画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
　また、上述した撮像装置において、前記タイミング制御部は、可変な周期の表示水平同期パルスを含む前記表示同期信号を出力し、前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、前記画像信号生成時刻までは、前記表示水平同期パルスの出力を停止するとともに、前記Ｋ個の部分画像信号からなる画像信号の出力を停止し、前記画像信号生成時刻の後は、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記Ｋ個の部分画像信号からなる画像信号を出力する、ことを特徴としてもよい。
　この態様によれば、表示水平同期パルスにより定められる水平走査期間の時間長が、画像信号の出力が可能となるタイミングに応じて定められる。このため、画像処理の完了に応じたタイミングで、画像信号を表示部に対して出力することが可能となり、画像処理時間の変動を考慮せずに画像信号の出力タイミングを定める場合と比較して、撮像から表示までの遅延を小さくすることができる。
　また、上述した撮像装置において、前記表示部は、車両の内部に設けられ、前記撮像素子は、前記車両の外部を撮像する、ことを特徴としてもよい。
　この態様によれば、車両内部の表示部に、車両の外部の様子がリアルタイムで表示することができるため、車両の安全な走行が可能となる。
　また、上述した撮像装置において、前記撮像部が具備するＫ個の撮像素子は、前記車両の後方の被写体を撮像する第１の撮像素子と、前記車両の左後方の被写体を撮像する第２の撮像素子と、前記車両の右後方の被写体を撮像する第３の撮像素子と、を含み、前記表示部が具備するＫ個の表示領域は、前記第１の撮像素子に対応する第１の表示領域と、前記第２の撮像素子に対応し、前期第１の表示領域よりも左側に設けられる第２の表示領域と、前記第３の撮像素子に対応し、前期第１の表示領域よりも右側に設けられる第３の表示領域と、を含む、ことを特徴としてもよい。
　この態様に係る撮像装置は、バックミラー、サイドミラー等の代わりに用いることが可能であり、車両の安全な運転に必要な車両外部の様子を運転者が視認することが可能となる。これにより、意匠性に富んだ車両（車内）デザインが可能となるとともに、サイドミラー等を車体外面に取り付ける必要がなくなるので、走行時の風圧も低減される。
　また、本発明に係る撮像表示装置は、上述した表示部と、上述した撮像装置と、を備える、ことを特徴とする。また、本発明に係る車両は、上述した撮像表示装置を備える、ことを特徴とする。
本発明の第１実施形態に係る車両用撮像表示装置１の構成を示すブロック図である。 左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rの配置例を示す説明図である。 表示領域ＡDの表示する画像の車両αの車内における表示位置を説明するための説明図である。 表示領域ＡDの表示する画像の車両αの車内における表示位置を説明するための説明図である。 表示部４０の構成例を示す図である。 車両用撮像表示装置１の構成を示すブロック図である。 撮像信号ＤSと表示領域ＡDとの関係を説明するための説明図である。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 表示領域ＡDと、表示部に表示領域ADを表示するためのタイミングチャートと、を説明するための説明図である。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 表示部４０の構成を示すブロック図である。 部分画像処理部２１Jの構成を示すブロック図である。 歪曲補正処理を説明するための説明図である。 トリミング処理を説明するための説明図である。 トリミング処理後の画像の一例を示す図である。 左右反転処理によって生成された画像の一例を示す図である。 縮小・拡大処理を説明するための説明図である。 水平方向縮小・拡大処理を説明するための説明図である。 垂直方向縮小・拡大処理を説明するための説明図である。 縮小・拡大処理後の画像の一例を示す図である。 縮小・拡大処理後の画像の一例を示す図である。 縮小・拡大処理を説明するための説明図である。 画像信号Ｄ[m]と撮像信号ＤS-J[pJ]との関係を説明するためのタイミングチャートである。 撮像信号ＤSの出力タイミングを説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 車両用撮像表示装置１の動作を説明するためのタイミングチャートである。 本発明の第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。 第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。 第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。
　本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
＜Ａ．第１実施形態＞
　以下、第１実施形態では、「撮像表示装置」として、車両用撮像表示装置１を例示して説明する。
＜１．車両用撮像表示装置の全体構成＞
　図１は、車両用撮像表示装置１の構成の概略を示すブロック図である。車両用撮像表示装置１は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示する装置である。
　図1に示すように、車両用撮像表示装置１は、車両の外部を撮像して撮像信号ＤSを出力する撮像部１０と、撮像部１０から出力された撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理回路１００と、画像信号Ｄの示す画像を表示する表示部４０と、撮像信号ＤSの画像処理に関する指示等を入力するための操作部６０と、車両用撮像表示装置１の全体の動作を制御する制御部５０と、を備える。
　車両用撮像表示装置１のうち、撮像部１０と、画像処理回路１００と、制御部５０とは、「撮像装置」の一例である。
　撮像部１０は、車両の左側後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Lを出力する左後方用イメージセンサー１２Lと、車両の後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Cを出力する中央後方用イメージセンサー１２Cと、車両の右側後方領域にある被写体を撮像して撮像結果を示す撮像信号ＤS-Rを出力する右側後方用イメージセンサー１２Rと、を備える。すなわち、本実施形態に係る撮像部１０が出力する撮像信号ＤSは、撮像信号ＤS-L、撮像信号ＤS-C、及び、撮像信号ＤS-Rを含む。
　なお、中央後方用イメージセンサー１２Cは「第１の撮像素子」の一例であり、左後方用イメージセンサー１２Lは「第２の撮像素子」の一例であり、右側後方用イメージセンサー１２Rは「第３の撮像素子」の一例である。また、第１撮像素子、第２撮像素子、及び、第３の撮像素子を、「撮像素子」と総称する。すなわち、本実施形態に係る車両用撮像表示装置１は、３個の撮像素子を備える。
　図２は、車両αにおける、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rの配置例を示す説明図である。
　図２に示すように、左後方用イメージセンサー１２Lは、車両αの左側フロントピラー部の外側表面付近（図示の例では従来の左サイドミラーが設けられる位置）に配置され、車両αの左側後方領域ＬRを撮像する。右側後方用イメージセンサー１２Rは、車両αの右側フロントピラー部の外側表面付近（図示の例では従来の右サイドミラーが設けられた位置）に配置され、車両αの右側後方領域ＲRを撮像する。中央後方用イメージセンサー１２Cは、車両αの後方端の車両幅方向における中点位置付近（図示の例ではバックウィンドウの下側）に配置され、車両の後方領域ＢRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。
　画像処理回路１００は、撮像信号ＤS-Lに対して画像処理を施して部分画像信号Ｄ-Lを生成し、撮像信号ＤS-Cに対して画像処理を施して部分画像信号Ｄ-Cを生成し、撮像信号ＤS-Rに対して画像処理を施して部分画像信号Ｄ-Rを生成する。そして、画像処理回路１００は、生成した、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rからなる画像信号Ｄを、表示部４０に対して出力する。すなわち、本実施形態に係る画像処理回路１００が出力する画像信号Ｄは、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rを含む。
　表示部４０は、画像信号Ｄの示す画像を表示する表示領域ＡDを具備する液晶パネル４２を備える。
　液晶パネル４２が具備する表示領域ＡDは、画像信号Ｄのうち部分画像信号Ｄ-Cが示す画像を表示するための中央表示領域ＡD-C（第１の表示領域）と、部分画像信号Ｄ-Lが示す画像を表示するための左側表示領域ＡD-L（第２の表示領域）と、部分画像信号Ｄ-Rが示す画像を表示するための右側表示領域ＡD-R（第３の表示領域）と、を含む。すなわち、中央表示領域ＡD-Cは従来のバックミラーの代わりに後方領域ＢRの画像を表示し、左側表示領域ＡD-Lは従来の左サイドミラーの代わりに左側後方領域ＬRの画像を表示し、右側表示領域ＡD-Rは従来の右サイドミラーの代わりに右側後方領域ＲRの画像を表示する。
　なお、以下では、説明の便宜上、各種符号に付される添え字「Ｌ」、「Ｃ」、「Ｒ」のうち、任意の一つの添え字を、「Ｊ」で表すことがある。
　具体的には、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rを区別する必要がないときは、これらのうち任意の一つを、「イメージセンサー１２J」と総称する。また、撮像信号ＤS-L、撮像信号ＤS-C、及び、撮像信号ＤS-Rを区別する必要がないときは、これらのうち任意の一つを、「撮像信号ＤS-J」と総称する。また、部分画像信号Ｄ-L、部分画像信号Ｄ-C、及び、部分画像信号Ｄ-Rを区別する必要がないときは、これらのうち任意の一つを、「部分画像信号Ｄ-J」と総称する。左側表示領域ＡD-L、中央表示領域ＡD-C、及び、右側表示領域ＡD-Rを区別する必要がないときは、これらのうち任意の一つを、「表示領域ＡD-J」と総称する。
　図３Ａに、表示領域ＡDの表示する画像の、車両αの車内における表示位置を示す。この図に示すように、左側表示領域ＡD-Lに表示される画像は、拡大表示領域Ａrea-Lに拡大表示され、中央表示領域ＡD-Cに表示される画像は、拡大表示領域Ａrea-Cに拡大表示され、右側表示領域ＡD-Rに表示される画像は、拡大表示領域Ａrea-Rに拡大表示される。なお、左側表示領域ＡD-Lと拡大表示領域Ａrea-Lが一致し、中央表示領域ＡD-Cと拡大表示領域Ａrea-Cとが一致し、右側表示領域ＡD-Rと拡大表示領域Ａrea-Rとが一致するものであってもよい。
　拡大表示領域Ａrea-L、拡大表示領域Ａrea-C、及び、拡大表示領域Ａrea-Rは、表示領域ＡDに含まれる各表示領域ＡD-J（ＡD-L、ＡD-C、ＡD-R）によって表示される画像が運転者によって視認されやすいように、運転席の前方に配置されている。また、運転者から見て、拡大表示領域Ａrea-Lは拡大表示領域Ａrea-Cよりも左側となるように配置され、拡大表示領域Ａrea-Rは拡大表示領域Ａrea-Cよりも右側となるように配置される。すなわち、運転者から見て、拡大表示領域Ａrea-L、拡大表示領域Ａrea-C、及び、拡大表示領域Ａrea-Rは、従来の右サイドミラー、バックミラー、及び、左サイドミラーの順番で並ぶ。このため、従来の右サイドミラー、バックミラー、及び、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
　図３Ａに示す例では、液晶パネル４２が、運転席前方のフロントウィンドウ下のダッシュボード内に配置され、画像信号Ｄに応じた画像が、フロントガラス下部の帯状の拡大表示領域（Ａrea-L、Ａrea-C、Ａrea-R）にて視認されるように表示される。
　なお、図３Ａに示す拡大表示領域を含む液晶パネル４２の配置は一例に過ぎず、例えば、拡大表示領域を、車両αの従来の計器パネル（クラスターパネル）が設けられる領域に配置してもよい。あるいは、拡大表示領域を含む液晶パネル４２は、図３Ｂに例示するように、車両αの従来の計器パネル（クラスターパネル）の上部部分でフロントガラスの下側に図３Ａに比較して横幅の狭い形状で設けられても良い。あるいは、拡大表示領域は、車両αの従来のバックミラーの部分に液晶パネルや有機ELパネルとして設けられても良い。
　なお、図３Ａ及び図３Ｂに例示したように、本実施形態に係る車両用撮像表示装置１では、車両αの左側後方領域ＬR、車両αの後方領域ＢR、及び、車両αの右側後方領域ＲRを撮像し、運転者の見える場所に表示する場合に、左側後方領域ＬRを示す画像は後方領域ＢRを示す画像の左側になり、右側後方領域ＲRを示す画像は後方領域ＢRを示す画像の右側になり、また、後方領域ＢRを示す画像は左側後方領域ＬRを示す画像の右側であって且つ右側後方領域ＲRを示す画像の左側になるように配置する。これにより、運転者が、車両αの左後方、車両αの中央後方、及び、車両αの右後方を、直感的に認識できるように、各画像を配置する。
　なお、図３Ａ及び図３Ｂは一例に過ぎず、例えば、左側後方領域ＬRを示す画像が、運転者の運転位置よりも左側に位置し、右側後方領域ＲRを示す画像が、運転者の運転位置よりも右側に配置されるように、拡大表示領域を設けてもよい。
　本実施形態では、表示部４０を、例えば、ヘッドアップディスプレイ（ＨＵＤ）として構成する。
　図４に、ダッシュボード内に配置される表示部４０の構成例を示す。この図に示すように、表示部４０は、ピコプロジェクター４０１と透過型スクリーン４０２とフィールドレンズ４０３とコンバイナー（凹面ハーフミラー）４０４を備える。ピコプロジェクター４０１は、入力された画像信号Ｄに応じた画像を透過型スクリーン４０２に投影して実像を描画する。透過型スクリーン４０２を透過した光はフィールドレンズ４０３で像の方向が調整され、コンバイナー４０４で反射される。このとき、コンバイナー４０４によって反射された光がダッシュボードに設けられた開口部Ｏpを介して運転者の目に入射すると、運転者からは、拡大表示領域（Ａrea-L、Ａrea-C、Ａrea-R）に画像が拡大されて表示されているように見える（すなわち、ダッシュボードの先に拡大画像の虚像が形成される）。なお、開口部Ｏpを透明な板で塞ぎ、塵や埃が内部に入らないようにしてもよい。
　なお、本発明に係る表示部４０は、本実施形態のような態様に限定されるものではなく、直視型のパネルの虚像を表示するＨＵＤであってもよいし、プロジェクター方式のＨＵＤであってもよいし、ＬＣＤ（liquid crystal display）や有機ＥＬパネルの様な直視型の表示パネルであってもよい。
　図５は、車両用撮像表示装置１の機能構成を示すブロック図である。
　図５に示すように、撮像部１０は、マトリックス状に配列された受光素子からの信号を線順次に走査して被写体の像に応じた撮像信号ＤS-Jを出力する複数のイメージセンサー１２J（１２L、１２C、１２R）と、各イメージセンサー１２J（１２L、１２C、１２R）に対して各種のタイミング信号を出力するタイミングジェネレータ１３と、を備える。なお、撮像部１０は、各イメージセンサー１２Jに対応して、被写体の像を結像させる撮像光学系を備えるが、この図においては図示省略している。
　図６に示すように、左後方用イメージセンサー１２Lは、ＰL行×ＱL列の画素に対応する撮像信号ＤS-Lを出力する（ＰLは、２≦ＰLを満たす自然数。ＱLは、２≦ＱLを満たす自然数）。中央後方用イメージセンサー１２Cは、ＰC行×ＱC列の画素に対応する撮像信号ＤS-Cを出力する（ＰCは、２≦ＰCを満たす自然数。ＱCは、２≦ＱCを満たす自然数）。右側後方用イメージセンサー１２Rは、ＰR行×ＱR列の画素に対応する撮像信号ＤS-Rを出力する（ＰRは、２≦ＰRを満たす自然数。ＱRは、２≦ＱRを満たす自然数）。この図に示すように、本実施形態では、「ＰL＝ＰR＜ＰC」であり、「ＱL＝ＱR＜ＱC」である場合を想定する。
　なお、以下では、イメージセンサー１２J（１２L、１２C、１２R）が出力する撮像信号ＤS-Jの画素のサイズを、ＰJ行×ＱJ列と総称する場合がある。
　タイミングジェネレータ１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成し、これら生成した信号を各イメージセンサー１２Jに対して出力する。尚、ここでは、単一のタイミングジェネレータ１３で生成したタイミングが、それぞれのイメージセンサーに対して供給する。
　図７は、タイミングジェネレータ１３が生成する、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを説明するためのタイミングチャートである。撮像垂直同期信号ＳＶsync（「撮像同期信号」の一例）は、各イメージセンサー１２Jの受光素子から検出信号を読み出すための撮像垂直走査期間Ｆs（「撮像同期信号のフレーム」の一例）を規定する信号である。なお、撮像部１０のフレームレート、すなわち、「１／Ｆs」を、「第１フレームレート」と称する場合がある。
　撮像水平同期信号ＳＨsyncは、各イメージセンサー１２Jの１ライン分の受光素子から検出信号を読み出すための水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、各イメージセンサー１２Jの１画素分の受光素子から検出信号を読み出すためのタイミングを規定する信号である。撮像垂直走査期間Ｆsの時間長は一定（固定長）であり、水平走査期間Ｈsの時間長も一定（固定長）である。また、撮像垂直走査期間Ｆsは、複数の水平走査期間Ｈsから構成される。なお、タイミングジェネレータ１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを、画像処理回路１００に対して出力するものであってもよい。
　このように、本実施形態では、撮像部１０が備える複数のイメージセンサー１２J（１２L、１２C、１２R）は、単一のタイミングジェネレータ１３から供給される同一のタイミング信号に同期して動作する(ここで、同一のタイミング信号とは、少なくても撮像垂直同期信号ＳＶsyncタイミングが一致している事とする。)。
　説明を図５に戻す。
　表示部４０は、撮像対象となる被写体を示す画像を表示して、車両αの運転者に車両α外部の被写体の様子を把握させるための表示装置であり、その構造は図４を参照して説明したとおりである。
　表示部４０のうち、ピコプロジェクター４０１は、光源（図示略）と、画像処理回路１００が生成した画像信号Ｄに応じた画像を表示する表示領域ＡDを具備する液晶パネル４２と、投射光学系（図示略）と、液晶パネル４２の動作を制御するコントローラー４１と、を備える。光源は例えばＬＥＤ（Light Emitting Diode）やレーザーダイオードを備え、液晶パネル４２に向けて白色光を照射する。投射光学系は液晶パネル４２を透過した光を投射する、例えば凸型レンズ等である。
　図６に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素が縦方向にＮ列、横方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている（Ｍは、２≦Ｍを満たす自然数。Ｎは、６≦Ｎを満たす自然数）。換言すれば、表示領域ＡDは、横方向に配列されたＮ個の画素からなるラインが、縦方向にＭ行並ぶように構成されている。これらＭ行×Ｎ列の画素は、例えば、赤色を表示するための画素、緑色を表示するための画素、及び、青色を表示するための画素を含む。
　また、図１を参照して説明したとおり、表示領域ＡDは、３つの表示領域ＡD-Jに区分されており、このうち、左側表示領域ＡD-Lは、Ｍ行×ＮL列の画素を備え、中央表示領域ＡD-Cは、Ｍ行×ＮC列の画素を備え、右側表示領域ＡD-Rは、Ｍ行×ＮR列の画素を備える（ＮL、ＮC、及び、ＮRは、２以上の自然数）。但し、ＮL、ＮC、ＮRは、「Ｎ＝ＮL＋ＮC＋ＮR」を満たす。以下では、表示領域ＡDが有する各表示領域ＡD-J（ＡD-L、ＡD-C、ＡD-R）の画素のサイズを、Ｍ行×ＮJ列と総称する場合がある。
　なお、本実施形態では、撮像信号ＤS-Jの画素数と、表示領域ＡD-Jの画素数とは異なる場合がある。すなわち、「Ｍ≠ＰJ」であり、「ＮJ≠ＱJ」となる場合がある。本実施形態では、「Ｍ＜ＰJ」であり、「ＮJ＜ＱJ」である場合を想定する。
　本実施形態では、表示部４０の表示領域ＡDが表示可能な最高のフレームレートで１画面分の画像を表示するために必要となる時間長は、イメージセンサー１２Jが１画面分の画像を撮像する時間長よりも短い。このため、表示部４０が表示可能な最高のフレームレートで画像を表示しようとする場合、撮像部１０からの撮像信号ＤSの出力が追いつかない。そこで、本実施形態に係る車両用撮像表示装置１では、画像処理回路１００により、画像処理回路１００からの画像信号Ｄの出力タイミングを調整することで、表示部４０の表示速度を、撮像部１０からの撮像信号ＤSの出力周期に追従させる。
　図５に示すように、画像処理回路１００は、撮像信号ＤS（複数の撮像信号ＤS-J）に基づいて画像信号Ｄ（複数の部分画像信号Ｄ-J）を生成して生成した画像信号Ｄを表示部４０に対して出力する画像信号生成部２０と、画像信号生成部２０が画像信号Ｄを出力するタイミングを制御するタイミング制御部３０と、を備える。
　図５に示すように、画像信号生成部２０は、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理部２１と、画像処理部２１が生成した画像信号Ｄを一時的に記憶するＶＲＡＭ／ラインバッファ２２（以下、「ラインバッファ２２」と称する）と、ラインバッファ２２から画像信号Ｄを取得して、取得した画像信号Ｄを表示部４０に対して出力する画像信号出力部２３と、を備える。
　画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべき画像（階調）を規定する信号である。
　以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。また、以下では、表示領域ＡD-Jで表示すべき画像を示す部分画像信号Ｄ-Jのうち、表示領域ＡD-Jの第ｍ行のラインで表示すべき画像を示す１ライン分の部分画像信号Ｄ-Jを、部分画像信号Ｄ-J[m]と表記する。すなわち、画像信号Ｄ[m]は、部分画像信号Ｄ-L[m]、部分画像信号Ｄ-C[m]、及び、部分画像信号Ｄ-R[m]からなる。
　図５に示すように、画像処理部２１は、撮像信号ＤSのうち撮像信号ＤS-L対して画像処理を施して部分画像信号Ｄ-Lを生成する左側画像用画像処理部２１Lと、撮像信号ＤSのうち撮像信号ＤS-C対して画像処理を施して部分画像信号Ｄ-Cを生成する中央画像用画像処理部２１Cと、撮像信号ＤSのうち撮像信号ＤS-R対して画像処理を施して部分画像信号Ｄ-Rを生成する右側画像用画像処理部２１Rと、を備える。以下では、左側画像用画像処理部２１L、中央画像用画像処理部２１C、及び、右側画像用画像処理部２１Rを区別する必要がないときは、これらのうち任意の一つを、「部分画像処理部２１J」と総称する。
　部分画像処理部２１J（２１L、２１C、２１R）は、液晶パネル４２の表示領域ＡD-Jで表示すべき画像を示す部分画像信号Ｄ-Jを、表示領域ＡD-Jの１ライン分の画素で表示すべき画像毎に生成する。より具体的には、部分画像処理部２１Jは、部分画像信号Ｄ-J[1]、部分画像信号Ｄ-J[2]、…、部分画像信号Ｄ-J[m]の順番で、部分画像信号Ｄ-Jを生成する。なお、部分画像処理部２１Jが実行する画像処理の詳細については後述する。
　また、部分画像処理部２１J（２１L、２１C、２１R）は、部分画像信号Ｄ-J[m]（Ｄ-L[m]、Ｄ-C[m]、Ｄ-R[m]）を生成すると、生成した部分画像信号Ｄ-J[m]をラインバッファ２２に格納するとともに、部分画像信号Ｄ-J[m]のラインバッファ２２への格納が完了したことを示す部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）を、タイミング制御部３０に対して出力する。すなわち、左側画像用画像処理部２１Lは、部分画像信号Ｄ-L[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Lを出力する。また、中央画像用画像処理部２１Cは、部分画像信号Ｄ-C[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Cを出力する。また、右側画像用画像処理部２１Rは、部分画像信号Ｄ-R[m]を生成してラインバッファ２２に格納すると、部分書込完了信号ＰtA-Rを出力する。このような、画像処理部２１が、画像信号Ｄ[m]を生成してラインバッファ２２に格納したときに出力される、部分書込完了信号ＰtA-L、ＰtA-C、及び、ＰtA-Rからなる信号を、書込完了信号ＰtAと称する。
　本実施形態において、部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）は、部分画像処理部２１Jによるラインバッファ２２への書込が完了した部分画像信号Ｄ-Jに対応するラインの番号ｍを示す信号である。以下では、部分書込完了信号ＰtA-J（ＰtA-L、ＰtA-C、ＰtA-R）の示すラインの番号ｍを、特に「ライン番号ｍa-J（ｍa-L、ｍa-C、ｍa-R）」と称する（ｍa-Jは、１≦ｍa-J≦Ｍを満たす自然数）。書込完了信号ＰtAに含まれる部分書込完了信号ＰtA-L、ＰtA-C、及び、ＰtA-Rが示すライン番号ｍa-L、ｍa-C、及び、ｍa-Rの最小値ｍaが、画像処理が完了したラインを表す「画像処理ライン情報」に該当する。すなわち、書込完了信号ＰtAは、画像処理ライン情報を示す信号である。
　なお、部分書込完了信号ＰtA-Jは、ラインの番号を示す信号に限定されるものではなく、部分画像処理部２１Jによる部分画像信号Ｄ-J[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。部分書込完了信号ＰtA-Jが２値の信号である場合、タイミング制御部３０は、例えば、一の画面の表示が開始された後に部分書込完了信号ＰtA-Jに含まれるパルスの個数をカウントすることで、部分画像処理部２１Jにより生成が完了した部分画像信号Ｄ-J[m]のライン番号を得ることができる。
　画像信号出力部２３は、タイミング制御部３０の制御に応じて、ラインバッファ２２から１ライン毎に画像信号Ｄを読み出し、読み出した１ライン分の画像信号Ｄ[m]を表示部４０に対して出力する。
　なお、以下では、説明の都合上区別が必要な場合には、画像処理部２１が生成してラインバッファ２２に格納した画像信号Ｄを画像信号ＤGAと称し、画像信号出力部２３がラインバッファ２２から取得して表示部４０に出力する画像信号Ｄを画像信号ＤGBと称する。そして、画像信号ＤGAのうち、部分画像処理部２１Jが生成した画像信号ＤGAを部分画像信号ＤGA-J（ＤGA-L、ＤGA-C、ＤGA-R）と称する。また、画像処理部２１がラインバッファ２２に格納する画像信号ＤGAのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGAを画像信号ＤGA[m]と称し、画像信号出力部２３が表示部４０に出力する画像信号ＤGBのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGBを画像信号ＤGB[m]と称する。
　画像信号出力部２３は、ラインバッファ２２から画像信号ＤGB[m]を読み出して当該画像信号ＤGB[m]を表示部４０に出力する処理が完了した場合、画像信号ＤGB[m]の表示部４０への出力が完了したことを示す出力完了信号ＰtBを、タイミング制御部３０に対して出力する。本実施形態において、出力完了信号ＰtBは、画像信号出力部２３による表示部４０への出力が完了した画像信号Ｄ[m]に対応するラインの番号ｍを示す信号である。以下では、出力完了信号ＰtBの示すラインの番号ｍを、特に「ライン番号ｍb」と称する（ｍbは、基本的には、０≦ｍb≦Ｍを満たす自然数である）。出力完了信号ＰtBの示す値であるライン番号ｍbは、表示部４０に対する出力が完了した画像信号Ｄ[m]のラインを示す「表示出力ライン情報」の一例である。
　詳細は後述するが、画像信号出力部２３は、表示部４０に対して、画像信号ＤGB[m]を出力する代わりに、無効信号Ｄmyを出力する場合がある（図８Ｄ参照）。この場合は、画像信号出力部２３は、出力完了信号ＰtBを出力しない。
　尚、ｍbは、１フレームの最終ラインを出力した直後ｍb＝Ｍになり以降ｍb＝Ｍを維持する。そして、次のフレーム用の画像出力準備が完了した時点（垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミングにて）において、ｍb信号はリセットされて、ｍb＝０になるものとする。
　なお、出力完了信号ＰtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部２３による画像信号Ｄ[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。
　図５に示すように、タイミング制御部３０は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて出力制御信号ＣTR（正確には、ＣTR[m]）を生成する出力制御部３１と、各種のタイミング信号を生成して画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングを制御するタイミングジェネレータ３２と、コントローラー４１の動作を規定する設定パラメーターＰRMをコントローラー４１に対して送信するパラメーター送信部３３と、を備える。
　出力制御部３１は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて、画像信号出力部２３が表示部４０に対して表示領域ＡDの第ｍ行で表示すべき画像を示す画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号ＣTR（正確には、ＣTR[m]）を生成する。
　ここで、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」とは、以下の第１条件及び第２条件を充足したことをいう。
　（第１条件）　画像処理部２１が、第ｍ行の画像信号Ｄ[m]（画像信号ＤGA[m]）の画像処理を完了し、ラインバッファ２２に画像信号ＤGA[m]の書き込みが完了していること。
　（第２条件）　画像信号出力部２３が、第ｍ-1行の画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）の出力を完了していること。
　第１条件は、部分書込完了信号ＰtA-Jの示すライン番号ｍa-Jの最小値ｍaが、ライン番号ｍ以上である場合を示す。すなわち、第１条件は、「ｍ≦ｍa」を満たす場合、より具体的には、「ｍ≦ｍa-L」且つ「ｍ≦ｍa-C」且つ「ｍ≦ｍa-R」である場合に充足される。
　第２条件は、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たす場合に充足される（厳密には、「ｍ＝１」の場合には、「ｍb＝０」(「ｍb＝Ｍ」後の垂直同期信号の出力後の垂直バックポーチ期間完了後のタイミング）において、ｍb信号はリセットされて、ｍb＝０になる)を満たす場合に充足される）。
　本明細書では、出力制御部３１が判定の対象とする画像信号Ｄ[m]が示す画像を表示する表示領域ＡDのラインを、「表示対象ライン」と称する場合がある。
　なお、厳密には、画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するためには、以下の第３条件が充足される必要がある。
　（第３条件）　画像信号出力部２３が第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングが、表示領域ＡDが画像を表示可能な期間（図８で後述する水平有効データ期間ＤＨＩ）に含まれること。
　しかし、上述した第１条件及び第２条件が充足されている場合、画像信号出力部２３からの画像信号Ｄ[m]（画像信号ＤGB[m]）の出力タイミングをタイミングジェネレータ３２が制御することにより第３条件は必然的に充足される。このため、本実施形態では、出力制御部３１における判定において第３条件を考慮しない。
　以下、出力制御部３１の制御方法の実現方法について、更に詳細に記載する。出力制御部３１は、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を、例えば、以下の２つの態様により実行することができる。
　第１の態様としては、第１条件が充足されているか否かの判定（第１の判定）と、第２条件が充足されているか否かの判定（第２の判定）の２つの判定を、出力制御部３１が直接に実行する態様である。
　具体的には、出力制御部３１は、画像処理部２１が書込完了信号ＰtAを出力すると、書込完了信号ＰtAに含まれる複数の部分書込完了信号ＰtA-Jの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定する（第１の判定を実行する）。また、出力制御部３１は、画像信号出力部２３が出力完了信号ＰtBを出力すると、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たすか否かを判定する（第２の判定を実行する）。そして、出力制御部３１は、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定である場合に、「画像信号Ｄ[m]を出力する準備が完了した」と判定する。
　この第１の態様の場合、出力制御部３１は、第１の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第２の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
　なお、出力制御部３１は、第１の判定の判定結果、または、第２の判定の判定結果が否定である場合、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となるまで、第１の判定及び第２の判定を繰り返す。具体的には、出力制御部３１は、例えば、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、画像処理部２１から書込完了信号ＰtAが出力される毎に第１の判定を実行し、また、画像信号出力部２３から出力完了信号ＰtBが出力される毎に第２の判定を実行すればよい。また、例えば、出力制御部３１は、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Ｈdの周期で、第１の判定及び第２の判定を繰り返してもよい。そして、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となったときに、出力制御信号ＣTR（正確には，ＣTR[m]）を、判定結果が肯定であることを示す値に設定する。
　次に、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第２の態様としては、出力制御部３１が前回の判定（画像信号Ｄ[m-1]を出力する準備が完了したか否かの判定）の結果が肯定となった後であって、画像信号出力部２３が出力完了信号ＰtBの示すライン番号ｍb＝m-1を出力したタイミングで、第１条件が充足されているか否かの判定（第１の判定）を実行する態様である。
　この態様において、出力制御部３１は、第１の判定の判定結果が否定である場合、第１の判定の判定結果が肯定となるまで第１の判定を繰り返し、第１の判定の判定結果が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値（ＣTR[m]）に設定する。具体的には、出力制御部３１は、例えば、出力完了信号ＰtBが出力されたタイミングで第１の判定の判定結果が否定である場合には、その後、画像処理部２１が書込完了信号ＰtAを出力する毎に、当該書込完了信号ＰtAの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たすか否かを判定し、「ｍ≦ｍa」を満たしたときに、第１条件が充足されたと判定すればよい。
　上述のとおり、画像処理部２１は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGA[m]）を生成し、画像信号出力部２３は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する。そして、本実施形態では、第ｍ-2行の画像信号Ｄ[m-2]の出力が完了し、出力制御部３１が「画像信号Ｄ[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部２３が画像信号Ｄ[m-1]を出力する。よって、出力制御部３１が「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部２３から画像信号Ｄ[m-2]（画像信号ＤGB[m-2]）が出力された後のタイミングであって、且つ、出力制御部３１が「画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部３１が、「画像信号Ｄ[m]を出力する準備が完了した」か否かの第１の判定を行うタイミングにおいて、画像信号出力部２３が出力する出力完了信号ＰtBの示すライン番号ｍbは「ｍ-1」となる。
　このため、第２の態様において、出力制御部３１は、画像信号出力部２３からの出力完了信号ＰtBの出力をもって第２条件が充足されたとみなす。そして、出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたタイミングにおいて第１条件が充足されているか否かの判定（第１の判定）を実行することで、「画像信号Ｄ[m]（画像信号ＤGB[m]）の出力準備が完了した」か否かの判定を行う。
　本実施形態では、上述した２つの態様のうち、第２の態様を採用することを前提として、以下の説明を行う。
　タイミングジェネレータ３２は、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを生成し、生成したこれらの信号を、画像信号出力部２３及び表示部４０に対して出力する。
　図８Ａ乃至図８Ｄは、タイミングジェネレータ３２が生成する、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを説明するためのタイミングチャートである。
　図８Ａ及び図８Ｂに示すように、表示垂直同期信号ＤＶsync（「表示同期信号」の一例）は、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための表示垂直走査期間Ｆd（「表示同期信号のフレーム」の一例）を規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。
　本実施形態において、水平走査期間Ｈdは、予め定められた一定の時間長を有している。また、本実施形態において、表示垂直走査期間Ｆdは、複数の水平走査期間Ｈdから構成されており、撮像垂直走査期間Ｆsの時間長（周期）より短い時間の可変な時間長（周期）を有する。すなわち、各表示垂直走査期間Ｆdに含まれる水平走査期間Ｈdの個数は可変になっている。図８Ａに示す例では、図８Ａに示す複数の表示垂直走査期間Ｆdのうち、最初の表示垂直走査期間Ｆdである表示垂直走査期間Ｆd1は、表示垂直走査期間Ｆd1に後続する表示垂直走査期間Ｆd2よりも短く、表示垂直走査期間Ｆd2は、表示垂直走査期間Ｆd2に後続する表示垂直走査期間Ｆd3よりも短い場合を例示している。
　なお、表示垂直同期信号ＤＶsyncの有する波形のうち、表示垂直走査期間Ｆdの開始及び終了のタイミングを規定するパルス状の波形を、表示垂直同期パルスＰlsＶと称する。また、表示水平同期信号ＤＨsyncの有する波形のうち、水平走査期間Ｈdの開始及び終了のタイミングを規定するパルス状の波形を、表示水平同期パルスＰlsＨと称する。
　図８Ｂに示すように、表示垂直走査期間Ｆdは、垂直同期期間ＤＶpと、垂直バックポーチ期間ＤＶbと、垂直有効データ期間ＤＶＩと、垂直フロントポーチ期間ＤＶfと、からなる。
　垂直同期期間ＤＶpは、表示垂直同期信号ＤＶsyncがアクティブ（この図の例ではローレベル）である期間であり、表示垂直走査期間Ｆdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間ＤＶbは、垂直同期期間ＤＶpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間ＤＶＩは、垂直バックポーチ期間ＤＶbに後続する、可変な時間長の期間である。当該垂直有効データ期間ＤＶＩにおいて、画像信号出力部２３から画像信号ＤGB（画像信号ＤGB[1]～ＤGB[M]）が出力される。垂直フロントポーチ期間ＤＶfは、垂直有効データ期間ＤＶＩに後続する期間であり、表示垂直走査期間Ｆdの終了と同時に終了する、予め定められた時間長を有する期間である。
　垂直有効データ期間ＤＶＩは、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間である（イネーブル信号ＤＥnbがアクティブとなる場合については、後述する）。
　当該垂直有効データ期間ＤＶＩは、例えば、イネーブル信号ＤＥnbがアクティブとなる回数をカウントするカウンタ（図示省略）が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各表示垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間においてアクティブ（この図の例ではハイレベル）となる垂直有効データ信号ＤＶactiveを導入する。すなわち、本実施形態では、垂直有効データ信号ＤＶactiveがアクティブである期間を垂直有効データ期間ＤＶＩとして説明する。なお、この垂直有効データ信号ＤＶactiveは、説明の便宜上導入した信号であり、出力制御部３１は、この垂直有効データ信号ＤＶactiveを出力しないものであってもよい。
　図８Ｃ及び図８Ｄに示すように、水平走査期間Ｈdは、水平同期期間ＤＨpと、水平バックポーチ期間ＤＨbと、水平有効データ期間ＤＨＩと、水平フロントポーチ期間ＤＨfと、からなる。
　水平同期期間ＤＨpは、表示水平同期信号ＤＨsyncがアクティブ（この図の例ではローレベル）である期間であり、水平走査期間Ｈdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間ＤＨbは、水平同期期間ＤＨpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間ＤＨＩは、水平バックポーチ期間ＤＨbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間ＤＨfは、水平有効データ期間ＤＨＩに後続する期間であり、水平走査期間Ｈdの終了と同時に終了する、予め定められた時間長を有する期間である。
　本実施形態では、水平走査期間Ｈdには、画像信号出力部２３が画像信号Ｄ[m]を出力するための有効水平走査期間Ｈd-Ａ（図８Ｃ参照）と、画像信号Ｄ[m]を出力する代わりに無効信号Ｄmy[m]を出力する無効水平走査期間Ｈd-Ｄ（図８Ｄ参照）と、が存在する。
　図８Ｃは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合には、水平有効データ期間ＤＨＩにおいてアクティブ（この図の例ではハイレベル）となる。そして、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号出力部２３から画像信号Ｄ[m]（画像信号ＤGB[m]）が出力される。一方、イネーブル信号ＤＥnbは、有効水平走査期間Ｈd-Ａのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）において、非アクティブとなる。画像信号出力部２３は、有効水平走査期間Ｈd-Ａのうち、イネーブル信号ＤＥnbが非アクティブとなる、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータの画素毎の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
　上述した第３条件は、タイミングジェネレータ３２が水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとすることで充足される。すなわち、出力制御部３１及びタイミングジェネレータ３２を備えるタイミング制御部３０は、上述した第１条件～第３条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号Ｄ[m]（画像信号ＤGB[m]）のラインデータについて画素毎に画像信号出力部２３から出力させる。
　図８Ｄは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合には、水平有効データ期間ＤＨＩにおいて非アクティブとなる。そして、画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]（画像信号ＤGB[m]）の代わりに、無効信号Ｄmyを出力する。一方、イネーブル信号ＤＥnbは、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）においても非アクティブとなる。画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
　なお、タイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに基づいて、水平走査期間Ｈdを有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄのいずれにするかを決定する。換言すれば、タイミングジェネレータ３２は、出力制御信号ＣTRに基づいて、水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとするか否かを決定する。この、出力制御信号ＣTR、イネーブル信号ＤＥnb、及び、水平走査期間Ｈdの種類の関係については、後述する。
　図９は、タイミングジェネレータ３２が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
　この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、表示垂直走査期間Ｆdのうち、垂直有効データ信号ＤＶactiveがアクティブとなる垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]～Ｄ[M]の示す１画面分の画像を表示する。
　また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、水平走査期間Ｈd（有効水平走査期間Ｈd-Ａ）のうち、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示すラインデータの画素毎の画像を表示する。
　なお、垂直有効データ期間ＤＶＩは、当該垂直有効データ期間ＤＶＩに含まれる無効水平走査期間Ｈd-Ｄの個数によって延長されるが、この図では、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdは全て有効水平走査期間Ｈd-Ａである場合を想定している。
　図１０は、出力制御信号ＣTRと、イネーブル信号ＤＥnbとを説明するための説明図である。
　上述のとおり、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したとき、つまり、第１条件及び第２条件が充足されたときに、出力制御信号ＣTRに判定結果が肯定であることを示す値ＣTR[m]を設定する。本実施形態では便宜的に、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したときに、出力制御信号ＣTRに一時的にハイレベルに立ち上がるパルス状の波形を出力することとし、図１０に示すように、出力制御信号ＣTRに設定される画像信号Ｄ[m]を出力する準備が完了した旨の判定結果を示す出力パルス波形を、出力許可パルスＰL[m]と称することにする（＝ＣTR[m]）。
　上述のとおり、本実施形態に係る出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたことをもって、第２条件が充足されたとみなす。そして、出力制御部３１は、出力完了信号ＰtBが出力されたときに画像信号Ｄ[m]の画像処理が完了しているか（第１条件が充足されているか）否かの判定（第１の判定）を実行することで、画像信号Ｄ[m]の出力準備が完了したか否かを判定する。
　図１０に示すように、出力制御部３１が画像信号Ｄ[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部３１が画像信号Ｄ[m]の画像処理が完了したと判定（第１条件が充足されたと判定）するタイミング、つまり、第１の判定の結果が肯定となるタイミングを、画像処理判定時刻ＴA[m]と称する。
　また、出力制御部３１に出力完了信号ＰtBが供給された（第２条件が充足されたとみなす）タイミングを、表示準備判定時刻ＴB[m]と称する。
　また、以下では、説明の便宜上、画像処理部２１による画像信号Ｄ[m]の生成が実際に完了した時刻を、画像信号生成時刻ＴC[m]と定義する。より具体的には、画像信号生成時刻ＴC[m]は、部分画像信号Ｄ-L[m]、Ｄ-C[m]、及び、Ｄ-R[m]の全ての生成が完了する時刻であり、左側画像用画像処理部２１Lが部分画像信号Ｄ-L[m]の生成を完了させた時刻、中央画像用画像処理部２１Cが部分画像信号Ｄ-C[m]の生成を完了させた時刻、及び、右側画像用画像処理部２１Rが部分画像信号Ｄ-R[m]の生成を完了させた時刻のうち、最も遅い時刻である。なお、この画像信号生成時刻ＴC[m]は、「画像信号生成時刻」の一例である。
　表示準備判定時刻ＴB[m]は、出力制御部３１からの画像信号Ｄ[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号Ｄ[m-1]が出力される有効水平走査期間Ｈd-Ａ（有効水平走査期間Ｈd-Ａ[m-1]と称する）の水平有効データ期間ＤＨＩが終了する時刻と略同じ時刻である。なお、表示準備判定時刻ＴB[m]の後に最初の水平走査期間Ｈd[m]の水平有効データ期間ＤＨＩが開始される時刻は、「表示可能時刻」の一例である。
　なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であるとみなすことができる場合を含む概念である。
　画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了している場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1と称する）には、表示準備判定時刻ＴB[m]と略同じ時刻となる。
　なお、Ｃase-1の場合、表示準備判定時刻ＴB[m]のタイミング（＝第２条件が充足されたとみなすタイミング）において、出力制御部３１が、当該表示準備判定時刻ＴB[m]までに出力制御部３１に供給されている書込完了信号ＰtAの示すライン番号ｍa-Jの最小値ｍaをもとにｍについて「ｍ≦ｍa」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]の間には実際にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
　一方、画像処理判定時刻ＴA[m]については、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了していない場合においては（すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が到来していない場合（Ｃase-2と称する））には、画像処理部２１が画像信号Ｄ[m]の生成を完了させた時刻（すなわち、画像信号生成時刻ＴC[m]と略同じ時刻）となる。
　なお、Ｃase-2の場合、画像処理部２１が画像信号生成時刻ＴC[m]に画像信号Ｄ[m]の生成を完了させた後に、画像処理部２１が最小値ｍaに対応する部分書込完了信号ＰtA-Jを出力し、当該部分書込完了信号ＰtA-Jの供給を受けた出力制御部３１が「ｍ≦ｍa」を満たす旨の判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び画像信号生成時刻ＴC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じとみなす。
　この様にＣase-1とＣase-2の場合があり得るため、両ケースをまとめると、出力制御部３１は、画像信号生成時刻ＴC[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻において（すなわちこの時刻は、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。つまり、この出力許可パルスＰL[m]は、画像信号Ｄ[m]についての第１条件及び第２条件が充足されたときに出力される。そして、タイミングジェネレータ３２は、出力許可パルスＰL[m]が出力された後であって第３条件が充足されたとき、換言すれば、出力許可パルスＰL[m]が出力された後に最初にイネーブル信号ＤＥnbがアクティブになるときに、画像信号出力部２３から画像信号Ｄ[m]が出力されるように制御する。
　以下、説明の都合上、画像信号Ｄ[m]について、第１条件～第３条件の全てが充足された時刻を、出力条件充足時刻ＴZ[m]と称する。
　本実施形態では、タイミングジェネレータ３２は、出力制御信号ＣTRに基づいて、タイミングジェネレータ３２の内部処理で用いるための内部処理信号ＩSのレベルを決定する。そして、タイミングジェネレータ３２は、内部処理信号ＩSに基づいて、イネーブル信号ＤＥnbをアクティブにするタイミング、及び、水平走査期間Ｈdの種別（有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄ）を決定する。
　具体的には、タイミングジェネレータ３２は、図１０に示すように、出力制御信号ＣTRに出力許可パルスＰL[m]が設定されると、内部処理信号ＩSをアクティブ（この図の例ではハイレベル）とする。
　タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSがアクティブである場合、当該水平走査期間Ｈdの種別を有効水平走査期間Ｈd-Ａ[m]に決定（分類）し、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されるタイミングでイネーブル信号ＤＥnbをアクティブにする。このイネーブル信号ＤＥnbがアクティブとなるタイミングが、出力条件充足時刻ＴZ[m]に該当する。
　そして、タイミングジェネレータ３２は、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されてイネーブル信号ＤＥnbがアクティブとなるタイミング、つまり、出力条件充足時刻ＴZ[m]において、内部処理信号ＩSを非アクティブにする。
　一方、タイミングジェネレータ３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSが非アクティブである場合、当該水平走査期間Ｈdの種別を無効水平走査期間Ｈd-Ｄに決定（分類）し、当該無効水平走査期間Ｈd-Ｄの間はイネーブル信号ＤＥnbを非アクティブにする。
　ここで、図１０に示す例において、表示準備判定時刻ＴB[1]以前では、PtB信号のｍbは、１フレームの最終ラインを出力した直後よりｍb＝Ｍを維持している。そして、垂直同期信号の出力後の垂直バックポーチ期間が完了後のある時点で、次のフレームのデータ出力が可能になる。このため、表示準備判定時刻ＴB[1]の時点において、ｍb信号がリセットされて、ｍb＝０になる（Ｃase-0）。Ｃase-0は、１フレームの最初の1ライン目を表示開始するための特殊なタイミングであり、１フレームに１回のみ存在する。そしてその結果、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始される。
　次に，２ライン目以降の例を記載する。以下、図１０に示す例において、出力制御部３１が、画像信号Ｄ[2]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[2]を設定する場合（Ｃase-1に相当）を説明する。
　図１０に示す例では、表示準備判定時刻ＴB[2]は、画像信号Ｄ[1]の出力が完了する水平走査期間Ｈd[1]（有効水平走査期間Ｈd-Ａ[1]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[2]の画像処理が完了する画像信号生成時刻ＴC[2]が、表示準備判定時刻ＴB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻ＴA[2]は、表示準備判定時刻ＴB[2]と略同じ時刻となる。このため、出力制御部３１は、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了時、つまり、表示準備判定時刻ＴB[2]に、出力制御信号ＣTRとして出力許可パルスＰL[2]を出力する。
　タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[2]が出力されるタイミング、つまり、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩが終了するタイミングにおいて、内部処理信号ＩSをアクティブにする。この場合、内部処理信号ＩSは、水平走査期間Ｈd[2]の開始時においてもアクティブとなっている。ここで、タイミングジェネレータ３２は、水平走査期間の開始タイミング（ＤＨsyncパルス）において、当該水平走査期間を有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄとするのかを内部処理信号ＩSの状態に基づいて判断を行うものとする。上記の場合は、内部処理信号ＩSは、アクティブである。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[2]を有効水平走査期間Ｈd-Ａ[2]とし、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
　すなわち、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[2]についての第１条件～第３条件の全てが充足された出力条件充足時刻ＴZ[2]となる。このため、水平走査期間Ｈd[2]において、画像信号Ｄ[2]が出力されることになる。また、タイミングジェネレータ３２は、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始されるタイミングにおいて、内部処理信号ＩSを非アクティブとする。
　次に、図１０に示す例において、出力制御部３１が、画像信号Ｄ[3]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[3]を設定する場合（Ｃase-2に相当）を説明する。
　図１０に示す例では、表示準備判定時刻ＴB[3]は、画像信号Ｄ[2]の出力が完了する水平走査期間Ｈd[2]（有効水平走査期間Ｈd-Ａ[2]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[3]の画像処理が完了する画像信号生成時刻ＴC[3]が、表示準備判定時刻ＴB[3]よりも後となる場合を想定している。よって、この例では、画像処理判定時刻ＴA[3]は、表示準備判定時刻ＴB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻ＴC[3]が、水平走査期間Ｈd[3]の開始時よりも後となる場合を想定している。このため、出力制御部３１は、水平走査期間Ｈd[3]の開始時よりも後の時刻に、出力許可パルスＰL[3]を出力する。
　上述のとおり、タイミングジェネレータ３２は、内部処理信号ＩSを、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時に非アクティブとする。このため、内部処理信号ＩSは、水平走査期間Ｈd[3]の開始時に非アクティブとなっている。このため、水平走査期間の開始タイミング（ＤＨsyncパルス）において、内部処理信号ＩSの状態は非アクティブであるので、タイミングジェネレータ３２は、水平走査期間Ｈd[3]を無効水平走査期間Ｈd-Ｄとして分類し、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbを非アクティブにする。この場合、画像信号出力部２３は、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[3]を出力せずに、無効信号Ｄmyを出力する。
　その後、タイミングジェネレータ３２は、出力制御信号ＣTRとして出力許可パルスＰL[3]が出力されタイミングにおいて、内部処理信号ＩSをアクティブにする。この例では、出力許可パルスＰL[3]が出力されるタイミングは、水平走査期間Ｈd[4]の開始前である。この場合、内部処理信号ＩSは、水平走査期間Ｈd[4]の開始時（ＤＨsyncパルス）においてもアクティブとなっている。このため、タイミングジェネレータ３２は、水平走査期間Ｈd[4]を有効水平走査期間Ｈd-Ａ[3]とし、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
　すなわち、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[3]についての第１条件～第３条件の全てが充足された出力条件充足時刻ＴZ[3]となる。このため、水平走査期間Ｈd[4]において、画像信号Ｄ[3]が出力されることになる。
　なお、この図に示す例では、出力制御部３１が、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合、及び、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合（Ｃase-0）については、Ｃase-1としての条件である場合を想定している。
　このように本実施形態では、出力制御部３１は、第１条件及び第２条件が充足されときに、出力許可パルスＰL[m]を出力して、内部処理信号ＩSの状態をアクティブにし、水平走査期間の開始時（ＤＨsyncパルス）において、有効水平走査期間Ｈd-Ａ[m]とするのか、無効水平走査期間Ｈd-Ｄ[m]とするかを決定する。有効水平走査期間と決定された場合、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdにおいて、画像信号Ｄ[m]を出力する動作を行う。この様な動作により，画像処理部２１によるライン単位Ｄ[m]の画像処理結果の画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングは，水平走査期間Ｈdの単位の精度で出力調整されることになる。
　なお、図１０に示す例では、タイミングジェネレータ３２は、水平走査期間Ｈdの種別を、水平走査期間Ｈdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスＰL[m]が出力される水平走査期間Ｈdの水平フロントポーチ期間ＤＨfの開始から、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdの水平バックポーチ期間ＤＨbの終了までの間に決定すればよい。
　また、図１０に示す例では、内部処理信号ＩSを非アクティブとするタイミングを、イネーブル信号ＤＥnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレータ３２が内部処理信号ＩSを非アクティブとするタイミングは、イネーブル信号ＤＥnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間ＤＨＩの間であればいつでもよい。
　また、本実施形態において、タイミングジェネレータ３２は、内部処理信号ＩSを用いて、イネーブル信号ＤＥnbの波形と、水平走査期間Ｈdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ＩSを用いずに、出力制御信号ＣTRに基づいて、これらを決定してもよい。
　また、本実施形態において、出力制御信号ＣTRは、出力許可パルスＰL[m]を含む波形となっているが、これは一例であり、出力制御信号ＣTRは、例えば、図１０に示す内部処理信号ＩSの波形を有していてもよい。この場合、タイミングジェネレータ３２は、出力制御部３１が出力制御信号ＣTRの波形の決定をするために必要なイネーブル信号ＤＥnb等の各種信号を、出力制御部３１に供給すればよい。
　図１１Ａ及び図１１Ｂは、有効水平走査期間Ｈd-Ａ及び無効水平走査期間Ｈd-Ｄと、表示垂直走査期間Ｆdとの関係を説明するための説明図である。
　表示垂直走査期間Ｆdは、Ｍ行のラインに対応する画像信号Ｄ[1]～Ｄ[M]を出力する期間である。このため、タイミングジェネレータ３２は、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに、Ｍ個の有効水平走査期間Ｈd-Ａを設ける。
　一方、本実施形態に係るタイミングジェネレータ３２は、水平走査期間Ｈdを、有効水平走査期間Ｈd-Ａまたは無効水平走査期間Ｈd-Ｄの何れかに分類する。そして、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合にのみ、当該水平走査期間Ｈdにおいて画像信号Ｄ[m]が出力される。
　このため、本実施形態に係るタイミングジェネレータ３２は、表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを設ける場合には、当該無効水平走査期間Ｈd-Ｄに相当する時間長だけ垂直有効データ期間ＤＶＩを延長し、各表示垂直走査期間Ｆdの垂直有効データ期間ＤＶＩにＭ個の有効水平走査期間Ｈd-Ａを設けるように、表示垂直同期信号ＤＶsync及び垂直有効データ信号ＤＶactiveを出力する。
　例えば、タイミングジェネレータ３２は、図１１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdを有効水平走査期間Ｈd-Ａとする場合には、垂直有効データ期間ＤＶＩの時間長を、水平走査期間ＨdのＭ倍の時間長とする。ここで、表示垂直走査期間Ｆd1のうち、垂直同期フロントポーチ期間（ＤＶf）と垂直同期期間（ＤＶp）と垂直同期バックポーチ期間（ＤＶb）を除いた期間、すなわちＤＶＩを垂直有効データ期間ＤＶＩと呼び、ＤＶactive＝Ｈの期間とする。
　一方、タイミングジェネレータ３２は、図１１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄを設ける場合には、垂直有効データ期間ＤＶＩの時間長（ＤＶactive＝Ｈの期間）が、水平走査期間ＨdのＭ倍の時間長と、垂直有効データ期間ＤＶＩに存在する１または複数の無効水平走査期間Ｈd-Ｄの合計の時間長と、を加算した時間長とする。
　つまり、タイミングジェネレータ３２は、表示垂直走査期間Ｆdの時間長を、水平走査期間Ｈdの単位で調整することで、各表示垂直走査期間Ｆdにおいて画像信号出力部２３が画像信号Ｄ[1]～Ｄ[M]を出力することを可能としている。
　なお、図１１Ａに示す表示垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合における、表示垂直走査期間Ｆdの時間長を、標準垂直走査時間Ｔdと称する。また、表示部４０で表示可能な最高のフレームレート、すなわち、表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレートである「１／Ｔd」を、「第２フレームレート」と称する場合がある。また、タイミング制御部３０が実行するタイミングの制御のうち、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御することを、「第１のタイミング制御」と称する場合がある。
　また、図１１Ｂに示す表示垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合における、当該１または複数の無効水平走査期間Ｈd-Ｄの時間長の合計値を、延長垂直走査時間Ｔexと称する。つまり、垂直有効データ期間ＤＶＩに１または複数の無効水平走査期間Ｈd-Ｄが設けられる場合の表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdと延長垂直走査時間Ｔexとの合計である。なお、タイミング制御部３０が実行するタイミングの制御のうち、１または複数の無効水平走査期間Ｈd-Ｄが設けられる垂直有効データ期間ＤＶＩにおいて画像信号Ｄが出力されるようにタイミングを制御することを、「第２のタイミング制御」と称する場合がある。詳細は後述するが、第２のタイミング制御において、タイミング制御部３０は、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する。
　次に、図１２を参照しつつ、表示部４０について説明する。
　図１２は、表示部４０の構成を示すブロック図である。上述のとおり、表示部４０は、液晶パネル４２の動作を制御するコントローラー４１と、画像信号Ｄに応じた画像を表示するための液晶パネル４２と、を備える。
　液晶パネル４２には、上述のとおり、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、図９において横方向に延在するＭ行の走査線と、縦方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、を備える。
　コントローラー４１は、画像信号出力部２３から画像信号Ｄ（画像信号ＤGB）が入力されるデータ入力部４１１と、各垂直有効データ期間ＤＶＩにおいて有効水平走査期間Ｈd-Ａの個数（イネーブル信号ＤＥnbがアクティブとなる回数）をカウントするカウンター４１２と、液晶パネル４２の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部４１３と、液晶パネル４２に対して画像信号Ｄ（画像信号ＤGC）を出力するデータ出力部４１４と、コントローラー４１の動作を規定する設定パラメーターＰRMを格納するためのレジスター４１５と、を備える。
　なお、本実施形態において、画像処理回路１００（画像信号生成部２０、及び、タイミング制御部３０）とコントローラー４１との間のデータ伝送は、低電圧差動（ＬＶＤＳ）のシリアルインターフェース（図示省略）によって行う。このため、画像処理回路１００及びコントローラー４１の間のデータ伝送をパラレルインターフェースで行う場合と比較して、高速なデータ伝送が可能となっている。
　レジスター４１５に設定される設定パラメーターＰRMは、液晶パネル４２の仕様に応じてコントローラー４１を動作させるための、コントローラー４１の動作を規定する値である。
　設定パラメーターＰRMとしては、例えば、水平走査期間Ｈdの時間長（または、水平走査期間Ｈdに含まれる表示ドットクロック信号ＤCLKのクロック数。以下、表示ドットクロック信号ＤCLKのクロック数を、単に「クロック数」と称する）、水平有効データ期間ＤＨＩの時間長（または、表示領域ＡDにおけるＸ軸方向の画素数（Ｎ））、水平同期期間ＤＨpの時間長（または、クロック数）、水平バックポーチ期間ＤＨbの時間長（または、クロック数）、水平フロントポーチ期間ＤＨfの時間長（または、クロック数）、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれない場合の垂直有効データ期間ＤＶＩの時間長（または、表示領域ＡDにおける縦方向のライン数（Ｍ）。すなわち、垂直有効データ期間ＤＶＩに含まれる有効水平走査期間Ｈd-Ａの個数）、垂直同期期間ＤＶpの時間長（または、クロック数）、垂直バックポーチ期間ＤＶbの時間長（または、クロック数）、垂直フロントポーチ期間ＤＶfの時間長（または、クロック数）、等を含むものであればよい。
　本実施形態に係る車両用撮像表示装置１では、画像処理回路１００から、液晶パネル４２の仕様に応じたコントローラー４１の動作タイミングを設定できるので、液晶パネル４２のサイズを変更する場合や、フレームレート等の液晶パネル４２の仕様を変更する場合であっても、コントローラー４１を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。
　データ入力部４１１には、画像処理回路１００から、表示ドットクロック信号ＤCLKと、画像信号Ｄ（画像信号ＤGB）及び無効信号Ｄmyを含む画像信号出力部２３からの出力信号と、イネーブル信号ＤＥnbと、が供給される。
　データ入力部４１１は、イネーブル信号ＤＥnbがアクティブとなると、当該イネーブル信号ＤＥnbがアクティブの間に表示ドットクロック信号ＤCLKに同期して画像信号出力部２３から供給される１ライン分の画像信号Ｄ[m]を取り込み、取り込んだ画像信号Ｄ[m]をデータ出力部４１４に対して出力する。一方、データ入力部４１１は、イネーブル信号ＤＥnbが非アクティブの場合、画像信号出力部２３から供給される無効信号Ｄmyを取り込まずに破棄する。
　カウンター４１２には、画像処理回路１００から、イネーブル信号ＤＥnbと、表示垂直同期信号ＤＶsyncとが供給される。カウンター４１２は、イネーブル信号ＤＥnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Ｃntを、タイミング生成部４１３に対して出力する。また、カウンター４１２は、表示垂直同期信号ＤＶsyncがアクティブになり、表示垂直同期信号ＤＶsyncとして表示垂直同期パルスＰlsＶが供給されると、カウント値Ｃntを「０」にリセットする。このため、カウンター４１２は、各表示垂直走査期間Ｆdに含まれる有効水平走査期間Ｈd-Ａの個数をカウントすることができる。すなわち、カウント値Ｃntは、データ入力部４１１が第ｍ行のラインで表示すべき画像を指定する画像信号Ｄ[m]を取り込む場合には、当該画像信号Ｄ[m]に対応するライン番号（ｍ）を示す。
　タイミング生成部４１３には、画像処理回路１００から、表示垂直同期信号ＤＶsyncと、表示水平同期信号ＤＨsyncと、設定パラメーターＰRMと、が供給され、また、カウンター４１２から、カウント値Ｃntが供給される。上述のとおり、タイミング生成部４１３は、画像処理回路１００から設定パラメーターＰRMが供給されると、供給された設定パラメーターＰRMをレジスター４１５に設定する。
　タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、走査線駆動回路４２１に対して、カウント値Ｃntに対応する第ｍ行のライン（走査線）の選択を行わせる。また、タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、データ出力部４１４に対して、データ入力部４１１が取り込んだ１ライン分の画像信号Ｄ[m]を画像信号ＤGC[m]としてデータ線駆動回路４２２に供給させる。この場合、データ線駆動回路４２２は、走査線駆動回路４２１が選択している第ｍ行の走査線に対応して設けられるＮ個の画素（第ｍ行のラインの画素）に対し、データ出力部４１４から供給された画像信号ＤGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ＡDに表示される。なお、本実施形態では、画像信号ＤGA及びＤGBはデジタルの信号であるが、画像信号ＤGCは、デジタルの信号であってもアナログの信号であってもよい。
　このように、コントローラー４１は、画像信号出力部２３から供給された画像信号Ｄの示す画像を、液晶パネル４２の表示領域ＡDに表示させる。
　なお、コントローラー４１は、カウント値Ｃntが、レジスター４１５に設定された表示領域ＡDのライン数「Ｍ」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号ＤＨsyncが供給されるタイミング、つまり、垂直フロントポーチ期間ＤＶfが開始されるタイミングで、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間ＤＶfが開始された後、タイミング生成部４１３は、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Ｃngを出力する。
　ここで、改フレーム処理とは、次の表示垂直走査期間Ｆdにおいて画像を表示する準備のための処理であり、例えば、データ入力部４１１及びデータ出力部４１４が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間ＤＶfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間ＤＶfの終了までに終了することが好ましい。
＜２．画像処理＞
　次に、図１３乃至図１９を参照しつつ、画像処理部２１が具備する各部分画像処理部２１Jの詳細と、各部分画像処理部２１Jで実行される画像処理と、について説明する。
　図１３は、各部分画像処理部２１J（２１L、２１C、２１R）の構成を示すブロック図である。
　この図に示すように、部分画像処理部２１Jは、イメージセンサー１２Jから出力される撮像信号ＤS-Jを一時的に格納するラインバッファ２１１J（２１１L、２１１C、２１１R）と、ラインバッファ２１１Jに格納された撮像信号ＤS-Jに対して補間処理を行う画素補間処理部２１２J（２１２L、２１２C、２１２R）と、補間された撮像信号ＤS-Jに対して色再現処理を行う色再現処理部２１３J（２１３L、２１３C、２１３R）と、色再現された撮像信号ＤS-Jに対してフィルタ処理を行うフィルタ処理部２１４J（２１４L、２１４C、２１４R）と、フィルタ処理された撮像信号ＤS-Jに対してガンマ補正を施すガンマ補正部２１５J（２１５L、２１５C、２１５R）と、ガンマ補正された撮像信号ＤS-Jを一時的に格納するラインバッファ２１６J（２１６L、２１６C、２１６R）と、ラインバッファ２１６Jに格納された撮像信号ＤS-Jを表示領域ＡD-Jの備える画素数の部分画像信号ＤRS-J（ＤRS-L、ＤRS-C、ＤRS-R）に変換するリサイズ処理を行うリサイズ処理部２１７J（２１７L、２１７C、２１７R）と、部分画像信号ＤRS-Jのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を部分画像信号ＤRS-Jに対して施すことで部分画像信号ＤT-J（ＤT-L、ＤT-C、ＤT-R）を生成するトリミング処理部２１８J（２１８L、２１８C、２１８R）と、を備える。
　なお、運転者は、操作部６０を用いて、トリミングの位置を指定する指示を入力することができる。
　上述のとおり、撮像信号ＤSに含まれる撮像信号ＤS-Jの示す画像の画素数と、画像信号Ｄに含まれる部分画像信号Ｄ-Jの示す画像の画素数（表示領域ＡDのうち表示領域ＡD-Jの画素数）とは異なる。このため、リサイズ処理部２１７Jでは、撮像信号ＤS-Jを、表示領域ＡD-Jの画素数に対応した部分画像信号ＤRS-Jに変換するリサイズ処理を実行する。
　ところで、撮像信号ＤS-Jの示す画像は、イメージセンサー１２Jに対応して設けられる撮像光学系が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡD-Jにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、または、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、リサイズ処理部２１７Jでは、リサイズ処理において、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。
　図１４は、リサイズ処理部２１７Jが実行する歪曲補正処理を説明するための説明図である。以下、図１４を参照しつつ、リサイズ処理の中で実行される歪曲補正処理について説明する。なお、図１４では、撮像信号ＤS-Jの示す画像のライン数ＰJが１６ライン（ＰJ＝１６）であり、部分画像信号Ｄ-J（及び、部分画像信号ＤRS-J）示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。
　以下では、撮像信号ＤS-Jのうち、第ｐJ行のラインで表示すべき画像を示す１ライン分の撮像信号ＤS-Jを、撮像信号ＤS-J[pJ]と表記する（ｐJは、１≦ｐJ≦ＰJを満たす自然数）。また、以下では、部分画像信号ＤRS-Jのうち、第ｍ行の１ライン分の部分画像信号ＤRS-Jを、部分画像信号ＤRS-J[m]と表記する。
　図１４において、樽型収差が生じている場合に撮像信号ＤS-Jの示す画像を符号Ｐｃ１で表し、画像Ｐｃ１を示す撮像信号ＤS-Jに基づいて被写体を撮像した際に部分画像信号ＤRS-Jの示す画像を符号Ｐｃ２で表し、糸巻型収差が生じている場合に撮像信号ＤS-Jの示す画像を符号Ｐｃ３で表し、画像Ｐｃ３を示す撮像信号ＤS-Jに基づいて被写体を撮像した際に部分画像信号ＤRS-Jの示す画像を符号Ｐｃ４で表す。
　画像Ｐｃ１は、（後述するトリミング処理、水平方向縮小・拡大処理、垂直方向縮小・拡大処理を行わないと仮定した場合に）表示領域ＡD-Jに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤS-Jが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す場合の、当該撮像信号ＤS-Jの示す信号である。また、画像Ｐｃ３は、（後述するトリミング処理、水平方向縮小・拡大処理、垂直方向縮小・拡大処理を行わないと仮定した場合に）表示領域ＡD-Jに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤS-Jが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す場合の、当該撮像信号ＤS-Jの示す信号である。
　リサイズ処理部２１７Jは、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV1を示す画像Ｐｃ１を、四角形ＳQを示す画像Ｐｃ２へと補正する。同様に、リサイズ処理部２１７Jは、樽型収差が生じた場合、歪曲補正処理において、閉曲線ＣV2を示す画像Ｐｃ３を、四角形ＳQを示す画像Ｐｃ４へと補正する。
　これらの場合、リサイズ処理部２１７Jは、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。
　例えば、リサイズ処理部２１７Jは、画像Ｐｃ２または画像Ｐｃ４を構成する補正後の画素ＰxS1の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する補正前の画素ＰxC1を中心画素と定める。そして、リサイズ処理部２１７Jは、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
　同様に、リサイズ処理部２１７Jは、画像Ｐｃ２または画像Ｐｃ４を構成する補正後の画素ＰxS2の階調を決定する場合、画像Ｐｃ１または画像Ｐｃ３を構成する補正前の画素ＰxC2を中心画素と定める。そして、リサイズ処理部２１７Jは、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。
　なお、画像Ｐｃ２及び画像Ｐｃ４において濃いハッチングを付した画素は、部分画像信号Ｄ-Jにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、画像Ｐｃ１及び画像Ｐｃ３において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、画像Ｐｃ１及び画像Ｐｃ３において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。
　図１４に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、画面における縦方向の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、画面における縦方向の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
　よって、リサイズ処理部２１７Jが部分画像信号ＤRS-J[m]を生成する場合に必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。このため、リサイズ処理部２１７Jがリサイズ処理に要する時間長は、ラインの位置により変動することになる。
　例えば、図１４に示す例では、リサイズ処理部２１７Jが、第１行のラインに対応する部分画像信号ＤRS-J[1]を生成するためには、第１行～第５行のラインに対応する撮像信号ＤS-J[1]～ＤS-J[5]が必要となる。これに対して、リサイズ処理部２１７Jが、第７行のラインに対応する部分画像信号ＤRS-J[7]を生成するためには、第８行～第１０行のラインに対応する撮像信号ＤS-J[8]～ＤS-J[10]が必要となる。つまり、リサイズ処理部２１７Jが、部分画像信号ＤRS-J[1]を生成するために要する時間長は、部分画像信号ＤRS-J[7]を生成するために要する時間長よりも長くなる。
　ところで、従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両αの運転者が、操作部６０のタッチパネル（図示略）から、リサイズ処理が施された部分画像信号ＤRS-Jの示す画像の一部の領域をトリミングするトリミング処理について、トリミングの位置を指定する指示を入力することができるように構成している。
　図１５Ａに、運転者によって指定されたトリミング領域の一例を示す。図１５Ａに示すように、トリミング領域ＡreaT-Jは、部分画像信号ＤRS-Jの示す画像の一部である矩形の領域である。運転者は、例えば、車両の非運転時に、車両室内の操作部６０のタッチパネル（図示省略）に表示された部分画像信号ＤRS-Jの示す画像を視認しながら、当該画像上に表示される矩形枠ＦRM-Jをタッチ操作により移動させてトリミング領域ＡreaT-Jを指定する。ここで、矩形枠ＦRM-Jは所定の大きさの領域を画定するものであり、トリミング領域ＡreaT-Jは、矩形枠ＦRM-Jの例えば左上頂点の位置ＰosＴ-Jによって定まる。
　制御部５０は、運転者がタッチパネルよって矩形枠ＦRM-Jを移動させて位置ＰosＴ-Jを指定すると、位置ＰosＴ-Jを示す位置指定信号Ｃp-Jを生成して部分画像処理部２１Jのトリミング処理部２１８Jに供給する。トリミング処理部２１８Jは、位置指定信号Ｃp-Jで指定される位置ＰosＴ-Jを左上頂点とする矩形枠ＦRM-Jをトリミング領域ＡreaT-Jとして決定し、部分画像信号ＤRS-Jの示す画像のうち、トリミング領域ＡreaT-Jをトリミングするトリミング処理を実行する。
　なお、タッチパネルの代わりに従来と同様の操作レバー等を設け、運転者が操作レバー等を手で動かして所定の大きさの矩形枠ＦRM-Jを左右上下方向に移動させることでトリミング領域ＡreaT-Jを指定可能な構成としてもよい。
　本実施形態では、部分画像信号ＤRS-Jは表示領域ＡD-Jの備える画素数と一致するから、その一部であるトリミング領域ＡreaT-Jの画素数は表示領域ＡD-Jの備える画素数よりも少なくなる。このため、トリミング領域ＡreaT-Jの画素数を表示領域ＡD-Jの備える画素数に一致させるため、トリミング処理部２１８Jでは、トリミング領域ＡreaT-Jが指定された後に当該トリミング領域ＡreaT-Jを拡大する拡大処理を実行する。
　図１５Ｂにトリミング処理後の画像の一例を示す。図１５Ａ及び図１５Ｂから理解されるように、トリミング処理により、図１５Ａに示すトリミング領域ＡreaT-Jの示す画像が拡大されて、表示領域ＡD-Jの備えるＭ行×ＮJ列の画素数の（部分画像信号Ｄ-Jと同一の画素数の）部分画像信号ＤT-Jが生成される。
　なお、リサイズ処理によって、Ｍrs行×ＮrsJ列（ＭrsはＭ＜Ｍrs＜ＰJとなる自然数、ＮrsJはＮJ＜ＮrsJ＜ＱJとなる自然数）の画像を生成し、その後、リサイズ処理によって生成された画像からＭ行×ＮJ列の画像を切り出すトリミング処理を実行してもよい。この場合は、トリミング領域ＡreaT-JがＭ行×ＮJ列となるので拡大処理が不要となり、画像の品質を向上させることができる。また、矩形枠ＦRM-Jは所定の大きさである必要はなく、運転者の操作により変更可能な構成としてもよい。この場合には、トリミング領域ＡreaT-Jの示す画像の拡大率が自由に変更可能となる。
　このようなトリミング処理によれば、例えば撮像部においてイメージセンサーを含むカメラ自体の撮影する向きを可動とすることで撮影範囲を変更する構成と比較して、カメラの向きを可動にするための機構を不要とするためコストが抑制されるという利点がある。さらには、トリミング処理においては、トリミング領域ＡreaT-Jが指定された後に表示領域ＡD-Jのサイズに合わせて拡大されるため、運転者が見たい領域が拡大されて表示されるという利点もある。
　図１３に示すように、部分画像処理部２１Jは、さらに、部分画像信号ＤT-Jに対して左右反転処理を施すことで、部分画像信号ＤT-Jの示す画像を左右反転した画像を示す部分画像信号ＤF-J（ＤF-L、ＤF-C、ＤF-R）を生成する鏡像生成部２１９J（２１９L、２１９C、２１９R）と、部分画像信号ＤF-Jに対して水平方向縮小・拡大処理を施すことで、部分画像信号ＤF-Jの示す画像をライン毎に水平方向に縮小及び拡大した画像を示す部分画像信号ＤX-J（ＤX-L、ＤX-C、ＤX-R）を生成する水平方向縮小・拡大処理部２２０J（２２０L、２２０C、２２０R）と、部分画像信号ＤX-Jに対して垂直方向縮小・拡大処理を施すことで、部分画像信号ＤX-Jの示す画像を垂直方向に縮小または拡大した画像を示す部分画像信号Ｄ-Jを生成する垂直方向縮小・拡大処理部２２１J（２２１L、２２１C、２２１R）と、を備える。
　図１５Ｃは、鏡像生成部２１９Jが実行する左右反転処理によって生成された部分画像信号ＤF-Jの示す画像の一例を示す。車両αの運転者は、従来型のサイドミラーやバックミラーに映る被写体の鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、イメージセンサー１２Jは、被写体の鏡像ではなく、被写体自体を撮像する。このため、イメージセンサー１２Jが出力する撮像信号ＤS-Jの示す画像の向きは、従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。
　そこで、鏡像生成部２１９Jは、トリミング処理部２１８Jから出力された部分画像信号ＤT-Jの示す画像（図１５Ｂ）を左右反転させた鏡面画像を示す部分画像信号ＤF-J（図１５Ｃ）を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまう虞がなくなる。
　以下、図１６Ａ～図１９を参照しつつ、水平方向縮小・拡大処理部２２０Jが実行する水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理部２２１Jが実行する垂直方向縮小・拡大処理について説明する。なお、以下では、これら二つの処理を、縮小・拡大処理と総称する場合がある。
　図１６Ａは、本実施形態に係る画像の拡大・縮小処理の概念図である。この図では、部分画像処理部２１J（２１L、２１C、２１R）のうち、左側画像用画像処理部２１Lにおける縮小・拡大処理を例示して説明する。
　この図に示すように、左側画像用画像処理部２１Lにおける拡大・縮小処理においては、鏡像生成部２１９Lから出力された部分画像信号ＤF-Lの示す画像を、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6の６つの領域に区分する。部分画像信号ＤF-Lの示す画像の左右方向（横方向）において、左の領域（車体から遠い領域）と、中央の領域（車体に近い領域）と、の長さの比は、「２：３」であり、上下方向（縦方向）において、上の領域と、中央の領域と、下の領域との長さの比は「１：３：１」である。
　また、図１６Ａに示す各領域には、所定の水平方向変倍率（左右方向における拡大率または縮小率）と所定の垂直方向変倍率（上下方向における拡大率または縮小率）が予め設定される。
　サイドミラーに映る像のうち、車体に近い領域ＬRC（図２）にあるものは車両と接触する危険性が高いため車両の安全な運転に必要な情報である。逆に車体から遠い領域ＬRLにある画像、例えば沿道の建物等の画像は安全確認における重要度は低い。このため、本実施形態では、左右方向における拡大率または縮小率は、左右方向について車体に近い領域ＬRCが車体に遠い領域ＬRLと比較して相対的に拡大されるように設定される。また、撮像信号ＤS-Jに基づく画像のうち他の車両や歩行者などの画像は車両の安全な運転にとって必要な情報であるが、画像の上の領域における空や山などの景色の画像や、画像の下の領域における路面の画像の重要度は低い。このため、本実施形態では、上下方向における拡大率または縮小率は、上下方向における中央の領域が、上の領域または下の領域と比較して相対的に拡大されるように設定される。
　具体的には、左側画像用画像処理部２１Lにおける縮小・拡大処理では、図１６Ａに示すように、車両αから遠く、且つ、上または下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。
　また、車両αからは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が２５％且つ上下方向の拡大率Ｖ１が１５０％に設定される。また、車両αには近いが上または下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１５０％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。そして、車両αから近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１５０％に設定される。このように設定することにより、撮像信号ＤS-Lに基づく画像のうち、車両αの運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面部と凸面部を設けて凸面部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、車両αにより近く、上下方向においてはより中央の領域の視認性を向上することが可能となる。
　なお、右側画像用画像処理部２１Rが実行する縮小・拡大処理は、図１６Ａに示す左側画像用画像処理部２１Lが実行する縮小・拡大処理と、左右が反転している点を除いて同一である。
　すなわち、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rおける縮小・拡大処理では、左右方向における車両αに近い領域についての拡大率Ｈ１、及び、左右方向における車両αから遠い領域についての縮小率Ｈ２は、車両αに近い領域について左右方向の長さをＸ１とし、車両αから遠い領域について左右方向の長さをＸ２としたとき、「Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２」となるように定められる。
　また、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rおける縮小・拡大処理では、上下方向における中央の領域の拡大率Ｖ１、上の領域の縮小率Ｖ２、及び、下の領域の縮小率Ｖ３は、中央の領域について上下方向の長さをＹ１とし、上の領域について上下方向の長さをＹ２とし、下の領域について上下方向の長さをＹ３としたとき、「Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３」となるように定められる。
　このように拡大率及び縮小率を設定することにより、部分画像信号ＤF-L及びＤF-Rの示す画像自体の大きさ（画素数）を変更することなく、各領域間の大きさの比率が変更された部分画像信号Ｄ-L及びＤ-Rを生成することができる。換言すれば、縮小・拡大処理を実行した場合であっても、部分画像信号Ｄ-L及びＤ-Rを、表示領域ＡD-L及びＡD-Rの備える画素数に一致させることができる。
　図１６Ｂは、左側画像用画像処理部２１Lが備える水平方向縮小・拡大処理部２２０Lが実行する水平方向縮小・拡大処理を説明するための概念図であり、図１６Ｃは、垂直方向縮小・拡大処理部２２１Lが実行する垂直方向縮小・拡大処理を説明するための概念図である。
　水平方向縮小・拡大処理部２２０Lでは、鏡像生成部２１９Lから出力された部分画像信号ＤF-Lに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（水平方向縮小・拡大処理）を実行する。具体的には、各領域ＬR1～ＬR6の画像に対して、設定された拡大率Ｈ１または縮小率Ｈ２に応じた変倍処理を実行する。この変倍処理は１つのラインごとに実行される処理である。例えば１ラインにおける画素数を１００個（すなわち１００列）とした場合、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3に属する第１列から第４０列までの画素を、縮小率Ｈ２（２５％）で縮小する処理を行う。すなわち、画素数を４０個から１０個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6に属する第４１列から第１００列までの画素を拡大率Ｈ１（１５０％）で拡大する処理を行う。すなわち、画素数を６０個から９０個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて水平方向縮小・拡大処理が施されると、各領域ＬR1～ＬR6の画像の大きさの比率が図１６Ｂに示すように変更された画像（部分画像信号ＤX-Lが示す画像）が生成される。
　垂直方向縮小・拡大処理部２２１Lは、水平方向縮小・拡大処理部２２０Lからラインごとに出力された部分画像信号ＤX-Lに対して、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する処理（垂直方向縮小・拡大処理）を実行する。具体的には、各領域ＬR1～ＬR6の画像に対して、設定された拡大率Ｖ１または縮小率Ｖ２またはＶ３に応じた変倍処理を実行する。この変倍処理は複数のラインごとに実行される処理である。例えば部分画像信号ＤX-Lのライン数を１００行とした場合、左上領域ＬR1及び中央上領域ＬR4に属する第１行から第２０行のうち、縮小率Ｖ２（２５％）に応じた本数のラインを間引く処理を行う。すなち、４本に１本のラインを間引く処理を行う。また、左中央領域ＬR2及び中央領域ＬR5に属する第２１行から第８０行の画素に対して、拡大率Ｖ１（１５０％）で拡大する処理を行う。左下領域ＬR3と中央下領域ＬR6に属する第８１行から第１００行のうち、縮小率Ｖ３（２５％）に応じた本数のラインを間引く処理を行う。すべてのラインについて垂直方向縮小・拡大処理が施されると、各領域ＬR1～ＬR6の画像の大きさの比率が図１６Ｃに示すように変更された画像（部分画像信号Ｄ-Lが示す画像）が生成される。
　図１７は、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を経た部分画像信号Ｄ-Lが示す画像の一例である。この図に示す部分画像信号Ｄ-Lの示す画像は、左側表示領域ＡD-Lに表示されたうえで、拡大表示領域Ａrea-L（図３Ａまたは図３Ｂ参照）に拡大表示される。すなわち、拡大表示領域Ａrea-Lには、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が表示される。
　図１８は、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を経た部分画像信号Ｄ-Rが示す画像の一例である。この図に示す部分画像信号Ｄ-Rの示す画像は、右側表示領域ＡD-Rに表示されたうえで、拡大表示領域Ａrea-R（図３Ａまたは図３Ｂ参照）に拡大表示される。すなわち、拡大表示領域Ａrea-Rには、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が表示される。図１８に示すように、拡大表示領域Ａrea-Rに拡大表示される部分画像信号Ｄ-Rの示す画像は、左右方向において車体に近い領域ＲRC（図２参照）が車体から遠い領域ＲRRよりも拡大され、上下方向において中央の領域が拡大されている。
　次に、中央画像用画像処理部２１Cにおける縮小・拡大処理（水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理）について説明する。
　中央画像用画像処理部２１Cにおける縮小・拡大処理は、部分画像信号ＤT-Jを複数の領域に区分する際の区分の態様と、区分された各領域の縮小及び拡大の比率と、において、左側画像用画像処理部２１L及び右側画像用画像処理部２１Rにおける縮小・拡大処理と相違する。
　図１９は、中央画像用画像処理部２１Cにおける縮小・拡大処理の概念図である。この図に示すように、中央画像用画像処理部２１Cにおける拡大・縮小処理においては、鏡像生成部２１９Cから出力された部分画像信号ＤF-Cの画像を、左上領域ＢR1、左中央領域ＢR2、左下領域ＢR3、中央上領域ＢR4、中央領域ＢR5、中央下領域ＢR6、右上領域ＢR7、右中央領域ＢR8、右下領域ＢR9の９つの領域に区分する。この図に示す例では、部分画像信号ＤF-Cの示す画像の左右方向において、左の領域ＢRL（図２参照）と、中央の領域ＢRCと、右の領域ＢRRと、の長さの比は「１：３：１」であり、上下方向において、上の領域と、中央の領域と、下の領域と、の長さの比は「１：３：１」である。
　また、図１９に示す各領域には、所定の水平方向変倍率（左右方向における拡大率または縮小率）と所定の垂直方向変倍率（上下方向における拡大率または縮小率）が予め設定される。具体的には、図１９に示すように、左右方向及び上下方向のいずれにおいても端の領域である左上領域ＢR1、左下領域ＢR3、右上領域ＢR7、及び右下領域ＢR9については、左右方向の縮小率及び上下方向の縮小率がともに２５％に設定される。また、左右方向において端の領域ではあるが上下方向において中央の領域である左中央領域ＢR2と右中央領域ＢR8については、左右方向の縮小率が２５％且つ上下方向の拡大率が１５０％に設定される。また、左右方向において中央の領域ではあるが上または下の領域である中央上領域ＢR4と中央下領域ＢR6については、左右方向の拡大率が１５０％、上下方向の縮小率が２５％に設定される。そして、左右方向及び上下方向のいずれにおいても中央の領域である中央領域ＢR5については、左右方向の拡大率及び上下方向の拡大率がともに１５０％に設定される。
　このように設定することにより、撮像信号ＤS-Cに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばバックミラーの鏡面に平面部と凸面部を設けて凸面部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、左右及び上下方向における中央の領域の視認性を向上することが可能となる。
　このようにして生成された部分画像信号Ｄ-Cの示す画像は、中央表示領域ＡD-Cに表示されたうえで、拡大表示領域Ａrea-L（図３Ａまたは図３Ｂ参照）に拡大表示される。
　なお、垂直方向縮小・拡大処理部２２１Jは、部分画像信号Ｄ-J[m]を生成するための垂直方向縮小・拡大処理が完了すると、生成した部分画像信号Ｄ-J[m]（部分画像信号ＤGA-J[m]）をラインバッファ２２に格納すると共に、部分画像信号Ｄ-J[m]のラインバッファ２２への格納が完了したことを示す部分書込完了信号ＰtA-Jを出力する。
＜３．撮像信号と画像信号の関係＞
　次に、撮像信号ＤSと画像信号Ｄとの関係、特に、撮像部１０から画像信号生成部２０への撮像信号ＤSの出力（供給）タイミングと画像信号生成部２０からの画像信号Ｄの出力タイミングとの関係について説明する。
　まず、撮像信号ＤS（撮像信号ＤS-J[pJ]）と画像信号Ｄ（画像信号Ｄ[m]）との関係を説明する前提として、画像信号Ｄ[m]を生成するために必要となる撮像信号ＤS-J[pJ]について説明する。
　上述した説明からも明らかなように、部分画像処理部２１Jが行う画像処理において、部分画像信号Ｄ-J[m]を生成するために必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
　例えば、部分画像処理部２１Jのリサイズ処理部２１７Jが歪曲補正処理を含むリサイズ処理により部分画像信号ＤRS-J[m]を生成する場合に必要となる撮像信号ＤS-Jのライン数は、部分画像信号ＤRS-J[m]に対応するラインの位置（ｍの値）により変動する。図１４に示す例では、部分画像信号ＤRS-J[1]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[1]～ＤS-J[5]の５ライン分の撮像信号ＤS-J[pJ]であり、部分画像信号ＤRS-J[7]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[8]～ＤS-J[10]の３ライン分の撮像信号ＤS-J[pJ]であり、部分画像信号ＤRS-J[12]を生成するために必要となる撮像信号ＤS-Jは、撮像信号ＤS-J[12]～ＤS-J[16]の５ライン分の撮像信号ＤS-J[pJ]である。
　また、例えば、垂直方向縮小・拡大処理部２２１Jが垂直方向縮小・拡大処理により部分画像信号Ｄ-J[m]を生成する場合に必要となる部分画像信号ＤX-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
　このため、部分画像処理部２１Jが、部分画像信号Ｄ-J[m]を生成するために行うが行う画像処理に要する時間は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。
　以下では、説明の便宜上、部分画像信号Ｄ-J[m]を生成するために必要となる全ての撮像信号ＤS-J[pJ]を、撮像信号ＤGS-J[m]と総称する。
　図２０は、画像信号Ｄ[m]及び部分画像信号Ｄ-J[m]と、撮像信号ＤS-J[pJ]との関係を概略的に示したタイミングチャートである。この図に示すように、撮像信号ＤS-L[1]～ＤS-L[60]（この図では、「ＰL＝６０ライン」としている）のうち、部分画像信号Ｄ-L[m]の生成に用いられる撮像信号ＤS-L[pL]が撮像信号ＤS-L[10]～ＤS-L[12]である場合、当該撮像信号ＤS-L[10]～ＤS-L[12]を、撮像信号ＤGS-L[m]と称する。同様に、撮像信号ＤS-C[1]～ＤS-C[80]（この図では、「ＰC＝８０ライン」としている）のうち、部分画像信号Ｄ-C[m]の生成に用いられる撮像信号ＤS-C[pC]が撮像信号ＤS-C[14]～ＤS-C[17]である場合、当該撮像信号ＤS-C[14]～ＤS-C[17]を、撮像信号ＤGS-C[m]と称する。同様に、撮像信号ＤS-R[1]～ＤS-R[60]（この図では、「ＰR＝６０ライン」としている）のうち、部分画像信号Ｄ-R[m]の生成に用いられる撮像信号ＤS-R[pR]が撮像信号ＤS-R[12]～ＤS-R[14]である場合、当該撮像信号ＤS-R[12]～ＤS-R[14]を、撮像信号ＤGS-R[m]と称する。
　また、画像信号Ｄ[m]を生成するために必要となる、撮像信号ＤGS-L[m]、撮像信号ＤGS-C[m]、及び、撮像信号ＤGS-R[m]からなる信号を、撮像信号ＤGS[m]と称する。
　例えば、図２０に示す例では、画像信号Ｄ[m]の生成に用いられる全ての撮像信号ＤS-J[pJ]、つまり、撮像信号ＤS-L[10]～ＤS-L[12]からなる撮像信号ＤGS-L[m]と、撮像信号ＤS-C[14]～ＤS-C[17]からなる撮像信号ＤGS-C[m]と、撮像信号ＤS-R[12]～ＤS-R[14]からなる撮像信号ＤGS-R[m]と、を撮像信号ＤGS[m]と称する。
　また、図２０に示すように、画像信号Ｄ[m]を生成する画像処理に要する時間を画像処理時間ＵA[m]と称し、部分画像信号Ｄ-J[m]を生成する画像処理に要する時間を部分画像処理時間ＵA-J[m]と称する。
　上述のとおり、部分画像処理部２１Jが、部分画像処理時間ＵA-J[m]は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。また、画像信号Ｄ[m]は、部分画像信号Ｄ-L[m]、Ｄ-C[m]、及び、Ｄ-R[m]からなる。このため、画像処理時間ＵA[m]は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。
　画像処理部２１は、撮像部１０から撮像信号ＤGS[m]の供給が開始されると、当該撮像信号ＤGS[m]に対して画像処理を施す。そして、画像処理部２１は、画像処理時間ＵA[m]の後に、画像処理を完了させ、画像信号Ｄ[m]を生成する。
　より具体的には、図２０に示すように、画像処理部２１のうち左側画像用画像処理部２１Lは、左後方用イメージセンサー１２Lが供給する撮像信号ＤGS-L[m]に対して画像処理を施し、部分画像処理時間ＵA-L[m]の後に部分画像信号Ｄ-L[m]を生成し、部分書込完了信号ＰtA-Lを出力する。また、画像処理部２１のうち中央画像用画像処理部２１Cは、中央後方用イメージセンサー１２Cが供給する撮像信号ＤGS-C[m]に対して画像処理を施し、部分画像処理時間ＵA-C[m]の後に部分画像信号Ｄ-C[m]を生成し、部分書込完了信号ＰtA-Cを出力する。また、画像処理部２１のうち右側画像用画像処理部２１Rは、右側後方用イメージセンサー１２Rが供給する撮像信号ＤGS-R[m]に対して画像処理を施し、部分画像処理時間ＵA-R[m]の後に部分画像信号Ｄ-R[m]を生成し、部分書込完了信号ＰtA-Rを出力する。
　なお、撮像信号ＤS-J[pJ]等の各種信号は、例えば、撮像水平同期信号ＳＨsyncのうちの一部の期間に亘って継続的に出力されるが、図２０（及びこれ以降の図）においては、図示の便宜上、各種信号が出力される期間を丸印で表している。
　次に、図２１及び図２２を参照しつつ、撮像部１０から画像信号生成部２０に対する撮像信号ＤSの出力（供給）タイミングと画像信号生成部２０からの画像信号Ｄの出力タイミングとの関係について説明する。
　図２１は、連続する複数の撮像垂直走査期間Ｆs（Ｆs0～Ｆs3）のうち、撮像垂直走査期間Ｆs1～Ｆs3のそれぞれにおいて、撮像部１０が画像信号生成部２０に対して撮像信号ＤS（撮像信号ＤS-J[1]～ＤS-J[pJ]）を出力（供給）するタイミングを概略的に示したタイミングチャートである。
　上述のとおり、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rは、タイミングジェネレータ１３が出力する各種タイミング信号に同期して動作する。このため、左後方用イメージセンサー１２L、中央後方用イメージセンサー１２C、及び、右側後方用イメージセンサー１２Rのフレームレートは等しい。
　しかし、各イメージセンサー１２Jが出力する撮像信号ＤS-Jの画素のサイズは互いに異なる場合がある。また、各イメージセンサー１２Jから部分画像処理部２１Jへの撮像信号ＤS-Jの伝送に要する時間も異なる場合がある。よって、通常は、撮像部１０から画像信号生成部２０に対して撮像信号ＤS-Jを出力（供給）する期間は、撮像信号ＤS-L、ＤS-C、及び、ＤS-R毎に異なる。
　このため、図２１に示すように、撮像部１０が撮像信号ＤSを出力する期間、つまり、撮像部１０が撮像信号ＤGS[1]～ＤGS[M]を出力する期間は、撮像信号ＤS-L、ＤS-C、及び、ＤS-Rの出力（供給）が開始される時間のうち最も早い時間から、撮像信号ＤS-L、ＤS-C、及び、ＤS-Rの出力（供給）が終了する時間のうち最も遅い時間までの期間となる。
　以下では、撮像垂直走査期間Ｆs0～Ｆs3において出力される撮像信号ＤS（撮像信号ＤS-J[pJ]）を、それぞれ、撮像信号ＤS0～ＤS3（撮像信号ＤS-J0[pJ]～ＤS-J3[pJ]）と区別して表現することがある。同様に、撮像垂直走査期間Ｆs0～Ｆs3において出力される撮像信号ＤGS[m]を、それぞれ、撮像信号ＤGS0[m]～ＤGS3[m]として区別して表現することがある。
　また、以下では、説明の便宜上、撮像部１０が撮像信号ＤSを出力する時間と、画像信号生成部２０が撮像信号ＤSの供給を受ける時間を略同じ時間であると看做し、区別せずに説明することとする。
　図２２は、撮像部１０が撮像垂直走査期間Ｆs1～Ｆs3のそれぞれにおいて出力する撮像信号ＤS1～ＤS3に基づいて、画像処理部２１が画像信号Ｄ（Ｄ[1]～Ｄ[M]）つまり画像信号ＤGA（ＤGA[1]～ＤGA[M]）を生成し、生成した画像信号ＤGAをラインバッファ２２に格納するタイミングと、連続する複数の表示垂直走査期間Ｆd（Ｆd0～Ｆd3）のうち、表示垂直走査期間Ｆd1～Ｆd3のそれぞれにおいて、画像信号出力部２３が、ラインバッファ２２から画像信号Ｄ（Ｄ[1]～Ｄ[M]）つまり画像信号ＤGB（ＤGB[1]～ＤGB[M]）を取得してこれを表示部４０に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。
　以下では、撮像信号ＤGS0[m]～ＤGS3[m]に基づいて生成される画像信号Ｄ[m]（ＤGA[m]、ＤGB[m]）を、画像信号Ｄ0[m]～Ｄ3[m]（ＤGA0[m]～ＤGA3[m]、ＤGB0[m]～ＤGB3[m]）として区別して表現することがある。
　図２２に示すように、撮像垂直走査期間Ｆsのうち、撮像信号ＤSが出力される期間を、「撮像信号ＤSのフレーム」と称する。また、表示垂直走査期間Ｆdのうち、画像信号Ｄが出力されうる期間である垂直有効データ期間ＤＶＩを「画像信号Ｄのフレーム」と称する。そして、図２２に示すように、撮像信号ＤSのフレームの開始から、画像信号Ｄのフレームの開始までの時間を、位相差ＰDと称する。
　なお、位相差ＰDとして、例えば、撮像垂直走査期間Ｆsのフレームの開始から、当該撮像垂直走査期間Ｆsにおいて撮像部１０が出力する撮像信号ＤSに基づく画像信号Ｄを画像信号生成部２０が出力する表示垂直走査期間Ｆdのフレームの開始までの時間としてもよい。
　図２２では、撮像部１０が撮像信号ＤGS[1]～ＤGS[M]を画像処理部２１に供給するタイミングを線Ｌ1で表す。つまり、線Ｌ1は、画像処理部２１が、画像信号Ｄ[1]～Ｄ[M]（画像信号ＤGA[1]～ＤGA[M]）のそれぞれを生成するための画像処理をライン毎に開始する時刻方向での様子（タイミング）を表す。また、画像処理部２１による画像信号ＤGA[1]～ＤGA[M]の生成が完了し、これらがライン毎にラインバッファ２２に格納される時刻方向での様子（タイミング）を、線Ｌ2で表す。画像信号出力部２３は、画像信号ＤGA[m]の生成が完了した後に画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ2の示す時刻よりも前の時刻に出力されることはない。なお、線Ｌ2は、図１０で説明した画像信号生成時刻ＴC[1]～ＴC[M]を結んだ線である。
　また、画像信号出力部２３が、表示部４０にとって理想的なタイミングで画像信号ＤGB[1]～ＤGB[M]を供給する場合、すなわち、表示部４０が表示可能な最高のフレームレート（表示垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレート）で表示するように画像信号ＤGB[1]～ＤGB[M]を供給する場合の、画像信号出力部２３が画像信号ＤGB[1]～ＤGB[M]をライン毎に順番に読み出して表示するタイミングを、線Ｌ3で表す。
　つまり、線Ｌ3は、表示部４０が１ライン分の画像を表示可能な水平走査期間Ｈd毎に、画像信号出力部２３が１ライン分の画像信号ＤGB[m]を出力すると仮定した場合（つまり、表示部４０のフレームレートが第２フレームレートである場合）に、表示部４０が画像信号ＤGB[1]～ＤGB[M]の示す画像を水平走査期間Ｈd毎にライン順に読み出して表示するタイミングを示す線であり、水平走査期間Ｈd毎に１ライン増加するような傾きを有する。すなわち、線Ｌ3は、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdの全てが有効水平走査期間Ｈd-Ａである場合を想定したものであり、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれる場合も想定したうえで、第ｍ-1行の画像信号Ｄ[m-1]の出力の完了（第２条件の充足）を前提とした画像信号Ｄ[m]の出力時刻を示す表示準備判定時刻ＴB[m]とは、必ずしも一致しない。
　画像信号出力部２３は、表示部４０が表示可能であるときに画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]は、線Ｌ3の示す時刻よりも前の時刻に読み出されて出力されることはない。
　なお、以下では、画像信号ＤGA0[m]～ＤGA3[m]のそれぞれに対応する画像処理時間ＵAを、画像処理時間ＵA0[m]～ＵA3[m]として区別して表現することがある。
　また、以下では、画像信号ＤGA[m]がラインバッファ２２に格納されてから、画像信号出力部２３により表示部４０に対して出力されるまでの時間を待機時間ＵBとしている。以下では、説明の都合上、画像信号ＤGB1[m]～ＤGB3[m]のそれぞれに対応する待機時間ＵBを、待機時間ＵB1[m]～ＵB3[m]として区別して表現することがある。
　上述のとおり、部分画像処理部２１Jが行う画像処理において、部分画像信号Ｄ-J[m]を生成するために必要となる撮像信号ＤS-Jのライン数は、部分画像信号Ｄ-J[m]に対応するラインの位置（ｍの値）により変動する。このため、通常、各ラインに対応する画像信号Ｄ[m]を生成する画像処理の開始間隔は、一定の間隔とはならずに変動する。つまり、線Ｌ1は通常は直線とはならずに折れ線となる。但し、図２２では、図示の都合上直線として描いている。なお、線Ｌ1を直線とした場合（例えば、線Ｌ1の始点と終点とを直線とつないだ場合）、線Ｌ1の傾きは、撮像部１０のフレームレートである第１フレームレートに応じて定められる。
　また、上述のとおり、画像信号Ｄ[m]の生成に要する画像処理時間ＵA[m]は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、線Ｌ2は通常は直線とはならずに折れ線となるが、図２２では、図示の都合上直線として描いている。
　図２２に示すように、撮像垂直走査期間Ｆs1において撮像部１０から出力される撮像信号ＤS1（ＤGS1[m]）に基づいて画像処理部２１が画像信号Ｄ1[m]（ＤGA1[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd1において表示部４０が画像信号Ｄ1[m]（ＤGA1[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4（前述の線Ｌ3の定義とは異なる仮想的なタイミングを線Ｌ4として説明する）よりも時間的に先行している。このような、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行している状態を「第１の状態」と称する。
　すなわち、第１の状態とは、画像処理部２１が撮像信号ＤSに基づいて画像信号Ｄ[m]を生成したときに、表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部４０において画像信号Ｄ[m]を表示する準備ができていない場合とは、例えば、画像信号Ｄ1[m]が生成されたときに、表示部４０が画像信号Ｄ1[m]の前に表示すべき画像信号Ｄ1[m-1]の示す画像を表示中であり、表示部４０が画像信号Ｄ1[m]の示す画像を表示できない場合等である。
　つまり、第１の状態においては、画像処理部２１が画像信号Ｄ[m]を生成しても、画像信号Ｄ[m]を表示するための表示部４０側の準備が間に合っていないため、表示部４０における画像の表示が、表示部４０側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第１の状態は、表示部４０が画像信号Ｄ[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号Ｄ[m]を表示することができる、という状態である。
　ところで、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短いため、表示部４０側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
　図２２では、図示の都合上、第１の状態として、１つの撮像垂直走査期間Ｆs（Ｆs1）及び１つの表示垂直走査期間Ｆd（Ｆd1）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第１の状態における、位相差ＰD1（第１の状態における位相差ＰDとして、図２２に示すように符号ＰD1を付する）は、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線Ｌ3と線Ｌ2との距離は、概ね、表示垂直走査期間Ｆdと撮像垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。
　表示部４０側における表示準備がボトルネックとなる表示の遅延が解消される前は、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消される様な状態になった場合は、実際にはその様な事にはならないものの、表示部４０側で画像を表示可能となる最早の時刻を示す線Ｌ4が、仮想的な状態として線Ｌ2よりも時間的に先行するタイミングになりえることが想定される。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、仮想的な状態では、最速な状態において線Ｌ2と線Ｌ4がクロスするタイミングになりえることが判る。
　なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となる場合が存在する。この場合、線Ｌ2及び仮想的な線Ｌ4のクロスは、複数回生じることがありえることが解る。
　図２２に示す例では、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2[m]）に基づいて、画像処理部２１が画像信号Ｄ2[m]（ＤGA2[m]）を生成する時刻を示す線Ｌ2は、表示垂直走査期間Ｆd2において表示部４０が画像信号Ｄ2[m]（ＤGA2[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4とクロスしている。このような、線Ｌ2と線Ｌ4がクロスする状態を、「第２の状態」と称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第２の状態」と称する。また、線Ｌ2と線Ｌ4がクロスする時刻を、時刻Ｔthと称する。なお、線Ｌ2及び線Ｌ4のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Ｔthとする。
　すなわち、第２の状態とは、画像処理部２１が撮像信号ＤSに基づいて画像信号Ｄ[m]を生成したときに表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていないという状態（常に線Ｌ2が線Ｌ3よりも時間的に先行する状態）から、表示部４０において画像信号Ｄ[m]の示す画像を表示可能となったときに画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が存在する状態（線Ｌ4が線Ｌ2よりも時間的に先行する場合が存在するという状態）へと遷移することをいう。
　つまり、第２の状態は、時刻Ｔth以前においては、表示部４０が画像信号Ｄ[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号Ｄ[m]の示す画像を表示されるという状態であり、一方、時刻Ｔth以後においては、表示部４０側において画像信号Ｄ[m]を表示することが可能となる時刻に至っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。
　この、第２の状態における、位相差ＰD2（第２の状態における位相差ＰDとして、図２２に示すように符号ＰD2を付する）は、図２２に示すように位相差ＰD1よりも短くなる。
　なお、時刻Ｔth以降においては、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを１回挿入して、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミング（表示部４０における画像信号Ｄ[m]の示す画像の表示タイミング）を調整する。但し、１回の無効水平走査期間Ｈd-Ｄの挿入を行っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合わなかった場合は、更に次の無効水平走査期間Ｈd-Ｄの挿入を繰り返す。そして、表示部４０は、画像信号Ｄ[m]を生成するための画像処理の完了を待ち、その後、画像信号Ｄ[m]が生成された場合は、水平走査期間Ｈd以下の時間以内に、当該画像信号Ｄ[m]の示す画像を表示する。すなわち、時刻Ｔth以降は、無効水平走査期間Ｈd-Ｄの挿入により、画像信号出力部２３からの画像信号Ｄ[m]（ＤGB[m]）の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。
　図２２に示すように、表示垂直走査期間Ｆd3において表示部４０が画像信号Ｄ3[m]（ＤGA3[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ4は、撮像垂直走査期間Ｆs3において出力される撮像信号ＤS3（ＤGS3[m]）に基づいて画像処理部２１が画像信号Ｄ3[m]（ＤGA3[m]）を生成する時刻を示す線Ｌ2よりも時間的に先行している。このような、線Ｌ4が線Ｌ2よりも時間的に先行している状態を、「第３の状態」と称する。なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となり、線Ｌ2及び線Ｌ3のクロスが複数回生じる場合がある。このような場合は、時刻Ｔth以降に開始される垂直走査期間の組（Ｆs及びＦd）における状態を、第３の状態と称する。
　すなわち、第３の状態とは、表示部４０において画像信号Ｄ[m]の示す画像を表示する準備が完了したときに、画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が恒常的に生じているという、状態である。
　つまり、第３の状態においては、画像信号Ｄ[m]を表示するための表示部４０側の準備が完了しても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないという状況が恒常的に生じているため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって、遅延する状態である。
　この、第３の状態における、位相差ＰD3（第３の状態における位相差ＰDとして、図２２に示すように符号ＰD3を付する）は、図２２に示すように、位相差ＰD2よりも短くなる。
　なお、第１の状態における位相差ＰD1は、画像処理時間ＵA（より具体的には、画像処理時間ＵA1[1]～ＵA1[M]の最大値）よりも大きく、第３の状態における位相差ＰD3は、画像処理時間ＵA3[1]～ＵA3[M]の最大値以下となる。
　なお、第３の状態においても、タイミングジェネレータ３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入して、表示部４０における画像信号Ｄ[m]の示す画像の表示タイミングを調整する。これにより、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることが可能となる。
　上述のとおり、画像処理時間ＵAはライン毎に変動する。しかし、その変動幅は、撮像垂直走査期間Ｆsに比べれば十分に小さい。このため、画像信号Ｄ[m]の出力のタイミング（表示部４０側の表示タイミング）を、画像処理部２１における画像処理の完了タイミングに追従させている状態においては、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第３の状態においては、タイミング制御部３０は、表示部４０のフレームレートを撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングを調整していることになる（第２のタイミング制御）。
　図２２では、図示の都合上、第３の状態として、１つの撮像垂直走査期間Ｆs（Ｆs3）及び１つの表示垂直走査期間Ｆd（Ｆd3）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とが、略同じととなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。すなわち、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部４０のフレームレートが撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。このため、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差ＰD3が略同じ時間長となる。
　すなわち、タイミング制御部３０は、位相差ＰDが所定時間よりも長い場合には、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する第１のタイミング制御により、位相差ＰDを徐々に短くし、位相差ＰDが所定時間以下の場合には、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する第２のタイミング制御により、位相差ＰDが最短となる状態を維持する。
　本実施形態では、位相差ＰDを、撮像信号ＤSのフレームの開始から画像信号Ｄのフレームの開始までの時間としているため、所定時間としては例えば、画像処理時間ＵA1[1]～ＵA1[M]の最大値とすればよい。
　また、上述のとおり、位相差ＰDは、撮像垂直走査期間Ｆsのフレームの開始から表示垂直走査期間Ｆdのフレームの開始までの時間と定義する場合には、所定時間としては例えば、画像処理時間ＵA1[1]～ＵA1[M]の最大値と、撮像垂直走査期間Ｆsのフレームの開始から撮像信号ＤSのフレームの開始までの時間と、表示垂直走査期間Ｆdのフレームの開始から画像信号Ｄのフレームの開始までの時間と、に基づいて定めればよい。
　以下、図２２及び図２３を参照しつつ、撮像垂直走査期間Ｆs1において撮像部１０が出力する撮像信号ＤS1（ＤGS1）と、表示垂直走査期間Ｆd1において画像信号生成部２０が表示部４０に出力する画像信号Ｄ1（ＤGB1）との関係を例にとって、第１の状態について説明する。
　図２３は、撮像信号ＤS-J1[pJ]と、撮像信号ＤGS1[m]と、画像信号Ｄ1[m]（画像信号ＤGA1[m]及び画像信号ＤGB1[m]）との関係を説明するためのタイミングチャートである。
　なお、図２３と、後述する図２４及び図２５では、簡単のために、撮像信号ＤSの示す画像のライン数が５ライン（Ｐ＝５）であり、画像信号Ｄ示す画像のライン数が４ライン（Ｍ＝４）である場合を想定する。また、図２３乃至図２５に示す例では、簡単のために、撮像信号ＤS-L[pL]、ＤS-C[pC]、及び、ＤS-R[pR]を区別せずに、撮像信号ＤS-J[pJ]（ＤS-J1[pJ]、ＤS-J2[pJ]、ＤS-J3[pJ]）と表す。また、図２３乃至図２５に示す例では、撮像信号ＤGS[1]が、撮像信号ＤS-J[1]及びＤS-J[2]を含み、撮像信号ＤGS[2]が、撮像信号ＤS-J[2]及びＤS-J[3]を含み、撮像信号ＤGS[3]が、撮像信号ＤS-J[3]及びＤS-J[4]を含み、撮像信号ＤGS[4]が、撮像信号ＤS-J[4]及びＤS-J[5]を含む場合を想定する。すなわち、図２３乃至図２５に示す例では、画像信号Ｄ[1]が、撮像信号ＤS-J[1]及びＤS-J[2]に基づいて生成され、画像信号Ｄ[2]が、撮像信号ＤS-J[2]及びＤS-J[3]に基づいて生成され、画像信号Ｄ[3]が、撮像信号ＤS-J[3]及びＤS-J[4]に基づいて生成され、画像信号Ｄ[4]が、撮像信号ＤS-J[4]及びＤS-J[5]に基づいて生成される場合を想定する。また、図２３乃至図２５に示す例では、線Ｌ2及び線Ｌ3のクロスは、１回のみ生じる場合を想定する。
　図２３に示すように、撮像部１０から、撮像信号ＤS-J1[m]及びＤS-J1[m+1]が出力される（便宜的に撮像信号ＤGS1[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS1[m]に基づいて画像信号ＤGA1[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA1[m]の経過後に画像信号ＤGA1[m]の生成を完了し、これをラインバッファ２２に格納する。
　一方、図２３に示す例は、上述した第１の状態を例示するものであり、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、図２３に示す例では、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、表示部４０において画像信号ＤGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
　このため、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd1[m]まで、待機時間ＵB1[m]だけ画像信号ＤGB1[m]の出力を待ち、その後、水平走査期間Ｈd1[m]において画像信号ＤGB1[m]を出力する。
　また、図２３に例示する第１の状態は、画像処理部２１による画像処理の完了までに表示部４０による表示準備が間に合わない場合である。換言すれば、水平走査期間Ｈd1[m]が開始されるまでに、画像処理部２１による画像信号ＤGA1[m]の生成が完了し、画像信号出力部２３から画像信号ＤGB1[m]を出力可能な状態となっている。このため、図２３に例示する第１の状態では、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩに含まれる全ての水平走査期間Ｈdが、有効水平走査期間Ｈd-Ａとなる。すなわち、第１の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdとなる。
　このように、図２３に例示する第１の状態では、画像信号Ｄ1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部４０側の表示準備がボトルネックとなって、表示部４０における表示が遅延する。
　このため、撮像部１０が撮像信号ＤS1を出力してから、表示部４０が画像信号Ｄ1の示す画像を表示するまでの遅延時間ΔＴ1は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、画像処理の完了後に表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間となる。
　次に、図２２及び図２４を参照しつつ、撮像垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2）と、表示垂直走査期間Ｆd2において画像信号生成部２０が表示部４０に出力する画像信号Ｄ2（ＤGB2）との関係を例にとって、第２の状態について説明する。
　図２４は、撮像信号ＤS-J2[pJ]（撮像信号ＤGS2[m]）と、画像信号Ｄ2[m]（画像信号ＤGA2[m]及び画像信号ＤGB2[m]）との関係を説明するためのタイミングチャートである。この図に示すように、撮像部１０から、撮像信号ＤS-J2[m]及びＤS-J2[m+1]からなる撮像信号が出力される（便宜的にＤGS2[m]の出力が開始されると）、画像処理部２１は、当該撮像信号ＤGS2[m]に基づいて画像信号ＤGA2[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA2[m]の経過後に画像信号ＤGA2[m]の生成を完了し、これをラインバッファ２２に格納する。
　なお、図２４に示す例では、画像信号Ｄ2[1]、Ｄ2[2]、及び、Ｄ2[3]が、時刻Ｔth以前に画像信号出力部２３が出力する画像信号Ｄ[m]であり、画像信号Ｄ2[4]が、時刻Ｔth以後に画像信号出力部２３が出力する画像信号Ｄ[m]である場合を想定している。
　時刻Ｔth以前においては、線Ｌ2が線Ｌ3（線Ｌ4）よりも時間的に先行する。つまり、時刻Ｔth以前においては、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
　このため、画像信号出力部２３は、時刻Ｔth以前においては、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd2[m]まで、待機時間ＵB2[m]だけ画像信号ＤGB2[m]の出力を待ち、その後、水平走査期間Ｈd2[m]において画像信号ＤGB2[m]を出力する。
　図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[1]が生成された後、待機時間ＵB2[1]だけ画像信号ＤGB2[1]の出力を待ち、その後、水平走査期間Ｈd2[1]において、画像信号ＤGB2[1]を出力する。同様に、画像信号出力部２３は、画像信号ＤGA2[2]が生成された後、待機時間ＵB2[2]だけ画像信号ＤGB2[2]の出力を待ち、その後、水平走査期間Ｈd2[2]において、画像信号ＤGB2[2]を出力する。
　一方、時刻Ｔth以後においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA2[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB2[m]の示す画像を表示することができる。よって、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
　図２４に示す例では、画像信号出力部２３は、画像信号ＤGA2[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd2[3]において、画像信号ＤGB2[3]を出力する。
　また、この図に示す例では、画像信号ＤGA2[4]が生成されるのは、水平走査期間Ｈd2[4]の開始後である。このため、画像信号出力部２３は、画像信号ＤGA2[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd2[5]において、画像信号ＤGB2[4]を出力する。
　そして、タイミングジェネレータ３２は、水平走査期間Ｈd2[4]を無効水平走査期間Ｈd-Ｄとする。
　このように、図２４に例示する第２の状態では、時刻Ｔth以降において、画像処理に起因する表示の遅延が生じるため、表示垂直走査期間Ｆd2の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。つまり、第２の状態において、表示垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔd及び延長垂直走査時間Ｔexの合計となる。
　また、撮像部１０が撮像信号ＤS2を出力してから、表示部４０が画像信号Ｄ2の示す画像を表示するまでの遅延時間ΔＴ2は、時刻Ｔth以前は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間であるが、時刻Ｔth以後において、線Ｌ4が線Ｌ2よりも時間的に先行する場合には、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）のみとなる。このため、第２の状態に係る遅延時間ΔＴ2は、第１の状態に係る遅延時間ΔＴ1よりも短くなる。
　次に、図２２及び図２５を参照しつつ、撮像垂直走査期間Ｆs3において撮像部１０が出力する撮像信号ＤS3（ＤGS3）と、表示垂直走査期間Ｆd3において画像信号生成部２０が表示部４０に出力する画像信号Ｄ3（ＤGB3）との関係を例にとって、第３の状態について説明する。
　図２５は、撮像信号ＤS-J3[pJ]（撮像信号ＤGS3[m]）と、画像信号Ｄ3[m]（画像信号ＤGA3[m]及び画像信号ＤGB3[m]）との関係を説明するためのタイミングチャートである。
　図２５に示すように、撮像部１０から、撮像信号ＤS-J3[m]及びＤS-J3[m+1]からなる撮像信号が出力される（便宜的にＤGS3[m]の出力が開始される）と、画像処理部２１は、当該撮像信号ＤGS3[m]に基づいて画像信号ＤGA3[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA3[m]の経過後に画像信号ＤGA3[m]の生成を完了し、これをラインバッファ２２に格納する。
　第３の状態においては、通常、線Ｌ4が線Ｌ2よりも時間的に先行する。線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA3[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部２１による画像信号ＤGA3[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
　具体的には、図２５に示す例では、画像信号出力部２３は、画像信号ＤGA3[1]が生成され、出力許可パルスＰL[1]が出力された後の最初の水平走査期間Ｈd3[3]において、画像信号ＤGB3[1]を出力し、画像信号ＤGA3[2]が生成され、出力許可パルスＰL[2]が出力された後の最初の水平走査期間Ｈd3[5]において、画像信号ＤGB3[2]を出力し、画像信号ＤGA3[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd3[7]において、画像信号ＤGB3[3]を出力し、画像信号ＤGA3[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd3[9]において、画像信号ＤGB3[4]を出力する。なお、この場合、タイミングジェネレータ３２は、表示垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩが開始されているが、出力許可パルスＰL[1]が出力されていないため、水平走査期間Ｈd3[1]、Ｈd3[2]では、無効水平走査期間Ｈd-Ｄを出力し、同様に、Ｈd3[4]、Ｈd3[6]、及び、Ｈd3[8]では、無効水平走査期間Ｈd-Ｄを出力する処理を行う。
　このように、図２５に例示する第３の状態では、画像処理に起因する表示の遅延が生じているため、表示垂直走査期間Ｆd3の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。この結果、第３の状態では、表示部４０が、撮像垂直走査期間Ｆsに出力される撮像信号ＤSに同期した表示を行うことができるように、表示垂直走査期間Ｆdの時間長が水平走査期間Ｈdの精度で調整される。つまり、第３の状態では、概略的に見れば、表示垂直走査期間Ｆdは、撮像垂直走査期間Ｆsと略同じ時間となるように調整される。
　また、第３の状態では、線Ｌ4が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示する。このため、撮像部１０が撮像信号ＤS3を出力してから、表示部４０が画像信号Ｄ3の示す画像を表示するまでの遅延時間ΔＴ3は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と略同じになる。具体的には、第３の状態では、撮像部１０が撮像信号ＤS-J[pJ]の出力を開始してから表示部４０が画像信号Ｄ[m]の示す画像の表示を開始するまでの遅延時間ΔＴ3と、画像処理部２１が画像信号Ｄ[m]の生成に要する画像処理時間ＵAと、を水平走査期間Ｈdの精度で等しくする。
　このため、第３の状態では、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。この場合、遅延時間ΔＴ3は、第１の状態に係る遅延時間ΔＴ1よりも短くなり、且つ、第２の状態に係る遅延時間ΔＴ2以下となる。
　また、上述のとおり、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短い。このため、車両用撮像表示装置１が第１の状態で動作して、表示部４０側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、撮像垂直走査期間Ｆs毎に当該表示の遅延は徐々に縮小する。つまり、車両用撮像表示装置１は、当初、第１の状態で動作する場合であっても、最終的には第３の状態での動作に移行し、第３の状態での動作が開始された後は、第３の状態での動作を維持することができる。この結果、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることができる。
＜４．第１実施形態の効果＞
　本実施形態に係る車両用撮像表示装置１では、第１条件及び第２条件が充足された場合に画像信号出力部２３から画像信号Ｄ[m]を出力し、第１条件または第２条件が充足されない場合には、無効水平走査期間Ｈd-Ｄを挿入することで、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを水平走査期間Ｈdの精度で調整する。すなわち、本実施形態に係る車両用撮像表示装置１では、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示することができる。これにより、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。
　また、本実施形態に係る車両用撮像表示装置１では、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することで、表示垂直走査期間Ｆdの時間長を可変とするとともに、撮像垂直走査期間Ｆsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。
　また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間ＵAが変動する場合、撮像部１０をフレームレートが異なるものに交換する場合、または、表示部４０をフレームレートが異なるものに交換する場合等、撮像部１０及び表示部４０の位相差、撮像部１０のフレームレート、並びに、表示部４０で表示可能な最高のフレームレートのうち、一部または全部が変化する場合であっても、位相差ＰDを画像処理時間ＵA以下の長さに自動的に収束させることが可能となる。
　また、本実施形態では、部分画像信号Ｄ-Lの示す画像と、部分画像信号Ｄ-Rの示す画像と、部分画像信号Ｄ-Cの示す画像と、を１つの表示部４０に設けられた表示領域ＡDに表示するため、３つの部分画像信号Ｄ-Jに１対１に対応して３つの表示部を設ける場合と比較して、車両用撮像表示装置１のコストを低く抑えることができる。
　ところで、本実施形態では、撮像部１０が出力する撮像信号ＤSのうち、撮像信号ＤS-Lの画素数、撮像信号ＤS-Rの画素数、及び、撮像信号ＤS-Cの画素数の相違（図６参照）等に起因して、左側画像用画像処理部２１Lが部分画像信号Ｄ-L[m]を生成する画像処理に要する時間と、右側画像用画像処理部２１Rが部分画像信号Ｄ-R[m]を生成する画像処理に要する時間と、中央画像用画像処理部２１Cが部分画像信号Ｄ-C[m]を生成する画像処理に要する時間と、が互いに異なることとなる場合がある。
　この場合、例えば、３つの部分画像信号Ｄ-Jに１対１に対応して３つの表示部を設け、各表示部に対して、各部分画像信号Ｄ-Jの示す画像を個別に表示する場合には、表示部毎にに表示タイミングが異なることとなる。このような場合、３つの表示部全体としての表示品位の低下につながる。
　これに対して、本実施形態に係る画像処理回路１００では、部分画像信号Ｄ-L[m]、部分画像信号Ｄ-R[m]、及び、部分画像信号Ｄ-C[m]の全てが生成されたことを示す第１条件が充足された後に、これら３つの部分画像信号Ｄ-J[m]を、１つの画像信号Ｄ[m]として出力する。そして、表示部４０は、１つの表示領域ＡDにおいて、当該３つの部分画像信号Ｄ-J[m]からなる画像信号Ｄ[m]の示す画像を、同一の水平走査期間Ｈdにおいて表示する。これにより、表示領域ＡD-J毎に表示タイミングが異なることに起因する表示領域ＡD全体としての表示品位の低下を抑制することができる。
＜Ｂ．第２実施形態＞
　上述した第１実施形態では、図１０に示すように、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することにより、画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整し、水平走査期間Ｈdの時間長は固定長としていた。
　これに対して、第２実施形態に係る車両用撮像表示装置では、水平走査期間Ｈdの時間長を可変長として、画像信号Ｄ[m]の出力タイミングを、例えば表示ドットクロック信号ＤCLKの周期で調整する点において、第１実施形態に係る車両用撮像表示装置１と相違する。
　以下、図２６乃至図２８を参照しつつ、第２実施形態に係る車両用撮像表示装置について説明する。なお、以下に例示する第２実施形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する（以下で説明する変形例についても同様）。
　図２６は、第２実施形態に係る車両用撮像表示装置が備えるタイミング制御部３０（出力制御部３１及びタイミングジェネレータ３２）が生成する、出力制御信号ＣTRと、イネーブル信号ＤＥnbと、表示水平同期信号ＤＨsync2との関係を説明するための説明図である。
　第２実施形態に係る車両用撮像表示装置が備えるタイミング制御部３０は、タイミングジェネレータ３２が、表示水平同期信号ＤＨsyncの代わりに、可変な周期の表示水平同期パルスＰlsＨを有する表示水平同期信号ＤＨsync2を生成し、表示垂直同期信号ＤＶsyncの変わりに、可変な周期の表示垂直同期パルスＰlsＶを有する表示垂直同期信号ＤＶsync2を生成する点を除き、第１実施形態に係る車両用撮像表示装置１（図１０参照）と同様に構成されている。
　図２６に示すように、第２実施形態に係る出力制御部３１は、第１実施形態と同様に、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻（この図では、上述した第２の態様を採用しているため、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。
　また、図２６に示すように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が出力する出力制御信号ＣTRに出力許可パルスＰL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間ＴPの経過後に、表示水平同期信号ＤＨsync2として表示水平同期パルスＰlsＨを出力する。
　このため、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了し、画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
　一方、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]よりも後に画像信号生成時刻ＴC[m]が到来する場合（Ｃase-2）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、表示準備判定時刻ＴB[m]から画像信号生成時刻ＴC[m]（画像処理判定時刻ＴA[m]）までの時間長である延長フロントポーチ時間ＴPXとの合計となる。
　このように、第２実施形態に係るタイミングジェネレータ３２は、出力制御部３１が、画像信号Ｄ[m]の出力準備が完了したと判定し、出力制御信号ＣTRとして出力許可パルスＰL[m]を出力するのを待ち、出力許可パルスＰL[m]が出力されてから基準フロントポーチ時間ＴPだけ後に、水平走査期間Ｈd[m]を開始させる。換言すれば、第２実施形態に係るタイミングジェネレータ３２は、画像信号Ｄ[m]の出力準備が完了するまで、水平フロントポーチ期間ＤＨfを延長する。
　このため、画像信号出力部２３は、たとえ画像処理部２１における画像信号Ｄ[m]の画像処理が遅延した場合であっても、水平走査期間Ｈd[m]において画像信号Ｄ[m]を出力することが可能となる。この場合、撮像部１０が撮像信号ＤGS[m]を出力してから、表示部４０が画像信号Ｄ[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号ＤCLKの精度で最小化されることになる。
　図２７は、表示部４０における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態（すなわち、図２４で説明した第２の状態）における、第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。また、図２８は、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（すなわち、図２５で説明した第３の状態）における、第２実施形態に係る車両用撮像表示装置の動作を説明するためのタイミングチャートである。なお、図２７及び図２８では、図２２乃至図２５で説明した符号を流用する。
　図２７では、例えば、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングまでに、画像信号ＤGA2[3]が生成される。このため、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングにおいて、出力許可パルスＰL[3]が出力される。この場合、水平走査期間Ｈd2[2]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
　一方、この図に示す例では、画像信号ＤGA2[4]が生成されるタイミングは、水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA2[4]が生成されるタイミングにおいて、出力許可パルスＰL[4]が出力される。この場合、水平走査期間Ｈd2[3]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[4]が出力されまでの時間）との、合計の時間長となる。すなわち、表示部４０における表示準備がボトルネックとなる表示の遅延が解消される時刻Ｔth以降は、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
　また、図２８では、画像信号ＤGA3[m]が生成されるタイミングは、水平走査期間Ｈd3[m-1]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA3[m]が生成されるタイミングにおいて、出力許可パルスＰL[m]が出力される。この場合、水平走査期間Ｈd3[m]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd3[m]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[m]が出力されまでの時間）との、合計の時間長となる。すなわち、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（第３の状態）においては、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。
　なお、図２７及び図２８からも明らかなように、第２実施形態においては、無効水平走査期間Ｈd-Ｄは存在せず、全ての水平走査期間Ｈdは有効水平走査期間Ｈd-Ａとなる。
　また、第２実施形態では、水平走査期間Ｈdが例えば表示ドットクロック信号ＤCLKの単位で可変となるため、表示垂直走査期間Ｆdも可変の時間長を有することとなる。
＜Ｃ．変形例＞
　以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。
＜変形例１＞
　上述した実施形態では、表示部４０としてＨＵＤを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクター、液晶表示装置、ＯＬＥＤ（organic light emitting diode）表示装置、プラズマ表示装置であってもよい。
＜変形例２＞
　上述した実施形態及び変形例では、画像処理回路１００と表示部４０との間のデータ伝送を低電圧差動（ＬＶＤＳ）のシリアルインターフェースによって行うが、パラレルインターフェースによって行うようにしてもよい。
＜変形例３＞
　上述した実施形態及び変形例では、撮像垂直同期信号ＳＶsyncにより規定される撮像垂直走査期間Ｆsが、表示垂直同期信号ＤＶsync（またはＤＶsync2）により規定される表示垂直走査期間Ｆd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、撮像垂直走査期間Ｆsは、表示垂直走査期間Ｆdよりも短い時間長を有していてもよい。
＜変形例４＞
　上述した実施形態及び変形例では、出力制御部３１は、画像処理部２１が出力する書込完了信号ＰtAと、画像信号出力部２３が出力する出力完了信号ＰtBと、に基づいて、画像信号Ｄ[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部３１がラインバッファ２２を周期的に参照することで、ラインバッファ２２に画像信号Ｄ[m]が記録されていること、及び、ラインバッファ２２から画像信号Ｄ[m-1]が読み出されたことを判定することにより、画像信号Ｄ[m]を出力する準備が完了したか否かを判定してもよい。
＜変形例５＞
　上述した実施形態及び変形例では、ライン毎に画像処理時間ＵA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間ＵA[m]はライン間で同一であってもよい。
＜変形例６＞
　上述した実施形態及び変形例では、撮像部１０が３個のイメージセンサー１２J（１２L、１２C、１２R）を備える場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、撮像部１０は、２以上のイメージセンサー１２Jを備えていればよい。
　この場合、画像処理部２１は、２以上のイメージセンサー１２Jと１対１に対応する２以上の部分画像処理部２１Jを有していればよく、また、表示領域ＡDは、２以上のイメージセンサー１２Jと１対１に対応する２以上の表示領域ＡD-Jとして画像を表示できればよい。
　また、この場合、表示対象ラインである第ｍ行の画像信号Ｄ[m]の画像処理が完了していることを示す第１条件は、２以上の各部分画像処理部２１Jが出力する部分書込完了信号ＰtA-Jの示す値の最小値ｍaが、表示対象ラインのライン番号ｍ以上である場合に充足される、とすればよい。すなわち、この場合、「画像処理ライン情報」は、２以上の部分画像処理部２１Jが生成した部分画像信号Ｄ-J[m]が表示されるラインのうち、最後に画像を表示するラインを示す情報となる。
＜変形例７＞
　上述した実施形態及び変形例では、画像処理部２１において、左右方向について車両αに近い領域を車体に遠い領域と比較して相対的に拡大する水平方向縮小・拡大処理と、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する垂直方向縮小・拡大処理との両方を実行する態様について説明したが、そのいずれか一方を実行してもよいし、そのいずれも実行しないものであってもよい。
　また、左右方向について車両αに近い領域を車両αから遠い領域と比較して相対的に拡大する水平方向縮小・拡大処理は、車両αから遠い領域を縮小する処理または車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上または下の領域と比較して相対的に拡大する垂直方向縮小・拡大処理は、中央の領域を拡大する処理、上の領域を縮小する処理、または、下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上または下の領域を拡大する処理は必須ではなく、上または下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
　なお、縮小・拡大処理において、各領域ＬR1～ＬR6（図１６Ａ）や各領域ＢR1～ＢR9（図１９）間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。
＜変形例８＞
　上述した実施形態及び変形例では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域ＡreaT-Jの画像を表示領域ＡD-Jの大きさに合わせていったん拡大した後に、左右反転処理、水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理を実行するが、トリミングした画像を拡大することなく、左右反転処理を実行し、その後、水平方向縮小・拡大処理、及び、垂直方向縮小・拡大処理において、表示領域ＡD-Jの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。
＜変形例９＞
　上述した実施形態及び変形例では、図３Ａ及び図３Ｂにおいて、左側表示領域ＡD-Lに表示される画像が拡大表示される拡大表示領域Ａrea-L、中央表示領域ＡD-Cに表示される画像が拡大表示される拡大表示領域Ａrea-C、及び、右側表示領域ＡD-Rに表示される画像が拡大表示される拡大表示領域Ａrea-Rの配置例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。
＜変形例１０＞
　夜間の運転においては、サイドミラーやバックミラーに映る像の明度が不十分であるため運転者は危険を察知できない場合がある。そこで、上述した実施形態及び変形例で説明した画像処理に加えて、画像処理部２１が撮像信号ＤSに基づく画像の明度を補正する処理を実行するようにしてもよい。撮像信号ＤSに基づく画像の明度を上げる補正を実行することで、暗い場所で撮像した画像であっても、車両の安全な運転により有用な車両外部の画像を表示することが可能となる。
＜変形例１１＞
　上述した実施形態及び変形例では、「撮像表示装置」として、車両αに搭載される車両用撮像表示装置を例示したが、「撮像表示装置」は、車両に搭載される車両用の撮像表示装置に限定されるものではない。例えば、プロジェクター装置、ＨＵＤ（ヘッドアップディスプレイ）、ＨＭＤ（ヘッドマウントディスプレイ）等の表示装置に用いるものであってもよい。
　１……車両用撮像表示装置、１０……撮像部、１２……イメージセンサー、１２L……左後方用イメージセンサー、１２C……中央後方用イメージセンサー、１２R……右側後方用イメージセンサー、１３……タイミングジェネレータ、２０……画像信号生成部、２１……画像処理部、２１L……左側画像用画像処理部、２１C……中央画像用画像処理部、２１R……右側画像用画像処理部、２２……ラインバッファ、２３……画像信号出力部、３０……タイミング制御部、３１……出力制御部、３２……タイミングジェネレータ、３３……パラメーター送信部、４０……表示部、４１……コントローラー、４２……液晶パネル、５０……制御部、６０……操作部、１００……画像処理回路、ＡD……表示領域、ＡD-L……左側表示領域、ＡD-C……中央表示領域、ＡD-R……右側表示領域ＡD-R。

Claims (11)

  1. 　被写体を撮像して撮像信号を出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、
    　前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備する表示部と、
    　前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域の各ラインで表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部の各ラインで表示すべき画像を示す画像信号を、前記表示部に出力する画像信号生成部と、
    　前記画像信号生成部から前記表示部に対する出力が完了した画像信号に対応するラインを示す表示出力ライン情報と、前記画像信号生成部が生成した部分画像信号に対応するラインのうち、最後に画像を表示するラインを示す画像処理ライン情報と、に基づいて、前記画像処理生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
    　を備え、
    　前記タイミング制御部は、
    　前記表示出力ライン情報が表示対象ラインに先行して画像を表示するラインを示し、且つ、
    　前記画像処理ライン情報が前記表示対象ラインにおいて画像を表示するタイミング以後に画像を表示するラインを示す場合に、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    　ことを特徴する撮像装置。
  2. 　前記表示部は、
    　一定周期で出力される表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
    　前記画像信号生成部は、
    　前記表示水平同期パルスに同期して前記画像信号を出力し、
    　前記タイミング制御部は、
    　前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
    　その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった後に出力される前記表示水平同期パルスに同期して、前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    　ことを特徴とする、請求項１に記載の撮像装置。
  3. 　前記表示部は、
    　表示水平同期パルスにより定められる期間毎に各ラインに画像を表示可能であり、
    　前記画像信号生成部は、
    　前記表示水平同期パルスに同期して前記画像信号を出力し、
    　前記タイミング制御部は、
    　前記表示水平同期パルスを可変な周期で出力可能であり、
    　前記表示出力ライン情報が前記表示対象ラインに先行して画像を表示するラインを示し、且つ、前記画像処理ライン情報が前記表示対象ラインよりも前に画像を表示するラインを示す場合、前記表示水平同期パルスの出力を停止するとともに、前記表示対象ラインで表示すべき画像を示す画像信号の出力を停止するように前記画像信号生成部を制御し、
    　その後、前記画像処理ライン情報の示すラインが前記表示対象ラインとなった場合、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記表示対象ラインで表示すべき画像を示す画像信号を出力するように前記画像信号生成部を制御する、
    　ことを特徴とする、請求項１に記載の撮像装置。
  4. 　被写体を撮像して撮像結果を示す撮像信号を撮像同期信号に同期させて出力する撮像素子をＫ（Ｋは２以上の自然数）個具備する撮像部と、
    　前記撮像部のＫ個の撮像素子と１対１に対応するＫ個の表示領域を具備し、表示同期信号に同期して、前記撮像部よりも高いフレームレートで画像表示が可能な表示部と、
    　前記撮像部のｊ（ｊは１≦ｊ≦Ｋを満たす自然数）番目の撮像素子から出力される撮像信号に基づいて、前記表示部のｊ番目の表示領域で表示すべき画像を示す部分画像信号を生成し、前記Ｋ個の表示領域に対応するＫ個の部分画像信号からなり前記表示部で表示すべき画像を示す画像信号を、前記表示同期信号に同期させて前記表示部に出力する画像信号生成部と、
    　前記画像信号生成部が前記画像信号を出力するタイミングを制御するタイミング制御部と、
    　を備え、
    　前記撮像同期信号のフレームの開始から前記表示同期信号のフレームの開始までの時間を位相差とし、
    　前記撮像部のフレームレートを第１フレームレートとし、
    　前記表示部で表示可能な最高のフレームレートを第２フレームレートとしたとき、
    　前記タイミング制御部は、
    　前記位相差が、所定時間より長い場合において、前記表示部のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、
    　前記位相差が、前記所定時間以下となった後において、前記表示部のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、
    　ことを特徴とする撮像装置。
  5. 　前記タイミング制御部は、
    　前記位相差が前記所定時間より長い場合には、
    　前記Ｋ個の部分画像信号を生成した後、前記Ｋ個の部分画像信号の示す画像が前記表示部で表示可能となるまで待機して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、
    　ことを特徴とする請求項４に記載の撮像装置。
  6. 　前記表示同期信号は、
    　一定周期の表示水平同期パルスを含み、
    　前記タイミング制御部は、
    　前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、
    　前記画像信号生成時刻の後に最初に出力される表示水平同期パルスに同期して、前記Ｋ個の部分画像信号からなる画像信号を前記表示部に出力する、
    　ことを特徴とする、請求項４または５に記載の撮像装置。
  7. 　前記タイミング制御部は、
    　可変な周期の表示水平同期パルスを含む前記表示同期信号を出力し、
    　前記位相差が前記所定時間以下となった後において、前記Ｋ個の部分画像信号の生成が完了する画像信号生成時刻が、前記表示部において前記Ｋ個の部分画像信号の示す画像を表示可能となる表示可能時刻以降となる場合、
    　前記画像信号生成時刻までは、前記表示水平同期パルスの出力を停止するとともに、前記Ｋ個の部分画像信号からなる画像信号の出力を停止し、
    　前記画像信号生成時刻の後は、前記表示水平同期パルスを出力するとともに、当該出力される表示水平同期パルスに同期して前記Ｋ個の部分画像信号からなる画像信号を出力する、ことを特徴とする、請求項４または５に記載の撮像装置。
  8. 　前記表示部は、車両の内部に設けられ、
    　前記撮像素子は、前記車両の外部を撮像する、
    　ことを特徴とする、請求項１乃至７のうち何れか１項に記載の撮像装置。
  9. 　前記撮像部が具備するＫ個の撮像素子は、
    　前記車両の後方の被写体を撮像する第１の撮像素子と、
    　前記車両の左後方の被写体を撮像する第２の撮像素子と、
    　前記車両の右後方の被写体を撮像する第３の撮像素子と、を含み、
    　前記表示部が具備するＫ個の表示領域は、
    　前記第１の撮像素子に対応する第１の表示領域と、
    　前記第２の撮像素子に対応し、前期第１の表示領域よりも左側に設けられる第２の表示領域と、
    　前記第３の撮像素子に対応し、前期第１の表示領域よりも右側に設けられる第３の表示領域と、を含む、
    　ことを特徴とする、請求項８に記載の撮像装置。
  10. 　前記表示部と、
    　請求項１乃至９のうち何れか１項に記載の撮像装置と、
    　を備える、
    　ことを特徴とする撮像表示装置。
  11. 　請求項１０に記載の撮像表示装置を備えることを特徴とする車両。
PCT/JP2015/003985 2014-08-11 2015-08-07 撮像装置、撮像表示装置、及び、車両 WO2016024396A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/502,399 US10389920B2 (en) 2014-08-11 2015-08-07 Imaging device, imaging display apparatus, and vehicle
CN201580035395.1A CN106537903B (zh) 2014-08-11 2015-08-07 拍摄装置、拍摄显示装置以及车辆

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-163407 2014-08-11
JP2014163407 2014-08-11
JP2015136740A JP6582644B2 (ja) 2014-08-11 2015-07-08 撮像装置、撮像表示装置、及び、車両
JP2015-136740 2015-07-08

Publications (1)

Publication Number Publication Date
WO2016024396A1 true WO2016024396A1 (ja) 2016-02-18

Family

ID=55304033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003985 WO2016024396A1 (ja) 2014-08-11 2015-08-07 撮像装置、撮像表示装置、及び、車両

Country Status (4)

Country Link
US (1) US10389920B2 (ja)
JP (1) JP6582644B2 (ja)
CN (1) CN106537903B (ja)
WO (1) WO2016024396A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107487258A (zh) * 2016-06-13 2017-12-19 福特全球技术公司 盲区检测系统和方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP2017126811A (ja) * 2016-01-12 2017-07-20 ソニー株式会社 画像データ処理回路および撮像回路
US10640216B2 (en) * 2016-01-27 2020-05-05 Thales Avionics, Inc. Projection cassette assemblies and related systems for use with aircraft seats
JP6602721B2 (ja) * 2016-04-15 2019-11-06 株式会社東海理化電機製作所 車両用視認装置
JP2018067773A (ja) * 2016-10-18 2018-04-26 キヤノン株式会社 撮像装置とその制御方法、プログラム及び記憶媒体
CN109891875B (zh) * 2016-11-08 2021-11-16 索尼公司 图像传送设备、方法、系统和存储介质
JP6903925B2 (ja) 2017-02-07 2021-07-14 セイコーエプソン株式会社 撮像表示システム、乗用装置
DE102017218722A1 (de) * 2017-10-19 2019-04-25 Robert Bosch Gmbh Umfelderfassungssystem zum Erfassen eines Umfelds eines Fahrzeugs und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs
KR102266640B1 (ko) * 2017-11-30 2021-06-18 현대모비스 주식회사 클러스터 일체형 헤드업 디스플레이 장치
WO2019159344A1 (ja) * 2018-02-19 2019-08-22 三菱電機株式会社 運転支援装置および映像表示方法
CN111801239A (zh) * 2018-03-02 2020-10-20 松下知识产权经营株式会社 显示系统
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
JP7184591B2 (ja) * 2018-10-15 2022-12-06 三菱重工業株式会社 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
JP7242332B2 (ja) * 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP7349859B2 (ja) * 2019-09-18 2023-09-25 株式会社Subaru 車外モニタ装置
JP2021093628A (ja) * 2019-12-10 2021-06-17 トヨタ自動車株式会社 車両用周辺表示装置
GB2596111B (en) * 2020-06-18 2023-03-22 Dualitas Ltd Frame rate synchronization
EP3967552A1 (en) * 2020-09-11 2022-03-16 Ficosa Adas, S.L.U. Camera monitoring system for motor vehicles
CN114666455A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 拍摄控制方法、装置、存储介质及电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2014103647A (ja) * 2012-11-21 2014-06-05 Seiko Epson Corp 撮影装置、撮影装置の制御方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812332A (en) 1989-09-28 1998-09-22 Ppg Industries, Inc. Windshield for head-up display system
JPH058661A (ja) 1991-07-02 1993-01-19 Kansei Corp 車両用ヘツドアツプデイスプレー装置
IT1256343B (it) 1991-08-20 1995-12-01 Ppg Industries Inc Parabrezza automobilistico per un sistema di visualizzazione a testa eretta
JP3240074B2 (ja) 1992-11-06 2001-12-17 矢崎総業株式会社 車両用表示装置
JP3400584B2 (ja) 1994-12-19 2003-04-28 本田技研工業株式会社 車載用表示装置
JPH09254681A (ja) 1996-01-16 1997-09-30 Murakami Corp 車両用画像表示装置
JPH10166943A (ja) 1996-12-05 1998-06-23 Horigome Tatsuro 車両用外界モニター装置
JPH10305742A (ja) 1997-05-07 1998-11-17 Suzuki Motor Corp 車両用ヘッドアップディスプレー装置
JP3154676B2 (ja) 1997-06-11 2001-04-09 松下電器産業株式会社 車載カメラ映像合成透視装置
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
JPH11255020A (ja) 1998-03-11 1999-09-21 Toshio Hiura 自動車の小型後方安全確認装置
JP2000177483A (ja) 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の外部監視装置
JP2001114048A (ja) 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2000131642A (ja) 1999-11-01 2000-05-12 Kansei Corp ヘッドアップディスプレ―装置
JP4280648B2 (ja) 2004-01-16 2009-06-17 株式会社ホンダロック 車両の視界補助装置
JP2005284029A (ja) 2004-03-30 2005-10-13 Matsushita Electric Ind Co Ltd マルチビジョン装置
JP4706896B2 (ja) 2004-09-07 2011-06-22 アイシン精機株式会社 広角画像の補正方法及び車両の周辺監視システム
JP4583883B2 (ja) 2004-11-08 2010-11-17 パナソニック株式会社 車両用周囲状況表示装置
JP2006248374A (ja) 2005-03-10 2006-09-21 Seiko Epson Corp 車両安全確認装置及びヘッドアップディスプレイ
US7925973B2 (en) * 2005-08-12 2011-04-12 Brightcove, Inc. Distribution of content
JP2007110572A (ja) 2005-10-14 2007-04-26 Alpine Electronics Inc 複数カメラ画像合成表示装置
US7974771B2 (en) * 2006-09-22 2011-07-05 Nortel Networks Limited Method and apparatus for enabling commuter groups
JP2008094292A (ja) 2006-10-13 2008-04-24 Nissan Motor Co Ltd 車両用表示装置及び情報表示方法
JP2008126973A (ja) 2006-11-24 2008-06-05 Calsonic Kansei Corp 車両用ヘッドアップディスプレイ部構造
JP4941760B2 (ja) 2007-09-24 2012-05-30 株式会社デンソー 車両周辺監視装置
CN101911644B (zh) * 2007-12-06 2016-08-03 大陆-特韦斯贸易合伙股份公司及两合公司 在车辆中发射/接收数据帧的方法以及相应的发射/接收设备
WO2009071632A1 (de) * 2007-12-06 2009-06-11 Continental Teves Ag & Co. Ohg Verwendung des wlan-standards für eine c2c-kommunikation durch hinzufügen von neuen pakettypen
EP2229668B1 (de) * 2007-12-11 2015-09-23 Continental Teves AG & Co. oHG Übertragung von fahrzeug-relevanten daten eines fahrzeugs über mobile kommunikation
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
JP4695665B2 (ja) 2008-03-31 2011-06-08 株式会社村上開明堂 発光表示装置付きバックミラー
US8682285B2 (en) * 2008-04-14 2014-03-25 Continental Teves Ag & Co. Ohg Positioning signal for rescue forces
JP2010221899A (ja) 2009-03-24 2010-10-07 Murakami Corp モニター付車両用ミラー
US8995327B2 (en) * 2009-12-02 2015-03-31 Mitsubishi Electric Research Laboratories, Inc. Broadcasting messages in multi-channel vehicular networks
JP2011199735A (ja) * 2010-03-23 2011-10-06 Toshiba Corp 画像処理装置および画像処理システム
CN102823240B (zh) 2010-03-26 2015-06-17 本田技研工业株式会社 车辆驾驶辅助装置
JP2011213185A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子ルームミラー装置
JP2011213186A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子サイドミラー装置
US9159297B2 (en) * 2010-05-18 2015-10-13 Seiko Epson Corporation Image-displaying device and display timing control circuit
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
JP5757410B2 (ja) 2011-05-17 2015-07-29 日本精機株式会社 車両用表示装置及びその表示方法
US9295375B2 (en) * 2012-09-27 2016-03-29 Hrayr Karnig Shahinian Programmable spectral source and design tool for 3D imaging using complementary bandpass filters
US9319590B2 (en) 2012-11-21 2016-04-19 Seiko Epson Corporation Image capturing device including display control section that causes display data to be displayed in first and second display regions of display screen, and method for controlling image capturing device
WO2014186775A1 (en) * 2013-05-17 2014-11-20 Avantis Medical Systems, Inc. Secondary imaging endoscopic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2014103647A (ja) * 2012-11-21 2014-06-05 Seiko Epson Corp 撮影装置、撮影装置の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107487258A (zh) * 2016-06-13 2017-12-19 福特全球技术公司 盲区检测系统和方法
CN107487258B (zh) * 2016-06-13 2022-05-17 福特全球技术公司 盲区检测系统和方法

Also Published As

Publication number Publication date
JP6582644B2 (ja) 2019-10-02
CN106537903B (zh) 2019-06-21
CN106537903A (zh) 2017-03-22
JP2016040163A (ja) 2016-03-24
US20170237882A1 (en) 2017-08-17
US10389920B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
JP6582644B2 (ja) 撮像装置、撮像表示装置、及び、車両
JP6582642B2 (ja) 車両用撮像装置、車両用撮像表示システム、及び車両
US20100295837A1 (en) Display device and display method
JP4561353B2 (ja) 映像信号処理装置とその方法及び車載カメラシステム
JP4652947B2 (ja) 画像表示プログラム、画像表示装置および画像表示方法
US10051245B2 (en) Display system and display apparatus
JP6524606B2 (ja) 表示制御装置及び表示装置
US10341538B2 (en) Display system and display method
JP6601020B2 (ja) 撮像表示装置
EP1750241A2 (en) Apparatus and method for displaying image
JP4556502B2 (ja) 映像変換装置
JP6507518B2 (ja) 画像処理装置及び撮像表示システム
JP2010204262A (ja) 表示処理装置
JP6645047B2 (ja) 撮像装置、画像処理装置、及び、撮像表示装置
JP6365097B2 (ja) 画像処理方法、撮像装置、画像処理装置、及び、撮像表示装置
JP4883488B2 (ja) 車両用表示装置
WO2023062976A1 (ja) 表示装置及び電子機器
TWM506429U (zh) 側視行車影像系統
KR20070015893A (ko) 화상을 디스플레이하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15831759

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15831759

Country of ref document: EP

Kind code of ref document: A1