WO2021192373A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2021192373A1
WO2021192373A1 PCT/JP2020/037984 JP2020037984W WO2021192373A1 WO 2021192373 A1 WO2021192373 A1 WO 2021192373A1 JP 2020037984 W JP2020037984 W JP 2020037984W WO 2021192373 A1 WO2021192373 A1 WO 2021192373A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
display
image
extracted
vehicle
Prior art date
Application number
PCT/JP2020/037984
Other languages
English (en)
French (fr)
Inventor
正樹 後藤
信行 松川
剛 渡辺
勝 川▲崎▼
武 茨木
渉 片瀬
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020057308A external-priority patent/JP7459608B2/ja
Priority claimed from JP2020057306A external-priority patent/JP7459607B2/ja
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to EP20928004.9A priority Critical patent/EP4131944A4/en
Publication of WO2021192373A1 publication Critical patent/WO2021192373A1/ja
Priority to US17/898,403 priority patent/US20220408062A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images

Definitions

  • the present invention relates to a display control device, a display control method, and a program.
  • a system that captures the scenery outside the vehicle with an in-vehicle camera and displays the captured image on the monitor inside the vehicle is widespread.
  • Patent Document 1 displays images of the rear and side regions of a vehicle body on two parts of a monitor screen at different compression rates, and changes the compression rates according to vehicle information.
  • the image displayed by the above system does not mean that the amount of information of the image itself has increased.
  • the display area cannot be enlarged.
  • the present embodiment is made to solve such a problem, and provides a display control device or the like that suitably displays an image taken by a camera.
  • the display control device has a shooting data acquisition unit, an operation state detection unit, an extracted image data generation unit, a display image data generation unit, and an output unit.
  • the shooting data acquisition unit acquires shooting data in which the camera captures the scenery outside the vehicle.
  • the operating state detection unit detects the operating state of the vehicle.
  • the extracted image data generation unit generates an extracted image from the image related to the shooting data according to the angle of view set according to the operating state.
  • the display image data generation unit generates display image data related to a display image having a preset image size from the extracted image data.
  • the output unit outputs display image data to a display unit having an image size.
  • the display control method includes a shooting data acquisition step, an operating state detection step, an extracted image data generation step, a display image data generation step, and an output step.
  • the shooting data acquisition step the camera acquires shooting data of the scenery outside the vehicle.
  • the operating state detection step detects the operating state of the vehicle.
  • the extracted image data generation step generates an extracted image from the image related to the captured data at an angle of view set according to the operating state.
  • the display image data generation step generates display image data related to a display image having a preset image size from the extracted image data.
  • the output step outputs display image data to a display unit having an image size.
  • the program according to the present embodiment causes a computer to execute a display control method
  • the display control method includes a shooting data acquisition step, an operation state detection step, an extracted image data generation step, a display image data generation step, and a display control method. It has an output step.
  • the shooting data acquisition step the camera acquires shooting data of the scenery outside the vehicle.
  • the operating state detection step detects the operating state of the vehicle.
  • the extracted image data generation step generates an extracted image from the image related to the captured data at an angle of view set according to the operating state.
  • the display image data generation step generates display image data related to a display image having a preset image size from the extracted image data.
  • the output step outputs display image data to a display unit having an image size.
  • a display control device or the like that suitably displays an image taken by the camera.
  • FIG. 5 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the first embodiment. It is a flowchart of the display control device which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 1st example of the image taken by the left camera. It is a figure which shows the 1st example of the display image displayed on the display part which concerns on Embodiment 1.
  • FIG. It is a figure which shows the 2nd example of the image taken by the left camera. It is a figure which shows the 2nd example of the display image displayed on the display part which concerns on Embodiment 1.
  • FIG. 5 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the third embodiment. It is a flowchart of the display control device which concerns on Embodiment 3.
  • FIG. 5 is a block diagram of the display control device which concerns on Embodiment 4.
  • FIG. 5 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the fourth embodiment.
  • FIG. It is a flowchart of the display control device which concerns on Embodiment 4.
  • FIG. It is a figure which shows the 3rd example of the display image displayed on the display part which concerns on Embodiment 4.
  • FIG. It is a figure which shows the 4th example of the display image displayed on the display part which concerns on Embodiment 4.
  • FIG. It is a figure which shows the 4th example of the display image displayed on the display part which concerns on the 1st modification of Embodiment 4.
  • FIG. 5 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the fifth embodiment. It is a flowchart of the display control device which concerns on Embodiment 5. It is a block diagram of the display control device which concerns on Embodiment 6. It is a figure which shows the example of the display image displayed on the display part which concerns on Embodiment 6. It is a block diagram of the display control device which concerns on Embodiment 7. It is a flowchart of the display control device which concerns on Embodiment 7.
  • FIG. 1 is a block diagram of the display control device according to the first embodiment.
  • the display control device 10 shown in FIG. 1 is connected to the camera 91 and the display unit 92, respectively.
  • the display control device 10, the camera 91, and the display unit 92 are mounted on the vehicle.
  • the camera 91 is mounted at an arbitrary position of the vehicle, captures the scenery outside the vehicle, and generates shooting data which is the data of the shot image.
  • the camera 91 generates, for example, 30 frames per second (30 fps) of shooting data, and supplies the generated shooting data to the display control device 10 every 1 / 30th of a second.
  • the shooting data is, for example, H. 264 or H. It may be generated using a method such as 265.
  • the camera 91 may have a plurality of cameras.
  • the camera 91 in this embodiment includes a left camera 91A, a right camera 91B, and a rear camera 91C.
  • the left camera 91A, the right camera 91B, and the rear camera 91C are image pickup devices each having an objective lens, an image pickup element, an AD (Analog to Digital) conversion element, and the like.
  • the left camera 91A, the right camera 91B, and the rear camera 91C each generate shooting data, and supply the generated shooting data to the display control device 10.
  • the display unit 92 is a display unit installed so that information can be presented to the driver, and includes, for example, a display unit such as a liquid crystal panel or an organic EL (ElectroLuminescence) panel.
  • the display unit 92 is installed at a position such as a dashboard where the driver can visually recognize the display unit.
  • the display unit 92 receives the image data from the display control device 10 and displays the image related to the received image data on the display unit.
  • the display control device 10 has, for example, an arithmetic unit such as a CPU (Central Processing Unit) or an MCU (Micro Controller Unit). Further, the display control device 10 has at least a control board composed of a flash memory or a non-volatile or volatile memory such as a DRAM (Dynamic Random Access Memory), and other electric circuits in addition to the above arithmetic unit. ing.
  • the display control device 10 has a program incorporated in these arithmetic units and the like, and realizes the functions shown below by combining software or hardware.
  • the display control device 10 processes the image data related to the image captured by the camera 91, and outputs the processed predetermined image data to the display unit 92.
  • the display control device 10 mainly includes a shooting data acquisition unit 11, an operating state detection unit 12, an extracted image data generation unit 13, a display image data generation unit 14, and an output unit 15. These elements of the display control device 10 are communicably connected by a communication bus.
  • the shooting data acquisition unit 11 acquires the shooting data generated by the camera 91 shooting the scenery outside the vehicle.
  • the shooting data acquisition unit 11 supplies the acquired shooting data to the extracted image data generation unit 13 via the communication bus.
  • the operating state detection unit 12 detects the operating state of the vehicle and generates operating state information according to the operating state.
  • the "operating state of the vehicle” means a state of operation related to the movement of the vehicle. That is, in the present embodiment, the operating state of the vehicle is, for example, the moving direction of the vehicle or the moving speed of the vehicle.
  • the operating state detection unit 12 may analyze an image related to the photographing data acquired by the photographing data acquisition unit 11 and detect the operating state of the vehicle from the change in the position of the object included in the analyzed image.
  • the operation state detection unit 12 supplies the operation state information generated as described above to the extracted image data generation unit 13.
  • the operating state detection unit 12 may be connected to, for example, an acceleration sensor (not shown) and detect the operating state of the vehicle from the change in acceleration acquired from the acceleration sensor. Further, the operation state detection unit 12 is connected to a positioning information receiving unit (not shown) for receiving positioning information for positioning the position of the own vehicle from a satellite positioning system such as GNSS (Global Navigation Satellite System) to receive the positioning information. The operating state of the vehicle may be detected from the change in the position information acquired from the unit.
  • GNSS Global Navigation Satellite System
  • the extracted image data generation unit 13 receives the shooting data from the shooting data acquisition unit 11. Further, the extracted image data generation unit 13 receives the operation state information from the operation state detection unit 12, and determines the angle of view for generating the extracted image from the received operation state information. More specifically, the extracted image data generation unit 13 according to the present embodiment sets the angle of view according to the moving speed of the vehicle. For example, the extracted image data generation unit 13 sets the first angle of view at the first speed, which is slower than the first speed, to be narrower than the second angle of view at the second speed, which is slower than the first speed.
  • the extracted image data generation unit 13 extracts an image having an angle of view determined as described above from the captured data, and generates extracted image data related to the image (extracted image) of the extracted region. In this way, the extracted image data generation unit 13 generates an extracted image from the captured data at an angle of view set according to the operating state of the vehicle. The extracted image data generation unit 13 supplies the generated extracted image data to the display image data generation unit 14.
  • the display image data generation unit 14 receives the extracted image data from the extracted image data generation unit 13 and generates display image data using the received extracted image data.
  • the display image data is data to be output to the display unit 92, and is image data corresponding to the image size of the display unit included in the display unit 92.
  • the "image size of the display unit” means the image size of the area when the display image is displayed in a predetermined area in the display unit instead of the entire display unit. That is, the display image data generation unit 14 generates display image data obtained by converting the extracted image into a preset image size.
  • the process performed by the display image data generation unit 14 on the extracted image includes processes such as enlargement, reduction, decompression, compression, noise removal, and color tone correction.
  • the display image data generation unit 14 supplies the generated display image to the output unit 15.
  • the output unit 15 is an interface for communicably connecting the display control device 10 and the display unit 92.
  • the output unit 15 outputs a display image to a display unit 92 having a preset image size.
  • FIG. 2 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the first embodiment.
  • the vehicle 90 shown in FIG. 2 is an automobile, which is an embodiment as a moving body.
  • the vehicle 90 has three cameras, the left camera 91A, the right camera 91B, and the rear camera 91C described in FIG.
  • the left camera 91A is installed on the left side of the vehicle 90 and photographs the scenery on the left side of the vehicle 90.
  • the left camera 91A has a shooting angle of view A10 in the horizontal direction indicated by the alternate long and short dash line is 180 degrees. That is, the image taken by the left camera 91A includes a landscape with an angle of view of 180 degrees on the left side of the vehicle 90.
  • the right camera 91B is installed on the right side of the vehicle 90 and photographs the scenery on the right side of the vehicle 90.
  • the right camera 91B has a horizontal shooting angle of view B10 of 180 degrees.
  • the rear camera 91C is installed on the back surface of the vehicle 90 and photographs the scenery behind the vehicle 90.
  • the rear camera 91C has a horizontal shooting angle of view C10 of 180 degrees.
  • the horizontal angle of view or the horizontal angle of view may be simply referred to as "angle of view”.
  • the solid line extending radially from the left camera 91A to the left rear of the vehicle 90 indicates the angle of view A11 of the extracted image extracted from the image captured by the left camera 91A and the angle of view A12 wider than the angle of view A11.
  • the extracted image data generation unit 13 sets the first angle of view at the first speed of movement to the angle of view A11, and sets the second angle of view at the second speed slower than the first speed to the angle of view A12.
  • the solid line extending radially from the right camera 91B to the right rear of the vehicle 90 indicates the angle of view B11 of the extracted image extracted from the captured image of the right camera 91B.
  • the solid line extending radially from the rear camera 91C to the rear of the vehicle 90 indicates the angle of view C11 of the extracted image extracted from the captured image of the rear camera 91C.
  • FIG. 3 is a flowchart of the display control device 10 according to the first embodiment.
  • the flowchart shown in FIG. 3 shows the processing of the left camera 91A in the display control device 10 mounted on the vehicle 90 shown in FIG.
  • the flowchart shown in FIG. 3 is started, for example, by activating the main system of the vehicle 90.
  • the shooting data acquisition unit 11 of the display control device 10 acquires shooting data from the left camera 91A (step S10).
  • the operation state detection unit 12 of the display control device 10 determines whether or not the moving speed V of the vehicle 90 is equal to or greater than the threshold value Vth as the operation state of the vehicle 90 (step S11).
  • the display control device 10 proceeds to step S12.
  • the display control device 10 proceeds to step S13.
  • step S12 the extracted image data generation unit 13 of the display control device 10 sets the angle of view A of the extracted image to the angle of view A11 (step S12). Then, the display control device 10 proceeds to step S14.
  • step S13 the extracted image data generation unit 13 of the display control device 10 sets the angle of view A of the extracted image to the angle of view A12 (step S13). Then, the display control device 10 proceeds to step S14.
  • the threshold value Vth is a condition for the extracted image data generation unit 13 to set the angle of view. Further, the threshold value Vth may be arbitrarily changed by using a terminal device connected to the display control device 10 (not shown) depending on the weather conditions.
  • step S14 the extracted image data generation unit 13 of the display control device 10 generates the extracted image data according to the set angle of view (step S14). That is, when the moving speed V of the vehicle is equal to or higher than the threshold value Vth, the extracted image data generation unit 13 generates the extracted image data related to the extracted image at the angle of view A11. On the other hand, when the moving speed V of the vehicle is not equal to or higher than the threshold value Vth, the extracted image data generation unit 13 generates the extracted image data related to the extracted image having the angle of view A12 wider than the angle of view A11. When the extracted image data generation unit 13 generates the extracted image data, the extracted image data generation unit 13 supplies the generated extracted image data to the display image data generation unit 14.
  • the display image data generation unit 14 of the display control device 10 generates display image data from the extracted image data received from the extracted image data generation unit 13 (step S15), and outputs the generated display image data to the output unit 15. Supply. Specifically, when the threshold value is Vth or more, the image size of the display image data is generated as it is, and when the threshold value is not Vth or more, the image of the display image data is compressed and generated.
  • the output unit 15 of the display control device 10 outputs the display image data received from the display image data generation unit 14 to the display unit 92 (step S16).
  • step S17 determines whether or not to end a series of processes.
  • the case of terminating a series of processes is, for example, a case where the system is stopped or a case where the process is terminated by the operation of the driver. If it is not determined to end the series of processes (step S17: No), the display control device 10 returns to step S10 and continues the process. When it is determined to end the series of processing (step S17: Yes), the display control device 10 ends the processing.
  • the display control device 10 sets the angle of view of the extracted image according to the moving speed of the vehicle 90.
  • the above description shows the processing of the left camera 91A as an example, but of course, the above processing is also applied to the processing of the right camera 91B or the rear camera 91C.
  • FIG. 4 is a diagram showing a first example of an image taken by the left camera 91A.
  • the image P10 shown in FIG. 4 is a photograph of the landscape on the left side of the vehicle 90 by the left camera 91A.
  • the right side of the image P10 is the landscape on the left front of the vehicle 90
  • the left side of the image P10 is the landscape on the left rear of the vehicle 90.
  • a truck and a motorcycle are photographed on the right side of the image P10. That is, a truck and a two-wheeled vehicle exist in front of the left side of the vehicle 90.
  • another vehicle H1, another vehicle H2, and another vehicle H3 are photographed.
  • the image P10 is an image taken at a wide angle of view of 180 degrees, it has a predetermined distortion. Therefore, the image included in the image P10 is displayed in a distorted state.
  • the outer edge T11 of the extracted image is indicated by a thick alternate long and short dash line. That is, the extracted image is a region surrounded by the outer edge T11.
  • the outer edge T11 shows an extracted image relating to the above-mentioned angle of view A11.
  • the extracted image data generation unit 13 sets the angle of view A11 because the moving speed V of the vehicle 90 is Vth or more, and extracts the region indicated by the outer edge T11. do.
  • the area surrounded by the outer edge T11 includes another vehicle H1 and another vehicle H2. Therefore, the extracted image includes the other vehicle H1 and the other vehicle H2.
  • the outer edge T11 shown in FIG. 4 is distorted so as to correspond to the distortion aberration of the image P10.
  • the display image data generation unit 14 processes the extracted image so that the outer edge T11 becomes rectangular and has the image size of the display image described later.
  • FIG. 5 is a diagram showing a first example of a display image displayed on the display unit according to the first embodiment.
  • FIG. 5 shows the display image P100.
  • the display image P100 includes a left display image P11, a rear display image P12, and a right display image P13.
  • the left display image P11 is an image generated from the shooting data of the left camera 91A.
  • the rear display image P12 is an image generated from the shooting data of the rear camera 91C.
  • the right display image P13 is an image generated from the shooting data of the right camera 91B. That is, the display image P100 is obtained by appropriately extracting the shooting data generated by the left camera 91A, the right camera 91B, and the rear camera 91C by the extraction image data generation unit 13, and further processing the display image data generation unit 14 as a display image.
  • the left display image P11 is displayed in the area of the width W11 in the display image P100.
  • the rear display image P12 is displayed in the area of the width W12 in the display image P100.
  • the right display image P13 is displayed in the area of the width W13 in the display image P100.
  • the left display image P11 shown in FIG. 5 is generated from the extracted image data extracted by the outer edge T11 shown in FIG. Therefore, the left display image P11 includes another vehicle H1 and another vehicle H2.
  • the display image data generation unit 14 generates the left display image P11 as a substantially distortion-free image from the extracted image data having distortion. In this way, the display image data generation unit 14 generates images of the left display image P11, the rear display image P12, and the right display image P13 included in the display image P100 in a substantially distortion-free state from the respective captured data. To display.
  • FIG. 6 is a diagram showing a second example of an image taken by the left camera.
  • the image P10 shown in FIG. 6 is a photograph of the landscape on the left side of the vehicle 90 by the left camera 91A, similarly to the image shown in FIG.
  • the outer edge T12 of the extracted image is different from the outer edge T11 shown in FIG.
  • the outer edge T12 is indicated by a thick alternate long and short dash line.
  • the outer edge T12 shows an extracted image relating to the above-mentioned angle of view A12.
  • the extracted image data generation unit 13 sets the angle of view A12 because the moving speed V of the vehicle 90 is less than Vth, and extracts the region indicated by the outer edge T12. do.
  • the angle of view A12 is wider than the angle of view A11. Therefore, the region surrounded by the outer edge T12 includes the other vehicle H1 and the other vehicle H2 as well as the other vehicle H3. Therefore, the extracted image includes other vehicles H1 to H3.
  • the display image data generation unit 14 processes the extracted image so that the outer edge T12 becomes rectangular and has the image size of the display image described later.
  • FIG. 7 is a diagram showing a second example of a display image displayed on the display unit according to the first embodiment.
  • FIG. 7 shows the display image P101.
  • the display image P101 is different from the image P100 shown in FIG. 5 in that the left display image P14 is provided instead of the left display image P11.
  • the points different from the image P100 will be mainly described below.
  • the left display image P14 shown in FIG. 7 is generated from the extracted image data extracted by the outer edge T12 shown in FIG. Therefore, the left display image P14 includes the other vehicle H3 in addition to the other vehicle H1 and the other vehicle H2.
  • the width W11 on which the left display image P14 is displayed is the same width W11 as the left display image P11 shown in FIG. That is, the left display image P14 displays an image having an angle of view A12 wider than the angle of view A11 with the same width as the image having an angle of view A11. Therefore, when the left display image P11 and the left display image P14 are compared, the width of the left display image P14 is relatively compressed in the left-right direction.
  • the display control device 10 can display a wider range of images without enlarging the area of the display unit. Therefore, the display control device 10 can suitably provide driving support to the user.
  • the above description shows the shooting data of the left camera 91A as an example, the above configuration can also be applied to the right camera 91B and the rear camera 91C.
  • the display control device 10 in the present embodiment has the above-mentioned three types of cameras as the cameras 91, but the number of cameras may be one or more.
  • the camera 91 includes a fisheye lens, and the image of the captured data has distortion.
  • the image captured by the camera 91 is not limited to the above-mentioned one, and may have no distortion.
  • the relationship between the moving speed V of the vehicle and the angle of view A described above is an example, and if the configuration is such that the angle of view of the extracted image data is set according to the operating state of the vehicle, the moving speed V and the image
  • the relationship with the angle A is not limited to the above.
  • the display image data generation unit 14 may rotate the extracted image related to the extracted image data by 90 degrees with respect to the display unit and display it. For example, converting the extracted image as the left display image P14 into a display image without rotating it is called a first conversion. On the other hand, rotating the extracted image by 90 degrees as the left display image P14 and converting it into a display image is referred to as a second conversion. At this time, when the distortion of the image subjected to the first conversion is larger than the distortion of the image subjected to the second conversion, the display image data generation unit 14 converts the extracted image by the second conversion to generate the display image. It may be. With such a configuration, the display control device 10 can display an image having a suitable angle of view with less distortion.
  • the first embodiment has been described above.
  • the display control device 10 according to the first embodiment displays an image having a wider angle of view as compared with the case where the image is not compressed by compressing and displaying the image in the left-right direction. Therefore, according to the first embodiment, it is possible to provide a display control device or the like that preferably displays an image taken by the camera.
  • FIG. 8 is a block diagram of the display control device according to the second embodiment.
  • the display control device 20 shown in FIG. 8 has an index image data generation unit 16.
  • the index image data generation unit 16 acquires the distortion state of the display image generated by the display image data generation unit 14, and generates an index image according to the acquired distortion state.
  • the "index image data” is data of the "index image” indicating a distorted state of the display image included in the display image data.
  • the index image is configured so that it can be compared with, for example, an image when the display image data generation unit 14 generates an image without distortion.
  • the index image data generation unit 16 generates index image data including the index image for expressing the distortion of the display image. Then, the index image data generation unit 16 supplies the generated index image data to the display image data generation unit 14. Further, the display image data generation unit 14 generates display image data by superimposing the index image data received from the index image data generation unit 16.
  • FIG. 9 is a diagram showing an example of a display image according to the second embodiment.
  • the image P102 shown in FIG. 9 is obtained by superimposing an index image on the image P101 shown in FIG. 7.
  • the index image G14 is superimposed on the upper part of the left display image P14.
  • the index image G12 is superimposed on the upper part of the rear display image P12.
  • the index image G13 is superimposed on the upper part of the right display image P13. Since the index images G12 to G14 are arranged at the upper part of each image, the display control device 10 suppresses the index image from interfering with the display of other vehicles, roads, and the like.
  • the index image G12 and the index image G13 each have a circular shape. This means that the post-display image P12 on the index image G12 has no distortion, and the back-display image P13 on the index image G13 has no distortion.
  • the index image G14 has a vertically long ellipse shape that is relatively long in the vertical direction and relatively short in the horizontal direction. The vertical length of this great circle is the same as that of the index image G12 and the index image G13. That is, the index image G14 has a shape that is relatively compressed in the left-right direction as compared with the index image G12 and the index image G13. This indicates that the left display image P14 related to the index image G14 is relatively compressed in the left-right direction. With such a display, the user can intuitively understand how the display image related to the index image is distorted when the index image is visually recognized.
  • the index image has the same tendency as the distortion of the displayed image by multiplying the actual distortion by a preset coefficient, but the degree of distortion is different. It may be.
  • the display control device 20 can generate index image data so that the user can more intuitively understand the distortion state.
  • the index image is superimposed on the display image, but the index image may not be superimposed on the display image. For example, when the display image is smaller than the image size of the display unit and there is another display area, the index image may be displayed in the other display area.
  • the second embodiment has been described above.
  • the display control device 20 according to the second embodiment compresses and displays the left-right direction of the image, and displays an index image indicating that the displayed image is in a compressed and distorted state. Therefore, according to the second embodiment, it is possible to provide a display control device or the like that preferably displays an image taken by the camera.
  • FIG. 10 is a block diagram of the display control device according to the third embodiment.
  • ECU Electronic Control Unit
  • the vehicle information acquisition unit 17 is communicably connected to the ECU 93 of the vehicle 90 via the CAN, which is an in-vehicle communication bus, and acquires vehicle information from the ECU 93.
  • the vehicle information is information related to the driving state of the vehicle, for example, the accelerator opening degree, the steering angle of the steering wheel, the operating state of the direction indicator, the position of the shift lever, and the like. Further, the vehicle information may be a combination of the operating state and the moving speed of the vehicle 90.
  • the vehicle information acquisition unit 17 supplies the acquired vehicle information to the operation state detection unit 12.
  • the operating state detection unit 12 receives vehicle information from the vehicle information acquisition unit 17, and detects the operating state using the received vehicle information. For example, when the direction indicator indicating the left from the vehicle information acquisition unit 17 (hereinafter referred to as the left direction indicator) is in the ON state, the operation state detection unit 12 detects that the vehicle 90 moves to the left. Further, for example, when the left turn signal is on and the moving speed of the vehicle is a cruising speed such as 50 km / h, the operation state detection unit 12 determines that the vehicle 90 changes lanes to the left. To detect. Further, for example, when the left turn signal is on and the moving speed of the vehicle is about 10 km / h, the operation state detection unit 12 indicates that the vehicle 90 is likely to turn left to the left. To detect. The operation state detection unit 12 detects the operation state of the vehicle 90 as described above, and generates the operation state information from the detected operation state. Then, the operation state detection unit 12 supplies the generated operation state information to the extracted image data generation unit 13.
  • the left direction indicator indicating the
  • FIG. 11 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the third embodiment.
  • the top view of the vehicle 90 shown in FIG. 11 is different from FIG. 2 in that it further has an angle of view A13 of the left camera 91A.
  • the solid line extending radially from the left camera 91A to the left rear of the vehicle 90 is from the angle of view A11 of the extracted image extracted from the image captured by the left camera 91A, the angle of view A12 wider than the angle of view A11, and the angle of view A12. It shows a wide angle of view A13.
  • the extracted image data generation unit 13 sets the angle of view of the extracted image to the angle of view A11 when the vehicle 90 is traveling straight and the moving speed is the first speed.
  • the extracted image data generation unit 13 sets the angle of view of the extracted image to the angle of view A12 when the left turn signal of the vehicle 90 is on and the moving speed is the first speed.
  • the extracted image data generation unit 13 sets the angle of view of the extracted image to the angle of view A13 when the left turn signal of the vehicle 90 is on and the moving speed is the second speed slower than the first speed.
  • FIG. 12 is a flowchart of the display control device according to the third embodiment.
  • the processing between steps S10 and S14 is different from the flowchart shown in FIG.
  • the shooting data acquisition unit 11 of the display control device 10 acquires shooting data from the left camera 91A (step S10).
  • the operation state detection unit 12 of the display control device 10 determines whether or not the left turn signal of the vehicle 90 is on as the operation state of the vehicle 90 (step S21). If it is not determined that the left turn signal of the vehicle 90 is on (step S21: No), the display control device 10 proceeds to step S22. On the other hand, when it is determined that the left turn signal of the vehicle 90 is on (step S21: Yes), the display control device 10 proceeds to step S23.
  • step S22 the extracted image data generation unit 13 of the display control device 10 sets the angle of view A of the extracted image to the angle of view A11 (step S22). Then, the display control device 10 proceeds to step S14.
  • step S23 the operating state detection unit 12 determines whether or not the moving speed V of the vehicle 90 is equal to or greater than the threshold value Vth (step S23). When it is determined that the moving speed V of the vehicle 90 is equal to or higher than the threshold value Vth (step S23: Yes), the display control device 10 proceeds to step S24. On the other hand, when it is not determined that the moving speed V of the vehicle 90 is equal to or higher than the threshold value Vth (step S23: No), the display control device 10 proceeds to step S25.
  • step S24 the extracted image data generation unit 13 of the display control device 10 sets the angle of view A of the extracted image to the angle of view A12 (step S24). Then, the display control device 10 proceeds to step S14.
  • step S25 the extracted image data generation unit 13 of the display control device 10 sets the angle of view A of the extracted image to the angle of view A13 (step S25). Then, the display control device 10 proceeds to step S14.
  • steps S14 and subsequent steps are the same as the flowchart shown in FIG. 3, description thereof will be omitted here.
  • the display control device 30 sets the angle of view of the extracted image according to the state of the direction indicator of the vehicle 90 and the moving speed of the vehicle 90.
  • the above description shows the processing of the left camera 91A as an example, but of course, the above processing is also applied to the processing of the right camera 91B or the rear camera 91C. Further, the relationship between the angle of view set by the extracted image data generation unit 13 and the operating state is an example for explaining the present embodiment, and the display control device 30 may perform a process different from the above-described process. good.
  • the display control device 30 does not have to have the index image data generation unit 16 as in the first embodiment.
  • the operation state detection unit 12 may use the change in acceleration acquired from the acceleration sensor and the change in the position information of the own vehicle acquired from the satellite positioning system.
  • the third embodiment has been described above.
  • the display control device 30 according to the third embodiment can set the angle of view of the extracted image according to the driving state of the vehicle 90. Then, the display control device 30 according to the third embodiment compresses and displays the left-right direction of the image, and displays an index image indicating that the displayed image is in a compressed and distorted state. Therefore, according to the third embodiment, it is possible to provide a display control device or the like that preferably displays an image taken by the camera.
  • FIG. 13 is a block diagram of the display control device 40 according to the fourth embodiment.
  • the operating state of the vehicle includes a change in the moving direction of the vehicle
  • the operating state information includes the moving direction change information indicating the change in the moving direction of the vehicle.
  • the movement direction change information includes the predicted movement direction information indicating the movement direction (predicted movement direction) in which the vehicle is predicted to change.
  • the predicted movement direction may include the movement direction actually changed by the vehicle 90.
  • the operating state detecting unit 12 may detect the operating state by estimating the predicted moving direction of the vehicle based on the position information and the map information acquired from the positioning information receiving unit.
  • the operation state detection unit 12 according to the fourth embodiment supplies the generated operation state information to the extracted image data generation unit 13 and the size allocation unit 18.
  • the extracted image data generation unit 13 sets the angle of view according to the change in the moving direction of the vehicle. For example, the extracted image data generation unit 13 first sets the angle of view of the image (extracted image) of the region extracted from the shooting data related to the predicted moving direction in response to the detection of the change in the moving direction of the vehicle. Change the setting from the angle of view to the second angle of view, which is wider than the first angle of view.
  • the first angle of view is a preset initial angle of view. At this time, the extracted image data generation unit 13 may continue to set the angle of view of the extracted image extracted from the photographing data related to the direction different from the predicted moving direction to the first angle of view.
  • the extracted image data generation unit 13 extracts an image having a set angle of view for each of the captured data from the captured data, and generates the extracted image data related to the extracted image. In this way, the extracted image data generation unit 13 generates the extracted image data from the image related to the photographed data at the angle of view set according to the operating state for each of the photographed data. The extracted image data generation unit 13 supplies the generated extracted image data to the display image data generation unit 14.
  • the size allocating unit 18 allocates the image size of the display image corresponding to each of the plurality of extracted image data from the total image size of the display unit 92 according to the detection of the operating state.
  • the “total image size of the display unit 92" is the total image size of the display images that can be displayed on the display portion of the display unit 92.
  • the “total image size of the display unit 92” means the total image size of the area when the display image is displayed in a predetermined area in the display portion instead of the entire display portion of the display unit 92. ..
  • Each display image is assigned a corresponding image size.
  • Each display image may have a rectangular shape.
  • the image size of each display image may be represented by the product of the number of pixels in the width direction corresponding to the length in the width direction and the number of pixels in the height direction corresponding to the length in the height direction.
  • the size allocation unit 18 supplies information regarding the image size of the display image corresponding to each of the plurality of extracted image data to the display image data generation unit 14.
  • the display image data generation unit 14 receives a plurality of extracted image data from the extracted image data generation unit 13, and receives information on the image size corresponding to each of the plurality of extracted image data from the size allocation unit 18.
  • the display image data generation unit 14 generates display image data of a display image having an assigned image size for each of the plurality of extracted image data. That is, the display image data generation unit 14 generates display image data related to the display image obtained by converting the pixel values from the extracted image so as to have an image size corresponding to the extracted image.
  • the display image data generation unit 14 supplies the generated plurality of display image data to the output unit 15.
  • the output unit 15 outputs display image data corresponding to each of the plurality of extracted image data to the display unit 92.
  • FIG. 14 is a top view showing a shooting range of a camera in a vehicle equipped with the display control device according to the fourth embodiment.
  • the top view of the vehicle 90 shown in FIG. 14 is different from FIG. 2 in that it further has an angle of view B12 of the right camera 91B.
  • the solid line extending radially from the right camera 91B to the right rear of the vehicle 90 indicates the angle of view B11 of the extracted image extracted from the image captured by the right camera 91B and the angle of view B12 wider than the angle of view B11.
  • the angle of view B11 may have the same size as the angle of view A11
  • the angle of view B12 may have the same size as the angle of view A12.
  • the extracted image data generation unit 13 sets the angle of view to the angle of view B11, which is the first angle of view, when the vehicle continues to move straight in the traveling direction, and the change in the moving direction to the right is detected.
  • the angle of view is changed to the second angle of view B12 accordingly.
  • the extracted image data generation unit 13 sets the angle of view to the angle of view A11 which is the first angle of view, and detects a change in the moving direction to the left.
  • the setting of the angle of view is changed to the angle of view A12, which is the second angle of view.
  • the extracted image data generation unit 13 generates the extracted image data of the extracted image related to the set angle of view from each of the photographed images of the landscapes on the different directions.
  • these extracted image data are the first extracted image data of the extracted image related to the landscape on the first direction (here, left) side with respect to the vehicle 90, and the second direction (here, right here) with respect to the vehicle 90.
  • the extracted image data generation unit 13 sets and changes the angle of view of the extracted image related to the landscape on the predicted moving direction side in response to the detection of the change in the moving direction, and the extracted image of the extracted image. Generate data.
  • FIG. 15 is a flowchart of the display control device 40 according to the fourth embodiment.
  • the flowchart shown in FIG. 15 shows a case where the display control device 40 displays display images related to the landscapes on the left and right sides of the vehicle 90 shown in FIG. 14 on the display unit 92 (that is, in the case of two-screen display).
  • An example of processing is shown. It is assumed that the angle of view of the extracted image is set at the first angle of view at the initial stage.
  • step S30 the shooting data acquisition unit 11 of the display control device 40 acquires shooting data from each of the left camera 91A and the right camera 91B.
  • the shooting data acquired from the left camera 91A is the shooting data related to the landscape on the left side of the vehicle 90
  • the shooting data acquired from the right camera 91B is the shooting data related to the scenery on the right side of the vehicle 90.
  • step S31 the operation state detection unit 12 of the display control device 40 determines whether or not a change in the moving direction of the vehicle 90 has been detected as the operation state of the vehicle 90.
  • the operation state detection unit 12 determines that the change in the movement direction has been detected (step S31: Yes)
  • the operation state detection unit 12 generates the movement direction change information including the predicted movement direction information.
  • the operation state detection unit 12 supplies the movement direction change information to the extraction image data generation unit 13 and the size allocation unit 18, and proceeds to the process in step S32.
  • step S31: No the process proceeds to step S34.
  • step S32 the extracted image data generation unit 13 first sets the angle of view of the extracted image extracted from the shooting data related to the landscape on the predicted moving direction side based on the predicted moving direction information included in the moving direction change information. Change the setting from the angle of view to the second angle of view.
  • the extracted image data generation unit 13 also continuously sets the angle of view of the extracted image extracted from the photographing data related to the direction different from the predicted moving direction to the first angle of view. Then, the extracted image data generation unit 13 advances the processing to S34.
  • step S34 the extracted image data generation unit 13 generates the extracted image data from the photographed data by using the angle of view set for the extracted image according to the type of the photographed data. That is, when a change in the moving direction is detected and the predicted moving direction is the first direction, the extracted image data generation unit 13 extracts the image taken from the left camera 91A over the angle of view A12 wider than the angle of view A11. The first extracted image data of the image is generated. Further, in this case, the extracted image data generation unit 13 generates the second extracted image data of the extracted image related to the angle of view B11 from the captured data from the right camera 91B.
  • the extracted image data generation unit 13 obtains the first extracted image data of the extracted image related to the angle of view A11 from the captured data from the left camera 91A. Generate. Further, in this case, the extracted image data generation unit 13 generates the second extracted image data of the extracted image related to the angle of view B11 from the captured data from the right camera 91B.
  • step S35 the extracted image data generation unit 13 determines whether or not all the extracted image data has been generated.
  • the extracted image data generation unit 13 determines whether or not two extracted image data have been generated.
  • step S36 the process proceeds to step S36.
  • step S34 the extracted image data generation unit 13 returns the process to step S34 if this is not the case (step S35: No). Then, the extracted image data generation unit 13 supplies all the generated extracted image data to the display image data generation unit 14.
  • the size allocation unit 18 has, for each of the plurality of extracted image data, the display image corresponding to each extracted image according to the predicted moving direction of the predicted moving direction information included in the moving direction change information. Assign an image size. At this time, the size allocation unit 18 changes the number of pixels included in the display image corresponding to the first extracted image data to the display image corresponding to the second extracted image data according to the predicted moving direction being the first direction. The image size is assigned so that it is larger than the number of pixels included. In the fourth embodiment, the size allocation unit 18 is the length in the primary direction, which is the width in the horizontal direction of the first display image corresponding to the first extracted image data, depending on the predicted movement direction being the first direction.
  • the image size is assigned so that the length of the second display image corresponding to the second extracted image data is larger than the length in the primary direction.
  • the first and second display images are display images corresponding to the extracted images of the first and second extracted image data, respectively.
  • the primary direction is the width direction or the height direction, and in the fourth embodiment, it is the width direction. Further, in the fourth embodiment, the length in the primary direction is the length of the width which is one side in the width direction, and corresponds to the number of pixels in the width.
  • the size allocation unit 18 supplies information regarding the image size of the display image corresponding to each of the plurality of extracted image data to the display image data generation unit 14.
  • step S37 the display image data generation unit 14 generates display image data of a display image having a corresponding image size for each of the plurality of extracted image data. Specifically, the display image data generation unit 14 generates the first display image data of the first display image without performing pixel conversion processing on the extracted image related to the first extracted image data. On the other hand, the display image data generation unit 14 compresses the extracted image related to the second extracted image data to generate the second display image data of the second display image. Then, the display image data generation unit 14 supplies the generated plurality of display image data to the output unit 15.
  • step S38 the output unit 15 of the display control device 40 outputs each of the plurality of display image data received from the display image data generation unit 14 to the display unit 92.
  • step S39 the display control device 40 determines whether or not to end a series of processes.
  • the display control device 40 does not determine that the series of processing is completed (step S39: No)
  • the display control device 40 returns the processing to step S30.
  • the display control device 40 determines that the series of processes is to be completed (step S39: Yes)
  • the display control device 40 ends the processes.
  • the display control device 40 sets the angle of view of the extracted image according to the change in the moving direction of the vehicle 90.
  • the case where the predicted movement direction is the first direction is shown as an example, but of course, the above processing is also applied to the case where the predicted movement direction is the second direction.
  • the case where the vehicle 90 continues to move straight in the traveling direction that is, the case where the change in the moving direction is not detected is referred to as a third example.
  • the left camera 91A captures an image similar to the image shown in FIG. Since the change in the moving direction was not detected, the extracted image data generation unit 13 sets the angle of view to the angle of view A11 and extracts the area indicated by the outer edge T11 to extract the first image from the captured data shown in FIG. Generate image data.
  • the extracted image data generation unit 13 generates the second extracted image data of the extracted image related to the angle of view B11.
  • the size allocation unit 18 allocates the image size of the display image described later for each of the first and second extracted image data. Then, the display image data generation unit 14 converts the extracted image so that the outer edge becomes rectangular and the image size of the assigned display image is obtained.
  • FIG. 16 is a diagram showing a third example of a display image displayed on the display unit 92 according to the fourth embodiment.
  • FIG. 16 shows the display image P200.
  • the display image P200 includes a left display image (first display image of this example) P21 and a right display image (second display image of this example) P23.
  • the left display image P21 is the same image as the left display image P11 in FIG.
  • the right display image P23 is the same image as the right display image P13 of FIG.
  • the display image P200 has a width W. Then, the left display image P21 is displayed in the area of the width W21 in the display image P200. Further, the right display image P23 is displayed in the area of the width W23 in the display image P200. As shown in this figure, the total length of the width W21 and the width W23 is equal to the length of the width W. The width W21 and the width W23 may have equal lengths to each other. As shown in this figure, the lengths of the width W21 and the width W23 are displayed on the left and right as images that are substantially free of distortion from the first and second extracted image data of the extracted images having distortion, respectively. It may be predetermined so that the image P23 is generated.
  • the size allocation unit 18 corresponds to the first image size corresponding to the length of the width W21 with respect to the first extracted image data and the length of the width W23 with respect to the second extracted image data. Allocate a second image size. Then, the display image data generation unit 14 generates the left display image P21 and the right display image P23 in a state where there is substantially no distortion based on the image size.
  • the left camera 91A captures an image similar to the image shown in FIG.
  • the extracted image data generation unit 13 sets the angle of view to the angle of view A12 because the predicted moving direction is the left direction, and the area indicated by the outer edge T12. Is extracted.
  • the extracted image data generation unit 13 generates the second extracted image data of the extracted image pertaining to the angle of view B11, as in the third example.
  • the size allocation unit 18 allocates the image size of the display image described later for each of the first and second extracted image data. Then, the display image data generation unit 14 converts the extracted image so that the outer edge becomes rectangular and the image size of the assigned display image is obtained.
  • FIG. 17 is a diagram showing a fourth example of a display image displayed on the display unit 92 according to the fourth embodiment.
  • FIG. 17 shows the display image P201.
  • the display image P201 is different from the image P200 shown in FIG. 16 in that it has the left display image P24 and the right display image P26 in place of the left display image P21 and the right display image P23.
  • the points different from the image P200 will be mainly described below.
  • the left display image P24 shown in FIG. 17 is generated from the first extracted image data extracted by the outer edge T12 shown in FIG. Therefore, the left display image P24 includes the other vehicle H3 in addition to the other vehicle H1 and the other vehicle H2.
  • the width W24 of the area where the left display image P24 is displayed is longer than the width W21 of the left display image P21 shown in FIG. That is, in the size allocation unit 18, the left display image P24 is substantially relative to the left display image P24 of the first extracted image data of the extracted image which is related to the predicted movement direction and has a wider angle of view than the third example.
  • the length of the width W24 is determined so that the image is not distorted.
  • the right display image P26 is generated from the extracted image extracted by the outer edge over the angle of view B11 similar to the third example.
  • the right display image P26 includes another vehicle H4 as in the third example.
  • the width W26 of the area where the right display image P26 is displayed is shorter than the width W24 of the area where the left display image P24 is displayed.
  • the total length of the width W24 and the width W26 is equal to the total length of the width W21 and the width W23 shown in FIG. 16, that is, the length of the width W.
  • the size allocation unit 18 subtracts the length of the width W24 corresponding to the left display image P24 from the length of the width W with respect to the right display image P26 of the second extracted image data related to the direction different from the predicted movement direction. Is assigned as the length of the width W26.
  • the size allocation unit 18 determines the image size of the display image related to the predicted moving direction, and sets the image size of the displayed image related to the direction different from the predicted moving direction between the total image size and the determined image size. Allocate based on the difference between.
  • the width W26 of the area where the right display image P26 is displayed is shorter than the width W23 of the right display image P23 shown in FIG. Therefore, when the right display image P23 and the right display image P26 are compared, the width direction of the right display image P26 is relatively compressed.
  • the display control device 40 according to the fourth embodiment generates a plurality of extracted image data with the angle of view set according to the operating state. This makes it easy to display information in a wide range of places that the user wants to confirm without enlarging the area of the display portion. Further, the display control device 40 allocates an image size to each of the plurality of extracted image data based on the operating state. Therefore, without enlarging the area of the display portion, the information of the more important place is displayed relatively large according to the operating state, and the information of the place that the user wants to confirm can be confirmed more easily. As described above, the display control device 40 according to the fourth embodiment can preferably support the driving of the user by appropriately displaying the image captured by the camera.
  • the display control device 40 sets the angle of view of the extracted image related to the direction different from the predicted moving direction to the first angle of view, and displays the display image of the extracted image related to the first angle of view. It was displayed on 92. However, instead of this, the display control device 40 sets the angle of view of the extracted image related to the direction different from the predicted moving direction to the image of the extracted image related to the predicted moving direction in response to the detection of the change in the moving direction. As with the corner, the setting may be changed to the second angle of view.
  • step S32 shown in FIG. 15 the extracted image data generation unit 13 sets the angle of view of the extracted image to the second angle of view regardless of the predicted moving direction.
  • step S34 shown in FIG. 15 when the change in the moving direction is detected, the extracted image data generation unit 13 generates the first extracted image data of the extracted image related to the angle of view A12. Further, in this case, the extracted image data generation unit 13 generates the second extracted image data of the extracted image applied to the angle of view B12.
  • the extracted image data generation unit 13 when the change in the moving direction is not detected, the extracted image data generation unit 13 generates the first extracted image data of the extracted image related to the angle of view A11. Further, in this case, the extracted image data generation unit 13 generates the second extracted image data of the extracted image related to the angle of view B11.
  • FIG. 18 is a diagram showing a fourth example of a display image displayed on the display unit 92 according to the first modification of the fourth embodiment.
  • FIG. 18 shows the display image P202.
  • the display image P202 differs from the image P201 shown in FIG. 17 in that it has a right display image P28 instead of the right display image P26.
  • the points different from the image P201 will be mainly described below.
  • the width W28 of the area where the right display image P28 is displayed is shorter than the width W24 of the area where the left display image P24 is displayed.
  • the total length of the width W24 and the width W28 is equal to the total length of the width W24 and the width W26 shown in FIG. 17, that is, the length of the width W. That is, as in the case of the right display image P26, the size allocation unit 18 refers to the left display image P24 from the length of the width W with respect to the right display image P28 of the second extracted image data related to the direction different from the predicted movement direction.
  • the length obtained by subtracting the length of the width W24 corresponding to is assigned as the length of the width W28.
  • the length of the width W28 of the area where the right display image P28 is displayed is equal to the length of the width W26 of the right display image P26 shown in FIG.
  • the right display image P28 is generated from an extracted image extracted by the outer edge of the angle of view B12 wider than the angle of view B11, and the right display image P28 includes the other vehicle H4 included in the right display image P26 in addition to the other vehicle H4.
  • Other vehicle H5 is included. Therefore, when the right display image P26 and the right display image P28 are compared, the right display image P28 is relatively compressed in the width direction.
  • the display control device 40 displays the display image related to the landscape on the rear side in addition to the display image related to the landscape on the left side and the right side of the vehicle 90 shown in FIG. It may be displayed in the section. That is, the second modification is an example in the case of three-screen display.
  • the extracted image data generated by the extracted image data generation unit 13 is, in addition to the first and second extracted image data, a third extraction related to the landscape on the third direction (here, behind) side with respect to the vehicle. It has more image data.
  • step S30 the shooting data acquisition unit 11 of the display control device 40 acquires shooting data from each of the left camera 91A, the right camera 91B, and the rear camera 91C.
  • the extracted image data generation unit 13 sets the angle of view of the extracted image related to the landscape on the predicted moving direction side from the first angle of view to the second angle of view based on the predicted moving direction information. Change the setting to. Further, the extracted image data generation unit 13 continues to set the angle of view of the extracted image related to the direction opposite to the predicted moving direction to the first angle of view. Further, the extracted image data generation unit 13 continues to set the angle of view of the extracted image related to the rear side to C11. Then, the extracted image data generation unit 13 advances the processing to S34.
  • the extracted image data generation unit 13 generates the third extracted image data of the extracted image related to the set angle of view C11.
  • step S35 the extracted image data generation unit 13 determines whether or not three extracted image data have been generated.
  • the process proceeds to step S36.
  • the extracted image data generation unit 13 returns the process to step S34 if this is not the case. Then, the extracted image data generation unit 13 supplies the three generated extracted image data to the display image data generation unit 14.
  • the number of pixels included in the display image corresponding to the first extracted image data is the number of pixels included in the second extracted image data and the second extracted image data, depending on the predicted movement direction being the first direction.
  • the image size is assigned so as to be larger than the number of pixels included in the display image corresponding to any of the third extracted image data.
  • FIG. 19 is a diagram showing an example of a display image displayed on the display unit 92 according to the second modification of the fourth embodiment.
  • FIG. 19A corresponds to the third example in which the change in the moving direction was not detected
  • FIGS. 19B and C correspond to the fourth example in which the change in the moving direction was detected.
  • the parts corresponding to FIGS. 16 and 17 are designated by the same reference numerals and the description thereof will be omitted.
  • Display images P203 to 205 are shown in FIGS. 19A to 19C.
  • the lengths of the displayed images P203 to 205 in the width direction are all W'.
  • the display image P203 includes a rear display image (third display image of this example) P22 in addition to the left display image P21 and the right display image P23.
  • the rear display image P22 is displayed in the area of the display image P203 where the length in the width direction is W22.
  • the total size of W21, W22 and W23 is W'.
  • W21, W22 and W23 may have the same size as each other.
  • the size allocation unit 18 sets the length of the width W21 with respect to the first extracted image data, the length of the width W23 with respect to the second extracted image data, and the length of the width W23 with respect to the third extracted image data. Allocate the length of width W22. Then, the display image data generation unit 14 generates the left display image P21, the right display image P23, and the rear display image P22 in a substantially distortion-free state based on the image size corresponding to the length.
  • the display image P204 includes a rear display image P22 having a width W22 similar to that of FIG. 19A, in addition to the left display image P24 and the right display image P26.
  • the size allocation unit 18 has a length W26 of the right display image P26 related to the direction opposite to the predicted movement direction so that the width direction of the right display image is relatively compressed as compared with the third example. (Length of width W26 ⁇ length of width W23).
  • the size allocating unit 18 allocates the length of the width W22 for the rear display image P22 related to the other rear side as in the third example. In this way, the size allocation unit 18 may allocate the corresponding length in the width direction according to the type of the extracted image data.
  • the user of the vehicle 90 can also confirm the situation on the rear side of the vehicle 90 while obtaining the same effect as that of the fourth embodiment.
  • the size allocation unit 18 has a width direction length different from the width direction length in the third example with respect to the rear display image according to the moving speed of the other vehicle H6 behind the vehicle 90. May be assigned. For example, in the fourth example, when the moving speed of the other vehicle H6 behind the vehicle 90 is less than a predetermined threshold value, the size allocation unit 18 has a smaller length in the width direction of the rear display image than in the third example. The length in the width direction may be assigned so as to be.
  • the display image P205 includes a right display image P29 having a width W29 and a rear display image P28 having a width W28 in place of the right display image P23 and the rear display image P22 of FIG. 19A.
  • the width W28 of the rear display image P28 is shorter than the width W22 of the rear display image P22.
  • the width W29 of the right display image P29 becomes longer than the width W26 of the right display image P26 shown in FIG. 19B.
  • the compression ratio of the right display image P29 in the width direction with respect to the right display image P23 is smaller than that of the right display image P26. That is, the right display image P29 has less image distortion than the right display image P26. Therefore, the user of the vehicle can easily confirm the situation on the opposite side of the predicted movement direction of the vehicle while obtaining the same effect as that of the fourth embodiment.
  • the size of the angle of view of the extracted image is set based on the moving speed of the vehicle 90 in addition to the predicted moving direction, and the image size of the displayed image is assigned based on the size of the angle of view. It has characteristics.
  • the display control device 50 of the fifth embodiment has basically the same configuration and function as the display control device 40 of the fourth embodiment. Hereinafter, the differences from the fourth embodiment will be mainly described.
  • the operating state of the vehicle includes the moving speed of the vehicle in addition to the change of the moving direction of the vehicle.
  • the extracted image data generation unit 13 according to the fifth embodiment sets the angle of view according to the moving speed of the vehicle in addition to changing the moving direction of the vehicle.
  • the extracted image data generation unit 13 generates the extracted image data of the extracted image applied to the angle of view set based on the predicted moving direction and the moving speed.
  • the size allocation unit 18 allocates the image size of the display image corresponding to each of the plurality of extracted image data generated as described above.
  • FIG. 20 is a top view showing a shooting range of the camera 91 in the vehicle 90 equipped with the display control device 50 according to the fifth embodiment.
  • the top view of the vehicle 90 shown in FIG. 20 is different from FIG. 14 in that the left camera 91A has an angle of view A13 and the right camera 91B has an angle of view B13.
  • the solid line extending radially from the left camera 91A to the left rear of the vehicle 90 is from the angle of view A11 of the extracted image extracted from the image captured by the left camera 91A, the angle of view A12 wider than the angle of view A11, and the angle of view A12. It shows a wide angle of view A13.
  • the solid line extending radially from the right camera 91B to the right rear of the vehicle 90 is from the angle of view B11 of the extracted image extracted from the image captured by the right camera 91B, the angle of view B12 wider than the angle of view B11, and the angle of view B12. It shows a wide angle of view B13.
  • the extracted image data generation unit 13 sets the angle of view of the extracted image to the angle of view A11.
  • the extracted image data generation unit 13 determines the angle of view of the extracted image when the change in the moving direction of the vehicle 90 is detected, the predicted moving direction is the first direction, and the moving speed is the first speed. Set to angle A12.
  • the extracted image data generation unit 13 detects a change in the moving direction of the vehicle 90, and when the predicted moving direction is the first direction and the moving speed is the second speed slower than the first speed, the image applied to the extracted image.
  • the angle is set to the angle of view A13.
  • the angle of view A11 is read as the angle of view B11
  • the angle of view A12 is read as the angle of view B12
  • the angle of view A13 is read as the angle of view B13.
  • FIG. 21 is a flowchart of the display control device 50 according to the fifth embodiment.
  • the step shown in FIG. 21 has steps S40 to 46 instead of steps S32 to 36 shown in FIG.
  • the same steps as those shown in FIG. 15 are designated by the same symbols and the description thereof will be omitted as appropriate.
  • step S40 the operating state detection unit 12 detects the change in the moving direction of the vehicle 90 and acquires the moving speed information regarding the moving speed of the vehicle in response to the acquisition of the predicted moving direction information (step S31: Yes). do.
  • the operation state detection unit 12 supplies the predicted moving direction information and the moving speed information to the extracted image data generation unit 13.
  • step S42 the extracted image data generation unit 13 sets the size of each angle of view of the plurality of extracted images of different types based on the predicted moving direction information and the moving speed information.
  • the extracted image data generation unit 13 generates the extracted image data corresponding to each of the plurality of extracted images by using the angle of view set for each of the plurality of extracted images.
  • the extracted image data generation unit 13 sets the first extracted image data of the extracted image on the angle of view A12 and the angle of view B11.
  • the second extracted image data of the extracted image is generated.
  • the extracted image data generation unit 13 covers the first extracted image data of the extracted image at the angle of view A13 and the angle of view B11. The second extracted image data of the extracted image is generated.
  • the extracted image data generation unit 13 determines the first extracted image data of the extracted image related to the angle of view A11 and the extracted image related to the angle of view B11. The second extracted image data is generated. Then, the extracted image data generation unit 13 supplies the generated plurality of extracted image data to the display image data generation unit 14. Step S45 is the same as step S35.
  • step S46 the size allocation unit 18 allocates the image size of the display image to each of the plurality of extracted image data according to the size of the set angle of view.
  • the size allocating unit 18 allocates the first image size of the first display image based on the size of the angle of view corresponding to the first extracted image data related to the predicted moving direction, and assigns the total image size and the first image.
  • the second image size of the second display image may be assigned based on the difference from the size. That is, the size allocation unit 18 may determine the image size of the display image corresponding to the second extracted image data based on the size of the angle of view corresponding to the first extracted image data.
  • the size allocation unit 18 supplies information on the image size of the display image corresponding to each of the plurality of extracted image data to the display image data generation unit 14, and proceeds to the process in step S37.
  • the display control device 50 allocates an image size to each of the plurality of extracted image data based on the size of the angle of view set based on the predicted moving direction and the moving speed. A display image of the image size is displayed. Therefore, when the vehicle 90 approaches the change point of the movement direction and slows down the movement speed, it is easier to confirm a wider range of information of the place where the user of the vehicle 90 wants to confirm without expanding the area of the display portion. can do. Therefore, the display control device 50 according to the fifth embodiment can more preferably support the driving of the user by appropriately displaying the image captured by the camera.
  • FIG. 22 is a block diagram of the display control device according to the sixth embodiment.
  • the display control device 60 according to the sixth embodiment has an index image data generation unit 16 in addition to the configuration of the display control device 50.
  • FIG. 23 is a diagram showing an example of a display image displayed on the display unit 92 according to the sixth embodiment.
  • the image P206 shown in FIG. 23 is obtained by superimposing an index image on the image P201 shown in FIG.
  • the index image G24 is superimposed on the upper part of the left display image P24.
  • the index image G26 is superimposed on the upper part of the right display image P26.
  • the index image G26 has a shape in which the width direction is relatively compressed as compared with the index image G24. This indicates that the right display image P26 related to the index image G26 is relatively compressed in the width direction. With such a display, the user can intuitively understand how the display image related to the index image is distorted when the index image is visually recognized.
  • the embodiment 6 has been described above.
  • the display control device 60 according to the sixth embodiment compresses and displays the width direction of the image, and also displays an index image indicating that the displayed image is in a compressed and distorted state. Therefore, according to the sixth embodiment, it is possible to provide a display control device or the like that preferably displays an image taken by the camera.
  • FIG. 24 is a block diagram of the display control device according to the seventh embodiment.
  • the display control device 70 according to the seventh embodiment has a vehicle information acquisition unit 17 in addition to the configuration of the display control device 60.
  • FIG. 25 is a flowchart of the display control device 70 according to the seventh embodiment.
  • the step shown in FIG. 25 has a step S60 and a step S62 instead of the step S31 shown in FIG.
  • the same steps as those shown in FIG. 21 are designated by the same symbols and the description thereof will be omitted as appropriate.
  • step S60 the operation state detection unit 12 of the display control device 40 determines whether or not the direction indicator of the vehicle 90 is on as the operation state of the vehicle 90.
  • step S60: Yes the operation state detection unit 12 generates the predicted movement direction information.
  • the operation state detection unit 12 supplies the predicted movement direction information to the extraction image data generation unit 13 and the size allocation unit 18, and proceeds to the process in step S40.
  • step S60: No the process proceeds to step S44.
  • step S62 the index image data generation unit 16 generates index image data for each of the plurality of display images. Then, the index image data generation unit 16 supplies the index image data to the output unit 15. In step S38, the output unit 15 outputs each of the plurality of display image data and the corresponding index image data to the display unit 92.
  • the embodiment 7 has been described above.
  • the display control device 70 according to the seventh embodiment can set the angle of view of the extracted image according to the driving state of the vehicle 90. Then, the display control device 70 according to the seventh embodiment compresses and displays the width direction of the image, and displays an index image indicating that the displayed image is in a compressed and distorted state. Therefore, according to the seventh embodiment, it is possible to provide a display control device or the like that preferably displays an image taken by the camera.
  • Non-transient computer-readable media include various types of tangible recording media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory) CD-Rs, CDs. -R / W, including semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the display control device can be used, for example, for the driver to recognize the surrounding environment when the vehicle is traveling.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示制御装置(10)は、撮影データ取得部(11)、動作状態検出部(12)、抽出画像データ生成部(13)、表示画像データ生成部(14)および出力部(15)を有している。撮影データ取得部(11)は、カメラが車両の外部の風景を撮影して生成した撮影データを取得する。動作状態検出部(12)は、車両の動作状態を検出する。抽出画像データ生成部(13)は、動作状態に応じて設定した画角により撮影データから抽出画像を生成する。表示画像データ生成部(14)は、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力部(15)は、上記画像サイズを有する表示部に表示画像を出力する。

Description

表示制御装置、表示制御方法およびプログラム
 本発明は表示制御装置、表示制御方法およびプログラムに関する。
 車両の外部の風景を車載カメラにより撮影し、撮影した画像を車内のモニタに表示するシステムが普及している。また車載カメラにより撮影した画像を運転の支援に繋げるための提案が行われている。
 例えば、特許文献1に記載のシステムは、車体の後方および側方域の画像をモニタ画面の2つの部分に異なる圧縮率で表示させるとともに、その圧縮率を車両情報に応じて変化させる。
特開2016-048839号公報
 上記システムにより表示される画像は画像自体の情報量が増えた訳ではない。一方、車両の動作状態に応じて所望の領域にかかる画像の情報量を増やしたいという要求がある。しかしながら、表示領域を拡大することはできない。
 本実施の形態は、このような課題を解決するためになされたものであって、カメラが撮影した画像を好適に表示する表示制御装置等を提供するものである。
 本実施の形態にかかる表示制御装置は、撮影データ取得部、動作状態検出部、抽出画像データ生成部、表示画像データ生成部および出力部を有している。撮影データ取得部は、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出部は、車両の動作状態を検出する。抽出画像データ生成部は、動作状態に応じて設定した画角により撮影データにかかる画像から抽出画像を生成する。表示画像データ生成部は、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力部は、画像サイズを有する表示部に表示画像データを出力する。
 本実施の形態にかかる表示制御方法は、撮影データ取得ステップ、動作状態検出ステップ、抽出画像データ生成ステップ、表示画像データ生成ステップおよび出力ステップを有している。撮影データ取得ステップは、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定した画角により撮影データにかかる画像から抽出画像を生成する。表示画像データ生成ステップは、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力ステップは、画像サイズを有する表示部に表示画像データを出力する。
 本実施の形態にかかるプログラムは、コンピュータに表示制御方法を実行させるものであって、上記表示制御方法は、撮影データ取得ステップ、動作状態検出ステップ、抽出画像データ生成ステップ、表示画像データ生成ステップおよび出力ステップを有している。撮影データ取得ステップは、カメラが車両の外部の風景を撮影した撮影データを取得する。動作状態検出ステップは、車両の動作状態を検出する。抽出画像データ生成ステップは、動作状態に応じて設定した画角により撮影データにかかる画像から抽出画像を生成する。表示画像データ生成ステップは、抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する。出力ステップは、画像サイズを有する表示部に表示画像データを出力する。
 本実施の形態によれば、カメラが撮影した画像を好適に表示させる表示制御装置等を提供することができる。
実施の形態1にかかる表示制御装置のブロック図である。 実施の形態1にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態1にかかる表示制御装置のフローチャートである。 左カメラが撮影した画像の第1の例を示す図である。 実施の形態1にかかる表示部に表示される表示画像の第1の例を示す図である。 左カメラが撮影した画像の第2の例を示す図である。 実施の形態1にかかる表示部に表示される表示画像の第2の例を示す図である。 実施の形態2にかかる表示制御装置のブロック図である。 実施の形態2にかかる表示画像の例を示す図である。 実施の形態3にかかる表示制御装置のブロック図である。 実施の形態3にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態3にかかる表示制御装置のフローチャートである。 実施の形態4にかかる表示制御装置のブロック図である。 実施の形態4にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態4にかかる表示制御装置のフローチャートである。 実施の形態4にかかる表示部に表示される表示画像の第3の例を示す図である。 実施の形態4にかかる表示部に表示される表示画像の第4の例を示す図である。 実施の形態4の第1変形例にかかる表示部に表示される表示画像の第4の例を示す図である。 実施の形態4の第2変形例にかかる表示部に表示される表示画像の例を示す図である。 実施の形態4の第2変形例にかかる表示部に表示される表示画像の例を示す図である。 実施の形態4の第2変形例にかかる表示部に表示される表示画像の例を示す図である。 実施の形態5にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。 実施の形態5にかかる表示制御装置のフローチャートである。 実施の形態6にかかる表示制御装置のブロック図である。 実施の形態6にかかる表示部に表示される表示画像の例を示す図である。 実施の形態7にかかる表示制御装置のブロック図である。 実施の形態7にかかる表示制御装置のフローチャートである。
 以下、発明の実施の形態を通じて本発明を説明するが、請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
 <実施の形態1>
 図1を参照して実施の形態1にかかる表示制御装置の構成について説明する。図1は、実施の形態1にかかる表示制御装置のブロック図である。図1に示す表示制御装置10は、カメラ91と表示部92とにそれぞれ接続している。表示制御装置10、カメラ91および表示部92は、車両に搭載されている。
 カメラ91は、車両の任意の位置に搭載され、車両の外部の風景を撮影して、撮影した画像のデータである撮影データを生成する。カメラ91は、例えば毎秒30フレーム(30fps)の撮影データを生成し、生成した撮影データを30分の1秒ごとに表示制御装置10に供給する。撮影データは、例えば、H.264もしくはH.265等の方式を用いて生成されてもよい。
 カメラ91は、複数のカメラを有してもよい。本実施の形態におけるカメラ91は、左カメラ91A、右カメラ91Bおよび後カメラ91Cを含む。左カメラ91A、右カメラ91Bおよび後カメラ91Cは、それぞれが対物レンズ、撮像素子およびA-D(Analog to Digital)変換素子等を有する撮像装置である。左カメラ91A、右カメラ91Bおよび後カメラ91Cは、それぞれが撮影データを生成し、生成した撮影データを表示制御装置10に供給する。
 表示部92は、運転者に情報を提示できるように設置された表示部であって、例えば液晶パネルまたは有機EL(Electro Luminescence)パネル等の表示部を含む。表示部92は、ダッシュボード等、運転者が表示部を視認できる位置に設置される。表示部92は、表示制御装置10から画像データを受け取り、受け取った画像データにかかる画像を表示部に表示する。
 表示制御装置10は、例えばCPU(Central Processing Unit)やMCU(Micro Controller Unit)などの演算装置を有している。また表示制御装置10は、上記演算装置に加えて、フラッシュメモリもしくはDRAM(Dynamic Random Access Memory)のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。表示制御装置10は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。
 表示制御装置10は、カメラ91が撮影した画像にかかる画像データを処理し、処理した所定の画像データを、表示部92に出力する。表示制御装置10は主な構成として、撮影データ取得部11、動作状態検出部12、抽出画像データ生成部13、表示画像データ生成部14および出力部15を有している。なお、表示制御装置10が有するこれらの要素は、通信バスにより通信可能に接続されている。
 撮影データ取得部11は、カメラ91が車両の外部の風景を撮影して生成した撮影データを取得する。撮影データ取得部11は、取得した撮影データを、通信バスを介して抽出画像データ生成部13に供給する。
 動作状態検出部12は、車両の動作状態を検出し、動作状態に応じた動作状態情報を生成する。ここで、「車両の動作状態」とは、車両の移動に関する動作の状態をいう。すなわち、本実施の形態において、車両の動作状態は、例えば、車両の移動方向や車両の移動速度である。動作状態検出部12は、例えば、撮影データ取得部11が取得する撮影データにかかる画像を解析し、解析した画像に含まれる物体の位置の変化から、車両の動作状態を検出してもよい。動作状態検出部12は、上述のように生成した動作状態情報を、抽出画像データ生成部13に供給する。
 なお、動作状態検出部12は、例えば加速度センサ(不図示)に接続し、加速度センサから取得した加速度の変化から、車両の動作状態を検出してもよい。また動作状態検出部12は、GNSS(Global Navigation Satellite System)などの衛星測位システムから自車両の位置を測位するための測位情報を受信する測位情報受信部(不図示)に接続し、測位情報受信部から取得した位置情報の変化から、車両の動作状態を検出してもよい。
 抽出画像データ生成部13は、撮影データ取得部11から撮影データを受け取る。また抽出画像データ生成部13は、動作状態検出部12から動作状態情報を受け取り、受け取った動作状態情報から、抽出画像を生成するための画角を決定する。より具体的には、本実施の形態にかかる抽出画像データ生成部13は、車両の移動速度に応じた画角を設定する。例えば、抽出画像データ生成部13は、移動速度が第1速度における第1画角を、第1速度より遅い第2速度における第2画角より狭く設定する。
 抽出画像データ生成部13は、上述のように決定した画角の画像を、撮影データから抽出し、抽出した領域の画像(抽出画像)にかかる抽出画像データを生成する。このように、抽出画像データ生成部13は、車両の動作状態に応じて設定した画角により撮影データから抽出画像を生成する。抽出画像データ生成部13は、生成した抽出画像データを、表示画像データ生成部14に供給する。
 表示画像データ生成部14は、抽出画像データ生成部13から抽出画像データを受け取り、受け取った抽出画像データを用いて表示画像データを生成する。表示画像データは、表示部92に出力するデータであって、表示部92が有する表示部の画像サイズに対応した画像データである。なお、ここで「表示部の画像サイズ」とは、表示画像が表示部全体ではなく表示部内の定められた領域に表示される場合には、当該領域の画像サイズを意味する。すなわち、表示画像データ生成部14は、抽出画像を予め設定された画像サイズに変換した表示画像データを生成する。表示画像データ生成部14が抽出画像に対して行う処理は、拡大、縮小、伸張、圧縮、ノイズ除去、色調補正等の処理を含む。表示画像データ生成部14は、生成した表示画像を、出力部15に供給する。
 なお、表示画像データ生成部14が行うこれらの処理の具体的な手法は、既に当業者に知られているものである。そのため、ここでの詳述は省略するが、例えば画像を拡大または縮小する手法の具体的な態様として、画像の伸長または圧縮がある。画像の拡大または縮小は、所定の画素と周囲の画素との間隔を変更し、その間の画素を補間する。また、画像を伸張するとは、画像を所定の一方向に沿って引き伸ばすことを意味する。この場合、引き伸ばす方向の画素について、画素同士の間隔を拡げ、その間の画素を補間する。また、画像を圧縮するとは、画像を所定の一方向に沿って縮めることを意味する。この場合、縮める方向の画素について、画素同士の間隔を狭め、適宜画素を補間する。
 出力部15は、表示制御装置10と表示部92とを通信可能に接続するためのインタフェースである。出力部15は、予め設定された画像サイズを有する表示部92に表示画像を出力する。
 次に、図2を参照して、車両におけるカメラの撮影範囲の例について説明する。図2は、実施の形態1にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図2に示した車両90は、自動車であって、移動体としての一実施態様である。
 車両90は、図1において説明した左カメラ91A、右カメラ91Bおよび後カメラ91Cの3つのカメラを有している。左カメラ91Aは、車両90の左面に設置されており、車両90の左側の風景を撮影する。左カメラ91Aは、二点鎖線により示された水平方向の撮影画角A10が180度である。すなわち左カメラ91Aが撮影する画像は、車両90の左側における画角180度の風景が含まれる。右カメラ91Bは、車両90の右面に設置されており、車両90の右側の風景を撮影する。右カメラ91Bは、水平方向の撮影画角B10が180度である。同様に、後カメラ91Cは、車両90の背面に設置されており、車両90の後側の風景を撮影する。後カメラ91Cは、水平方向の撮影画角C10が180度である。なお、以降の説明において、水平方向の画角または水平画角を、単に「画角」と称する場合がある。
 左カメラ91Aから車両90の左後方へ放射状に延びる実線は、左カメラ91Aの撮影画像から抽出される抽出画像の画角A11および画角A11より広い画角A12を示している。例えば、抽出画像データ生成部13は、移動速度が第1速度における第1画角を画角A11に設定し、第1速度より遅い第2速度における第2画角を画角A12に設定する。
 また、右カメラ91Bから車両90の右後方へ放射状に延びる実線は、右カメラ91Bの撮影画像から抽出される抽出画像の画角B11を示している。後カメラ91Cから車両90の後方へ放射状に延びる実線は、後カメラ91Cの撮影画像から抽出される抽出画像の画角C11を示している。
 次に、図3を参照して表示制御装置10が行う処理について説明する。図3は、実施の形態1にかかる表示制御装置10のフローチャートである。図3に示すフローチャートは、図2に示した車両90に搭載された表示制御装置10における左カメラ91Aの処理について示した物である。図3に示すフローチャートは、例えば車両90の主システムが起動することにより開始される。
 まず、表示制御装置10の撮影データ取得部11は、左カメラ91Aから撮影データを取得する(ステップS10)。次に、表示制御装置10の動作状態検出部12は、車両90の動作状態として、車両90の移動速度Vが、閾値Vth以上か否かを判断する(ステップS11)。車両90の移動速度Vが閾値Vth以上と判断した場合(ステップS11:Yes)、表示制御装置10はステップS12に進む。一方、車両90の移動速度Vが閾値Vth以上と判断しない場合(ステップS11:No)、表示制御装置10はステップS13に進む。
 ステップS12において、表示制御装置10の抽出画像データ生成部13は、抽出画像の画角Aを画角A11に設定する(ステップS12)。そして表示制御装置10は、ステップS14に進む。
 ステップS13において、表示制御装置10の抽出画像データ生成部13は、抽出画像の画角Aを画角A12に設定する(ステップS13)。そして表示制御装置10は、ステップS14に進む。
 すなわち閾値Vthは、抽出画像データ生成部13が画角を設定するための条件になる。また閾値Vthは天候の状況によって図示していない表示制御装置10に接続された端末装置を用いて任意に変えてもよい。
 ステップS14において、表示制御装置10の抽出画像データ生成部13は、設定した画角により抽出画像データを生成する(ステップS14)。すなわち、車両の移動速度Vが閾値Vth以上の場合、抽出画像データ生成部13は画角A11の抽出画像にかかる抽出画像データを生成する。一方、車両の移動速度Vが閾値Vth以上でない場合、抽出画像データ生成部13は画角A11より広い画角A12の抽出画像にかかる抽出画像データを生成する。抽出画像データ生成部13は、抽出画像データを生成すると、生成した抽出画像データを表示画像データ生成部14に供給する。
 次に、表示制御装置10の表示画像データ生成部14は、抽出画像データ生成部13から受け取った抽出画像データから表示画像データを生成し(ステップS15)、生成した表示画像データを出力部15に供給する。具体的には、閾値Vth以上の場合、表示画像データの画像サイズはそのままで生成し、閾値Vth以上でない場合、表示画像データの画像を圧縮して生成する。
 次に、表示制御装置10の出力部15は、表示画像データ生成部14から受け取った表示画像データを、表示部92に出力する(ステップS16)。
 次に、表示制御装置10は、一連の処理を終了させるか否かを判断する(ステップS17)。一連の処理を終了させる場合とは、例えばシステムが停止される場合や、運転者の操作により処理を終了させる場合などである。一連の処理を終了させると判断しない場合(ステップS17:No)、表示制御装置10はステップS10に戻り処理を続ける。一連の処理を終了させると判断した場合(ステップS17:Yes)、表示制御装置10は処理を終了させる。
 上述の処理により、表示制御装置10は、車両90の移動速度に応じて抽出画像の画角を設定する。なお、上述の説明は、左カメラ91Aの処理を一例として示したが、当然ながら上述の処理は、右カメラ91Bまたは後カメラ91Cにおける処理にも適用される。
 次に、図4を参照して、左カメラ91Aが撮影する画像の例について説明する。図4は、左カメラ91Aが撮影した画像の第1の例を示す図である。図4に示す画像P10は、左カメラ91Aが車両90の左側の風景を撮影したものである。画像P10の右側は車両90の左前方の風景であり、画像P10の左側は車両90の左後方の風景である。画像P10の右側にはトラックおよび二輪車が撮影されている。すなわち車両90の左前方には、トラックおよび二輪車が存在している。また画像P10の左側には他車両H1、他車両H2および他車両H3が撮影されている。すなわち車両90の左後方には、他車両H1~H3が存在している。なお、画像P10は画角180度という広角で撮影された画像のため、所定の歪曲収差を有している。そのため画像P10に含まれる画像は歪んだ状態で表示されている。
 図4に示す画像P10の左側には、抽出画像の外縁T11が太い二点鎖線により示されている。すなわち抽出画像は、外縁T11により囲まれた領域である。ここで、外縁T11は、上述の画角A11にかかる抽出画像を示している。抽出画像データ生成部13は、図4に示す撮影データから抽出画像データを生成するにあたり、車両90の移動速度VがVth以上であることから画角A11を設定し、外縁T11により示す領域を抽出する。外縁T11により囲まれた領域には、他車両H1および他車両H2が含まれる。よって、抽出画像には他車両H1および他車両H2が含まれる。
 なお、図4に示す外縁T11は、画像P10が有する歪曲収差に対応するように歪んでいる。表示画像データ生成部14は、外縁T11が矩形になり、且つ、後述する表示画像の画像サイズになるように抽出画像を処理する。
 次に、図5を参照して、表示部92が表示する表示画像の例について説明する。図5は、実施の形態1にかかる表示部に表示される表示画像の第1の例を示す図である。図5には、表示画像P100が示されている。表示画像P100は、左表示画像P11、後表示画像P12および右表示画像P13を含む。
 左表示画像P11は、左カメラ91Aの撮影データから生成した画像である。後表示画像P12は、後カメラ91Cの撮影データから生成した画像である。右表示画像P13は、右カメラ91Bの撮影データから生成した画像である。すなわち表示画像P100は、左カメラ91A、右カメラ91Bおよび後カメラ91Cが生成したそれぞれの撮影データを抽出画像データ生成部13が適宜抽出し、さらに表示画像データ生成部14が表示画像として処理したものが並べて表示されている。左表示画像P11は、表示画像P100のうち、幅W11の領域に表示される。また後表示画像P12は、表示画像P100のうち、幅W12の領域に表示される。さらに右表示画像P13は、表示画像P100のうち、幅W13の領域に表示される。
 図5に示す左表示画像P11は、図4に示す外縁T11により抽出された抽出画像データから生成されたものである。そのため、左表示画像P11には、他車両H1および他車両H2が含まれる。図に示すように、表示画像データ生成部14は、歪曲収差を有する抽出画像データから、実質的に歪みのない画像として左表示画像P11を生成している。このように表示画像データ生成部14は、表示画像P100に含まれる左表示画像P11、後表示画像P12および右表示画像P13を、それぞれの撮影データから実質的に歪みのない状態の画像を生成して表示する。
 次に、図6を参照して、左カメラ91Aが撮影する画像の別の例について説明する。図6は、左カメラが撮影した画像の第2の例を示す図である。図6に示す画像P10は、図4に示す画像と同様に、左カメラ91Aが車両90の左側の風景を撮影したものである。図6に示す画像P10は、抽出画像にかかる外縁T12が、図4に示す外縁T11と異なる。
 図6に示す画像P10の左側には、外縁T12が太い二点鎖線により示されている。外縁T12は、上述の画角A12にかかる抽出画像を示している。抽出画像データ生成部13は、図6に示す撮影データから抽出画像データを生成するにあたり、車両90の移動速度VがVth未満であることから画角A12を設定し、外縁T12により示す領域を抽出する。画角A12は画角A11より広い。そのため外縁T12により囲まれた領域には、他車両H1、他車両H2に加えて他車両H3が含まれる。よって、抽出画像には他車両H1~H3が含まれる。表示画像データ生成部14は、外縁T12が矩形になり、且つ、後述する表示画像の画像サイズになるように抽出画像を処理する。
 次に、図7を参照して、表示部92が表示する表示画像の例について説明する。図7は、実施の形態1にかかる表示部に表示される表示画像の第2の例を示す図である。図7には、表示画像P101が示されている。表示画像P101は、左表示画像P11に代えて、左表示画像P14を有している点が、図5に示した画像P100と異なる。以下に、画像P100と異なる点について主に説明する。
 図7に示す左表示画像P14は、図6に示す外縁T12により抽出された抽出画像データから生成されたものである。そのため、左表示画像P14には、他車両H1、他車両H2に加えて、他車両H3が含まれる。また左表示画像P14が表示されている幅W11は、図5に示した左表示画像P11と同じ幅W11である。つまり左表示画像P14は、画角A11より広い画角A12にかかる画像を、画角A11にかかる画像と同じ幅で表示している。そのため、左表示画像P11と左表示画像P14とを比較すると、左表示画像P14は左右方向の幅が相対的に圧縮されている。すなわち、移動速度VがVth未満の場合に左表示画像P11として表示される画像の画角は、移動速度VがVth以上の場合に比べて広い。このように、表示制御装置10は、表示部の面積を拡大することなく、より広い範囲の画像を表示できる。よって表示制御装置10は、好適にユーザの運転支援を行うことが出来る。
 なお、上述の説明は、例として左カメラ91Aの撮影データを示したが、上述の構成は、右カメラ91Bおよび後カメラ91Cにも適用できる。また、本実施の形態における表示制御装置10は、カメラ91として上述の3種類のカメラを有していたが、カメラの数は1つ以上であればよい。また上述の例においてカメラ91は、魚眼レンズを含み、撮影データにかかる画像が歪曲収差を有しているものであった。しかし、カメラ91が撮影する画像は上述のものに限られず、歪みを有さないものであってもよい。また、上述した車両の移動速度Vと画角Aとの関係は一例であって、車両の動作状態に応じて抽出画像データにかかる画角が設定される構成であれば、移動速度Vと画角Aとの関係は上述のものに限られない。
 なお、表示画像データ生成部14は、抽出画像データにかかる抽出画像を、表示部に対して90度回転して表示させてもよい。例えば、左表示画像P14として抽出画像を回転させずに表示画像に変換することを第1変換と称する。これに対して左表示画像P14として抽出画像を90度回転させて表示画像に変換することを第2変換と称する。このとき、第1変換にかかる画像の歪みが、第2変換にかかる画像の歪みより大きい場合に、表示画像データ生成部14は、抽出画像を第2変換により変換して表示画像を生成するものであってもよい。このような構成により、表示制御装置10は、より歪みが少なく、且つ、好適な画角の画像を表示できる。
 以上、実施の形態1について説明した。実施の形態1にかかる表示制御装置10は、画像の左右方向を圧縮して表示することにより、圧縮しない場合に比べて画角の広い画像を表示する。よって、実施の形態1によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。
 <実施の形態2>
 次に、実施の形態2について説明する。実施の形態2にかかる表示制御装置は、指標画像データ生成部を有している点が、実施の形態1と異なる。図8は、実施の形態2にかかる表示制御装置のブロック図である。図8に示す表示制御装置20は、指標画像データ生成部16を有している。
 指標画像データ生成部16は、表示画像データ生成部14が生成する表示画像の歪み状態を取得し、取得した歪み状態に応じた指標画像を生成する。「指標画像データ」は、表示画像データに含まれる表示画像の歪んでいる状態を示す「指標画像」のデータである。指標画像は、例えば表示画像データ生成部14が歪みのない画像を生成した場合の画像と比較できるように構成される。
 指標画像データ生成部16は、表示画像の歪みを表すための指標画像を含む指標画像データを生成する。そして指標画像データ生成部16は、生成した指標画像データを表示画像データ生成部14に供給する。さらに表示画像データ生成部14は、指標画像データ生成部16から受け取った指標画像データを重畳させて表示画像データを生成する。
 図9を参照して、指標画像の具体例について説明する。図9は、実施の形態2にかかる表示画像の例を示す図である。図9に示す画像P102は、図7に示した画像P101に、指標画像を重畳させたものである。左表示画像P14の上部には指標画像G14が重畳されている。後表示画像P12の上部には指標画像G12が重畳されている。右表示画像P13の上部には指標画像G13が重畳されている。なお、指標画像G12~G14がそれぞれの画像の上部に配置されていることにより、表示制御装置10は、指標画像が他車両や道路などの表示を妨げることを抑制している。
 指標画像G12および指標画像G13はそれぞれ円形をしている。これは、指標画像G12にかかる後表示画像P12は歪みを有していないこと、および、指標画像G13にかかる後表示画像P13は歪みを有していないことを意味する。一方、指標画像G14は、上下方向が相対的に長く、左右方向が相対的に短い縦長の楕円形をしている。またこの大円の上下方向の長さは、指標画像G12および指標画像G13と同じである。すなわち指標画像G14は、指標画像G12および指標画像G13よりも相対的に左右方向が圧縮された形状となっている。これは、指標画像G14にかかる左表示画像P14が相対的に左右方向に圧縮されたものであることを示している。このような表示により、ユーザは、指標画像を視認した場合に、当該指標画像にかかる表示画像がどのように歪んでいるかを直感的に理解できる。
 以上、実施の形態2について説明したが、指標画像は実際の歪みに予め設定された設定された係数をかけることにより、表示画像の歪みと同じ傾向の歪みであって、歪みの度合いが異なるものであっても良い。これにより表示制御装置20は、ユーザがより直感的に歪み状態を理解するように、指標画像データを生成できる。また上述の例では、指標画像が表示画像に重畳されていたが、指標画像は、表示画像内に重畳されていなくてもよい。例えば表示画像が表示部の画像サイズより小さく、その他の表示領域が存在する場合には、指標画像は、その他の表示領域に表示されていてもよい。
 以上、実施の形態2について説明した。実施の形態2にかかる表示制御装置20は、画像の左右方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態2によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。
 <実施の形態3>
 次に、実施の形態3について説明する。実施の形態3にかかる表示制御装置は、車両情報取得部をさらに有している点が、実施の形態2と異なる。図10は、実施の形態3にかかる表示制御装置のブロック図である。図10に示す表示制御装置30は、車両情報取得部17を有している点が、実施の形態1および実施の形態2と異なる。また表示制御装置30はCAN(Controller Area Network)などの車内通信バスを介して車両90のECU93(ECU=Electronic Control Unit)に接続している。
 車両情報取得部17は、車両90が有するECU93と、車内通信バスであるCANを介して通信可能に接続し、ECU93から車両情報を取得する。車両情報とは、車両の運転状態に関わる情報であって、例えばアクセル開度、ハンドル操舵角、方向指示器の動作状態、シフトレバーの位置等である。また車両情報は、動作状態と車両90の移動速度の組み合わせでもよい。車両情報取得部17は、取得した車両情報を、動作状態検出部12に供給する。
 動作状態検出部12は、車両情報取得部17から車両情報を受け取り、受け取った車両情報を用いて動作状態を検出する。例えば、車両情報取得部17から左を示す方向指示器(以降、左方向指示器と称する)がオン状態である場合に、動作状態検出部12は車両90が左側に移動することを検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が50キロメートル毎時等の巡航速度である場合には、動作状態検出部12は車両90が左側へ車線変更することを検出する。また例えば、左方向指示器がオン状態であって、且つ、車両の移動速度が10キロメートル毎時程度である場合には、動作状態検出部12は車両90が左側へ左折する可能性が高いことを検出する。動作状態検出部12は、上述のように車両90の動作状態を検出して、検出した動作状態から動作状態情報を生成する。そして動作状態検出部12は、生成した動作状態情報を抽出画像データ生成部13に供給する。
 次に、図11を参照して、車両におけるカメラの撮影範囲の例について説明する。図11は、実施の形態3にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図11に示した車両90の上面図は、左カメラ91Aの画角A13をさらに有する点が、図2と異なる。
 図11において、左カメラ91Aから車両90の左後方へ放射状に延びる実線は、左カメラ91Aの撮影画像から抽出される抽出画像の画角A11、画角A11より広い画角A12および画角A12より広い画角A13を示している。
 例えば、抽出画像データ生成部13は、車両90が直進しており、移動速度が第1速度の場合には抽出画像にかかる画角を画角A11に設定する。例えば、抽出画像データ生成部13は、車両90の左方向指示器がオン状態であり、移動速度が第1速度の場合には抽出画像にかかる画角を画角A12に設定する。抽出画像データ生成部13は、車両90の左方向指示器がオン状態であり、移動速度が第1速度より遅い第2速度の場合には抽出画像にかかる画角を画角A13に設定する。
 次に図12を参照して、実施の形態3にかかる表示制御装置30が実行する処理について説明する。図12は、実施の形態3にかかる表示制御装置のフローチャートである。図12に示すフローチャートは、ステップS10からステップS14の間の処理が、図3に示したフローチャートと異なる。
 まず、表示制御装置10の撮影データ取得部11は、左カメラ91Aから撮影データを取得する(ステップS10)。次に、表示制御装置10の動作状態検出部12は、車両90の動作状態として、車両90の左方向指示器がオンか否かを判断する(ステップS21)。車両90の左方向指示器がオンであると判断しない場合(ステップS21:No)、表示制御装置10はステップS22に進む。一方、車両90の左方向指示器がオンであると判断する場合(ステップS21:Yes)、表示制御装置10はステップS23に進む。
 ステップS22において、表示制御装置10の抽出画像データ生成部13は、抽出画像の画角Aを画角A11に設定する(ステップS22)。そして表示制御装置10は、ステップS14に進む。
 ステップS23において、動作状態検出部12は、車両90の移動速度Vが、閾値Vth以上か否かを判断する(ステップS23)。車両90の移動速度Vが閾値Vth以上と判断した場合(ステップS23:Yes)、表示制御装置10はステップS24に進む。一方、車両90の移動速度Vが閾値Vth以上と判断しない場合(ステップS23:No)、表示制御装置10はステップS25に進む。
 ステップS24において、表示制御装置10の抽出画像データ生成部13は、抽出画像の画角Aを画角A12に設定する(ステップS24)。そして表示制御装置10は、ステップS14に進む。
 ステップS25において、表示制御装置10の抽出画像データ生成部13は、抽出画像の画角Aを画角A13に設定する(ステップS25)。そして表示制御装置10は、ステップS14に進む。
 ステップS14以降は、図3に示したフローチャートと同じであるため、ここでは説明を省略する。
 上述の処理により、表示制御装置30は、車両90が有する方向指示器の状態および車両90の移動速度に応じて抽出画像の画角を設定する。なお、上述の説明は、左カメラ91Aの処理を一例として示したが、当然ながら上述の処理は、右カメラ91Bまたは後カメラ91Cにおける処理にも適用される。また抽出画像データ生成部13が設定する画角と動作状態との関係は、本実施の形態を説明するための一例であって、表示制御装置30は、上述の処理と異なる処理を行ってもよい。
 なお、実施の形態3にかかる表示制御装置30は、実施の形態1と同様に、指標画像データ生成部16を有していなくてもよい。動作状態検出部12は、ECU93から取得する車両情報に加えて、加速度センサから取得した加速度の変化や衛星測位システムから取得した自車両の位置情報の変化を利用してもよい。
 以上、実施の形態3について説明した。実施の形態3にかかる表示制御装置30は、車両90の運転状態に応じて、抽出画像の画角を設定できる。そして実施の形態3にかかる表示制御装置30は、画像の左右方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態3によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。
 <実施の形態4>
 図13を参照して実施の形態4について説明する。実施の形態4にかかる表示制御装置は、サイズ割当部18を有している点が、実施の形態1と異なる。図13は、実施の形態4にかかる表示制御装置40のブロック図である。
 ここで本実施の形態4において、車両の動作状態は、車両の移動方向の変更を含み、動作状態情報は、車両の移動方向の変更を示す移動方向変更情報を含む。移動方向変更情報は、車両が変更すると予測される移動方向(予測移動方向)を示す予測移動方向情報を含む。なお、予測移動方向は、車両90が現に変更している移動方向を含んでよい。例えば動作状態検出部12は、測位情報受信部から取得した位置情報と地図情報とに基づいて車両の予測移動方向を推定することで動作状態を検出してよい。本実施の形態4にかかる動作状態検出部12は、生成した動作状態情報を、抽出画像データ生成部13およびサイズ割当部18に供給する。
 本実施の形態4にかかる抽出画像データ生成部13は、車両の移動方向の変更に応じて画角を設定する。例えば、抽出画像データ生成部13は、車両の移動方向の変更が検出されたことに応じて、予測移動方向に関連する撮影データから抽出される領域の画像(抽出画像)の画角を第1画角から、第1画角よりも広い第2画角に設定変更する。本実施の形態4で第1画角は、予め設定された初期の画角の大きさである。なおこのとき、抽出画像データ生成部13は、予測移動方向と異なる方向に関連する撮影データから抽出される抽出画像の画角については、引き続き画角を第1画角に設定してよい。
 抽出画像データ生成部13は、撮影データの各々に対して、設定した画角の画像を、その撮影データから抽出し、抽出画像にかかる抽出画像データを生成する。このように、抽出画像データ生成部13は、撮影データの各々に対して、動作状態に応じて設定された画角によりその撮影データにかかる画像から抽出画像データを生成する。抽出画像データ生成部13は、生成した抽出画像データを、表示画像データ生成部14に供給する。
 サイズ割当部18は、動作状態が検出されたことに応じて、表示部92の総画像サイズから、複数の抽出画像データの各々に対応する表示画像の画像サイズを割り当てる。ここで「表示部92の総画像サイズ」とは、表示部92の表示部分上に表示することができる表示画像の画像サイズの合計である。なお「表示部92の総画像サイズ」は、表示画像が表示部92の表示部分全体ではなく表示部分内の定められた領域に表示される場合には、当該領域の画像サイズの合計を意味する。各表示画像には、対応する画像サイズが割り当てられる。なお各表示画像は矩形形状を有してよい。この場合各表示画像の画像サイズは、幅方向の長さに対応する幅方向の画素数と、高さ方向の長さに対応する高さ方向の画素数との積で表されてよい。
 サイズ割当部18は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部14に供給する。
 表示画像データ生成部14は、抽出画像データ生成部13から複数の抽出画像データを受け取り、サイズ割当部18から複数の抽出画像データの各々に対応する画像サイズに関する情報を受け取る。表示画像データ生成部14は、複数の抽出画像データの各々に対して、割り当てられた画像サイズを有する表示画像の表示画像データを生成する。すなわち、表示画像データ生成部14は、抽出画像からその抽出画像に対応する画像サイズを有するように画素値を変換させた表示画像にかかる表示画像データを生成する。表示画像データ生成部14は、生成した複数の表示画像データを、出力部15に供給する。
 本実施の形態4にかかる出力部15は、複数の抽出画像データの各々に対応する表示画像データを表示部92に出力する。
 次に、図14を参照して、車両におけるカメラの撮影範囲の例について説明する。図14は、実施の形態4にかかる表示制御装置を搭載した車両におけるカメラの撮影範囲を示す上面図である。図14に示した車両90の上面図は、右カメラ91Bの画角B12をさらに有する点が、図2と異なる。
 右カメラ91Bから車両90の右後方へ放射状に延びる実線は、右カメラ91Bの撮影画像から抽出される抽出画像の画角B11および画角B11より広い画角B12を示している。なお、画角B11は画角A11と等しい大きさを有し、画角B12は、画角A12と等しい大きさを有してよい。例えば、抽出画像データ生成部13は、車両が進行方向に直進し続ける場合は画角を第1画角である画角B11に設定し、右方向への移動方向の変更が検出されたことに応じて画角を第2画角である画角B12に設定変更する。
 また例えば、抽出画像データ生成部13は、車両90が進行方向に直進し続ける場合には画角を第1画角である画角A11に設定し、左方向への移動方向の変更が検出されたことに応じて画角を第2画角である画角A12に設定変更する。
 そして抽出画像データ生成部13は、互いに異なる方向側の風景の撮影画像の各々から、設定された画角にかかる抽出画像の抽出画像データを生成する。ここでこれらの抽出画像データは、車両90に対して第1方向(ここでは左)側の風景に関連する抽出画像の第1抽出画像データと、車両90に対して第2方向(ここでは右)側の風景に関連する抽出画像の第2抽出画像データとを有する。
 なお上述の通り、抽出画像データ生成部13は、移動方向の変更を検出したことに応じて、予測移動方向側の風景に関連する抽出画像の画角を設定変更し、その抽出画像の抽出画像データを生成する。
 次に、図15を参照して表示制御装置40が行う処理について説明する。図15は、実施の形態4にかかる表示制御装置40のフローチャートである。図15に示すフローチャートは、表示制御装置40が、図14に示した車両90の左側および右側の風景に関連する表示画像をそれぞれ表示部92に表示する場合(すなわち、2画面表示の場合)の処理の一例を示す。なお初期において抽出画像の画角は、いずれも第1画角で設定されているものとする。
 まずステップS30において、表示制御装置40の撮影データ取得部11は、左カメラ91Aおよび右カメラ91Bのそれぞれから撮影データを取得する。ここで左カメラ91Aから取得した撮影データは、車両90の左側の風景に関連する撮影データであり、右カメラ91Bから取得した撮影データは、車両90の右側の風景に関連する撮影データである。
 次にステップS31において、表示制御装置40の動作状態検出部12は、車両90の動作状態として、車両90の移動方向の変更を検出したか否かを判定する。動作状態検出部12は、移動方向の変更を検出したと判断した場合(ステップS31:Yes)、予測移動方向情報を含む移動方向変更情報を生成する。そして動作状態検出部12は、移動方向変更情報を抽出画像データ生成部13およびサイズ割当部18に供給し、処理をステップS32に進める。一方、動作状態検出部12は、移動方向の変更を検出したと判断しない場合(ステップS31:No)、処理をステップS34に進める。
 ステップS32において、抽出画像データ生成部13は、移動方向変更情報に含まれる予測移動方向情報に基づいて、予測移動方向側の風景に関連する撮影データから抽出される抽出画像の画角を第1画角から第2画角に設定変更する。抽出画像データ生成部13はまた、予測移動方向と異なる方向に関連する撮影データから抽出される抽出画像の画角を引き続き第1画角に設定する。そして抽出画像データ生成部13は、処理をS34に進める。
 ステップS34において、抽出画像データ生成部13は、撮影データの種別に対応して抽出画像に設定された画角を用いて、その撮影データから抽出画像データを生成する。すなわち、移動方向の変更が検出され、その予測移動方向が第1方向である場合、抽出画像データ生成部13は、左カメラ91Aからの撮影データから、画角A11より広い画角A12にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、右カメラ91Bからの撮影データから、画角B11にかかる抽出画像の第2抽出画像データを生成する。一方、移動方向の変更が検出されず、予測移動方向が取得されない場合、抽出画像データ生成部13は、左カメラ91Aからの撮影データから、画角A11にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、右カメラ91Bからの撮影データから、画角B11にかかる抽出画像の第2抽出画像データを生成する。
 ステップS35において、抽出画像データ生成部13は、全ての抽出画像データを生成したか否かを判定する。本実施の形態4では、抽出画像データ生成部13は、2つの抽出画像データを生成したか否かを判定する。抽出画像データ生成部13は、全ての抽出画像データを生成したと判定した場合(ステップS35:Yes)処理をステップS36に進める。一方、抽出画像データ生成部13は、そうでない場合(ステップS35:No)処理をステップS34に戻す。そして抽出画像データ生成部13は、生成した全ての抽出画像データを表示画像データ生成部14に供給する。
 ステップS36において、サイズ割当部18は、移動方向変更情報に含まれる予測移動方向情報の予測移動方向に応じて、複数の抽出画像データの各々に対して、各々の抽出画像に対応する表示画像の画像サイズを割り当てる。このときサイズ割当部18は、予測移動方向が第1方向であることに応じて、第1抽出画像データに対応する表示画像に含まれる画素数が、第2抽出画像データに対応する表示画像に含まれる画素数よりも多くなるように、画像サイズを割り当てる。本実施の形態4ではサイズ割当部18は、予測移動方向が第1方向であることに応じて、第1抽出画像データに対応する第1表示画像の横方向の幅である1次方向の長さが、第2抽出画像データに対応する第2表示画像の1次方向の長さよりも大きくなるように、画像サイズを割り当てる。ここで、第1および第2表示画像はそれぞれ、第1および第2抽出画像データの抽出画像に対応する表示画像である。なお1次方向は、幅方向または高さ方向であり、本実施の形態4では、幅方向である。また本実施の形態4で1次方向の長さは、幅方向の一辺である幅の長さであり、幅の画素数に対応する。サイズ割当部18は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部14に供給する。
 次にステップS37において、表示画像データ生成部14は、複数の抽出画像データの各々に対して、対応する画像サイズを有する表示画像の表示画像データを生成する。
 具体的には表示画像データ生成部14は、第1抽出画像データにかかる抽出画像に対しては、画素の変換処理を行わないで第1表示画像の第1表示画像データを生成する。一方、表示画像データ生成部14は、第2抽出画像データにかかる抽出画像に対しては、画像を圧縮して第2表示画像の第2表示画像データを生成する。
 そして表示画像データ生成部14は、生成した複数の表示画像データを出力部15に供給する。
 次にステップS38において、表示制御装置40の出力部15は、表示画像データ生成部14から受け取った複数の表示画像データの各々を、表示部92に出力する。
 次にステップS39において、表示制御装置40は、一連の処理を終了させるか否かを判定する。表示制御装置40は、一連の処理を終了させると判定しない場合(ステップS39:No)、処理をステップS30に戻す。表示制御装置40は、一連の処理を終了させると判定した場合(ステップS39:Yes)、処理を終了させる。
 上述の処理により、表示制御装置40は、車両90の移動方向の変更に応じて抽出画像の画角を設定する。なお、上述の説明は、予測移動方向が第1方向である場合を一例として示したが、当然ながら上述の処理は、予測移動方向が第2方向である場合における処理にも適用される。
 ここで車両90が進行方向に直進し続ける場合、すなわち移動方向の変更が検出されなかった場合を、第3の例と呼ぶ。第3の例において、左カメラ91Aは図4に示す画像と同様の画像を撮影する。抽出画像データ生成部13は、移動方向の変更が検出されなかったことから画角を画角A11に設定し、外縁T11により示す領域を抽出することで、図4に示す撮影データから第1抽出画像データを生成する。
 なお、右カメラ91Bについても左カメラ91Aの場合と同様に、移動方向の変更が検出されない場合に、抽出画像データ生成部13は画角B11にかかる抽出画像の第2抽出画像データを生成する。
 そしてサイズ割当部18は、第1および第2抽出画像データの各々について、後述する表示画像の画像サイズを割り当てる。そして表示画像データ生成部14は、外縁が矩形になり、且つ、割り当てられた表示画像の画像サイズになるように抽出画像を変換処理する。
 次に、図16を参照して、表示部92が表示する表示画像の例について説明する。図16は、実施の形態4にかかる表示部92に表示される表示画像の第3の例を示す図である。図16には、表示画像P200が示されている。表示画像P200は、左表示画像(本例の第1表示画像)P21、および右表示画像(本例の第2表示画像)P23を含む。
 左表示画像P21は、図5の左表示画像P11と同様の画像である。右表示画像P23は、図5の右表示画像P13と同様の画像である。
 ここで表示画像P200は、幅Wを有する。そして左表示画像P21は、表示画像P200のうち、幅W21の領域に表示される。また右表示画像P23は、表示画像P200のうち、幅W23の領域に表示される。なお本図に示すように、幅W21および幅W23の長さの合計は幅Wの長さに等しい。幅W21および幅W23は、互いに等しい長さを有してよい。
 本図に示すように、幅W21および幅W23の長さはそれぞれ、歪曲収差を有する抽出画像の第1および第2抽出画像データから、実質的に歪みのない画像として左表示画像P21および右表示画像P23が生成されるように予め定められてよい。
 第1の例において、サイズ割当部18は、第1抽出画像データに対して幅W21の長さに対応する第1画像サイズを、第2抽出画像データに対して幅W23の長さに対応する第2画像サイズを割り当てる。そして表示画像データ生成部14は、当該画像サイズに基づいて実質的に歪みのない状態の左表示画像P21および右表示画像P23を生成している。
 次に、移動方向の変更が検出され、予測移動方向が左方向(つまり、第1方向)である場合を、第4の例と呼ぶ。第4の例において、左カメラ91Aは図6に示す画像と同様の画像を撮影する。
抽出画像データ生成部13は、図6に示す撮影データから第1抽出画像データを生成するにあたり、予測移動方向が左方向であることから画角を画角A12に設定し、外縁T12により示す領域を抽出する。
 一方、右カメラ91Bについては、第3の例と同様に、抽出画像データ生成部13は画角B11にかかる抽出画像の第2抽出画像データを生成する。
 そしてサイズ割当部18は、第1および第2抽出画像データの各々について、後述する表示画像の画像サイズを割り当てる。そして表示画像データ生成部14は、外縁が矩形になり、且つ、割り当てられた表示画像の画像サイズになるように抽出画像を変換処理する。
 次に、図17を参照して、表示部92が表示する表示画像の例について説明する。図17は、実施の形態4にかかる表示部92に表示される表示画像の第4の例を示す図である。図17には、表示画像P201が示されている。表示画像P201は、左表示画像P21および右表示画像P23に代えて、左表示画像P24および右表示画像P26を有している点で、図16に示した画像P200と異なる。以下に、画像P200と異なる点について主に説明する。
 図17に示す左表示画像P24は、図6に示す外縁T12により抽出された第1抽出画像データから生成されたものである。そのため、左表示画像P24には、他車両H1、他車両H2に加えて、他車両H3が含まれる。
 ここで左表示画像P24が表示されている領域の幅W24は、図16に示した左表示画像P21の幅W21よりも長い。つまりサイズ割当部18は、予測移動方向に関連し、第3の例と比べて広い画角にかかる抽出画像の第1抽出画像データの左表示画像P24に対して、左表示画像P24が実質的に歪みのない画像となるように幅W24の長さを決定する。
 一方、右表示画像P26は、第3の例と同様の画角B11にかかる外縁により抽出された抽出画像から生成される。右表示画像P26には、第3の例と同様に、他車両H4が含まれる。
 ここで右表示画像P26が表示されている領域の幅W26は、左表示画像P24が表示されている領域の幅W24よりも短い。なお本図において幅W24と幅W26の長さの合計は、図16に示す幅W21および幅W23の長さの合計、つまり幅Wの長さと等しい。つまりサイズ割当部18は、予測移動方向と異なる方向に関連する第2抽出画像データの右表示画像P26に対して、幅Wの長さから左表示画像P24に対応する幅W24の長さを差し引いた長さを、幅W26の長さとして割り当てる。
 すなわちサイズ割当部18は、予測移動方向に関連する表示画像の画像サイズを決定し、予測移動方向と異なる方向に関連する表示画像の画像サイズを、総画像サイズと決定された画像サイズとの間の差分に基づいて割り当てる。
 なお右表示画像P26が表示されている領域の幅W26は、図16に示した右表示画像P23の幅W23よりも短い。そのため、右表示画像P23と右表示画像P26とを比較すると、右表示画像P26は幅方向が相対的に圧縮されている。
 このように実施形態4にかかる表示制御装置40は、動作状態に応じて設定された画角により複数の抽出画像データを生成する。これにより、表示部分の面積を拡大することなく、ユーザが確認したい場所の広い範囲の情報を表示することが容易となる。また表示制御装置40は、動作状態に基づいて、複数の抽出画像データの各々に対して、画像サイズを割り当てる。したがって表示部分の面積を拡大することなく、動作状態に応じてより重要な場所の情報は相対的に大きく表示され、ユーザが確認したい場所の情報をさらに容易に確認することができる。このように実施形態4にかかる表示制御装置40は、カメラが撮影した画像を好適に表示させることで、好適にユーザの運転支援を行うことが出来る。
 <実施の形態4の第1変形例>
 なお実施の形態4では、表示制御装置40は、予測移動方向と異なる方向に関連する抽出画像の画角を第1画角に設定し、第1画角にかかる抽出画像の表示画像を表示部92に表示させた。しかしこれに代えて、表示制御装置40は、移動方向の変更が検出されたことに応じて、予測移動方向と異なる方向に関連する抽出画像の画角を予測移動方向に関連する抽出画像の画角と同様に、第2画角に設定変更してよい。
 つまり、図15に示すステップS32において、抽出画像データ生成部13は、予測移動方向に関わらず、抽出画像の画角を第2画角に設定する。
 そして図15に示すステップS34において、抽出画像データ生成部13は、移動方向の変更が検出された場合、画角A12にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、画角B12にかかる抽出画像の第2抽出画像データを生成する。一方、移動方向の変更が検出されなかった場合、抽出画像データ生成部13は、画角A11にかかる抽出画像の第1抽出画像データを生成する。またこの場合、抽出画像データ生成部13は、画角B11にかかる抽出画像の第2抽出画像データを生成する。
 このような変形例にかかる表示部92に表示される表示画像について、図18を用いて説明する。図18は、実施の形態4の第1変形例にかかる表示部92に表示される表示画像の第4の例を示す図である。
 図18には、表示画像P202が示されている。表示画像P202は、右表示画像P26に代えて、右表示画像P28を有している点で、図17に示した画像P201と異なる。以下に、画像P201と異なる点について主に説明する。
 右表示画像P28が表示されている領域の幅W28は、左表示画像P24が表示されている領域の幅W24よりも短い。なお本図において幅W24と幅W28の長さの合計は、図17に示す幅W24および幅W26の長さの合計、つまり幅Wの長さと等しい。つまりサイズ割当部18は、右表示画像P26の場合と同様に、予測移動方向と異なる方向に関連する第2抽出画像データの右表示画像P28に対して、幅Wの長さから左表示画像P24に対応する幅W24の長さを差し引いた長さを、幅W28の長さとして割り当てる。
 なお右表示画像P28が表示されている領域の幅W28の長さは、図17に示した右表示画像P26の幅W26の長さと等しい。ここで右表示画像P28は、画角B11より広い画角B12にかかる外縁により抽出された抽出画像から生成され、右表示画像P28には、右表示画像P26に含まれる他車両H4に加えて、他車両H5が含まれる。そのため、右表示画像P26と右表示画像P28とを比較すると、右表示画像P28は幅方向が相対的に圧縮されている。
 <実施の形態4の第2変形例>
 実施の形態4では、2画面表示の場合を例に説明した。しかしこれに限らず、表示制御装置40が、図14に示した車両90の左側および右側の風景に関連する表示画像に加えて、後ろ側の風景に関連する表示画像を、表示部92の表示部に表示してよい。すなわち第2変形例は、3画面表示の場合の例である。
 この場合、抽出画像データ生成部13が生成する抽出画像データは、第1および第2抽出画像データに加えて、車両に対して第3方向(ここでは後ろ)側の風景に関連する第3抽出画像データをさらに有する。
 このとき図15に示すステップは以下のように変更される。
 まずステップS30に代えて、表示制御装置40の撮影データ取得部11は、左カメラ91A、右カメラ91Bおよび後カメラ91Cのそれぞれから撮影データを取得する。
 図15に示すステップS32に代えて、抽出画像データ生成部13は、予測移動方向情報に基づいて、予測移動方向側の風景に関連する抽出画像の画角を第1画角から第2画角に設定変更する。また抽出画像データ生成部13は、予測移動方向と反対方向に関連する抽出画像の画角を引き続き第1画角に設定する。また抽出画像データ生成部13は、後ろ側に関連する抽出画像の画角を引き続きC11に設定する。そして抽出画像データ生成部13は、処理をS34に進める。
 またステップS34に加えて、抽出画像データ生成部13は設定された画角C11にかかる抽出画像の第3抽出画像データを生成する。
 またステップS35に代えて、抽出画像データ生成部13は、3つの抽出画像データを生成したか否かを判定する。抽出画像データ生成部13は、全ての抽出画像データを生成したと判定した場合、処理をステップS36に進める。一方抽出画像データ生成部13は、そうでない場合、処理をステップS34に戻す。そして抽出画像データ生成部13は、生成した3つの抽出画像データを表示画像データ生成部14に供給する。
 そしてステップS36に代えて、サイズ割当部18は、予測移動方向が第1方向であることに応じて、第1抽出画像データに対応する表示画像に含まれる画素数が、第2抽出画像データおよび第3抽出画像データのいずれに対応する表示画像に含まれる画素数よりも多くなるように、画像サイズを割り当てる。
 次に3画面表示の場合の表示部92に表示される表示画像について、図19を用いて説明する。図19は、実施の形態4の第2変形例にかかる表示部92に表示される表示画像の例を示す図である。図19Aは、移動方向の変更が検出されなかった第3の例に対応し、図19BおよびCは、移動方向の変更が検出された第4の例に対応する。なお、図16および17に対応する部分については、同一の符号を付して説明を省略する。
 図19A~Cには、表示画像P203~205が示されている。なお表示画像P203~205の幅方向の長さは、いずれもW’である。
 図19Aに示すように、表示画像P203は、左表示画像P21および右表示画像P23に加えて、後表示画像(本例の第3表示画像)P22を含む。
 後表示画像P22は、表示画像P203のうち幅方向の長さがW22である領域に表示される。なお本図に示すようにW21、W22およびW23の大きさの合計はW’である。W21、W22およびW23は、互いに等しい大きさを有してよい。
 第3の例において、サイズ割当部18は、第1抽出画像データに対して幅W21の長さを、第2抽出画像データに対して幅W23の長さを、第3抽出画像データに対して幅W22の長さを割り当てる。そして表示画像データ生成部14は、当該長さに対応する画像サイズに基づいて実質的に歪みのない状態の左表示画像P21、右表示画像P23および後表示画像P22を生成する。
 図19Bに示すように表示画像P204は、左表示画像P24および右表示画像P26に加えて、図19Aと同様の長さの幅W22を有する後表示画像P22を含む。
 サイズ割当部18は、予測移動方向と反対方向に関連する右表示画像P26については、第3の例と比較して右表示画像の幅方向が相対的に圧縮されるように幅W26の長さを割り当てる(幅W26の長さ<幅W23の長さ)。一方サイズ割当部18は、それ以外の後ろ側に関連する後表示画像P22については、第3の例と同様に幅W22の長さを割り当てる。このようにサイズ割当部18は、抽出画像データの種別に応じて、対応する幅方向の長さを割り当ててよい。
 これにより、実施の形態4と同様の効果を得つつ、車両90のユーザが車両90の後方側の状況も確認することができる。
 なおサイズ割当部18は、第4の例において、車両90の後方の他車両H6の移動速度に応じて、後表示画像に対して、第3の例における幅方向の長さと異なる幅方向の長さを割り当ててよい。たとえばサイズ割当部18は、第4の例において、車両90の後方の他車両H6の移動速度が所定閾値未満である場合に、後表示画像の幅方向の長さが第3の例よりも小さくなるように、幅方向の長さを割り当ててよい。
 図19Cに示すように表示画像P205は、図19Aの右表示画像P23および後表示画像P22に代えて、幅W29を有する右表示画像P29と、幅W28を有する後表示画像P28とを含む。後表示画像P28の幅W28は、後表示画像P22の幅W22よりも短い。これにより右表示画像P29の幅W29は、図19Bに示す右表示画像P26の幅W26よりも長くなる。
 これにより、右表示画像P29は、右表示画像P23に対する幅方向の圧縮率が、右表示画像P26に比べて小さくなる。つまり右表示画像P29は、右表示画像P26に比べて画像の歪みが軽減される。したがって、実施の形態4と同様の効果を得つつ、車両のユーザが車両の予測移動方向と反対側の状況も容易に確認することができる。
 <実施の形態5>
 次に図20~21を用いて、本発明の実施の形態5について説明する。実施の形態5は、抽出画像の画角の大きさが予測移動方向に加えて車両90の移動速度に基づいて設定され、表示画像の画像サイズが画角の大きさに基づいて割り当てられることに特徴を有する。本実施の形態5の表示制御装置50は、実施の形態4の表示制御装置40と基本的に同様の構成および機能を有する。以下実施の形態4との相違点を中心に説明する。
 本実施の形態5で車両の動作状態は、車両の移動方向の変更に加えて車両の移動速度を含む。そして本実施の形態5にかかる抽出画像データ生成部13は、車両の移動方向の変更に加えて、車両の移動速度に応じて画角を設定する。そして抽出画像データ生成部13は、予測移動方向および移動速度に基づいて設定された画角にかかる抽出画像の抽出画像データを生成する。
 また本実施の形態5にかかるサイズ割当部18は、上述のように生成された複数の抽出画像データの各々に対応する表示画像の画像サイズを割り当てる。
 ここで実施の形態5の画角について、図20を用いて説明する。図20は、実施の形態5にかかる表示制御装置50を搭載した車両90におけるカメラ91の撮影範囲を示す上面図である。図20に示した車両90の上面図は、左カメラ91Aの画角A13と、右カメラ91Bの画角B13とをさらに有する点が、図14と異なる。
 図20において、左カメラ91Aから車両90の左後方へ放射状に延びる実線は、左カメラ91Aの撮影画像から抽出される抽出画像の画角A11、画角A11より広い画角A12および画角A12より広い画角A13を示している。
 図20において、右カメラ91Bから車両90の右後方へ放射状に延びる実線は、右カメラ91Bの撮影画像から抽出される抽出画像の画角B11、画角B11より広い画角B12および画角B12より広い画角B13を示している。
 例えば、抽出画像データ生成部13は、車両90が進行方向に直進し続ける場合、抽出画像にかかる画角を画角A11に設定する。例えば、抽出画像データ生成部13は、車両90の移動方向の変更が検出され、予測移動方向が第1方向であり、かつ移動速度が第1速度の場合には抽出画像にかかる画角を画角A12に設定する。抽出画像データ生成部13は、車両90の移動方向の変更が検出され、予測移動方向が第1方向であり、かつ移動速度が第1速度より遅い第2速度の場合には抽出画像にかかる画角を画角A13に設定する。
 なお予測移動方向が第2方向である場合、画角A11を画角B11に、画角A12を画角B12に、画角A13を画角B13に読み替える。
 次に図21を参照して、実施の形態5にかかる表示制御装置50が実行する処理について説明する。図21は、実施の形態5にかかる表示制御装置50のフローチャートである。図21に示すステップは、図15に示すステップS32~36に代えて、ステップS40~46を有する。なお図15に示すステップと同様のステップについては、同一の記号を付して説明を適宜省略する。
 ステップS40において、動作状態検出部12は、車両90の移動方向の変更を検出し、予測移動方向情報を取得したことに応じて(ステップS31:Yes)、車両の移動速度に関する移動速度情報を取得する。動作状態検出部12は、予測移動方向情報および移動速度情報を抽出画像データ生成部13に供給する。
 そしてステップS42において抽出画像データ生成部13は、予測移動方向情報および移動速度情報に基づいて、互いに種別が異なる複数の抽出画像の各々の画角の大きさを設定する。
 次にステップS44において、抽出画像データ生成部13は、複数の抽出画像の各々に設定された画角を用いて、複数の抽出画像の各々に対応する抽出画像データを生成する。このとき予測移動方向が第1方向であり、かつ移動速度が所定閾値以上である場合、抽出画像データ生成部13は、画角A12にかかる抽出画像の第1抽出画像データと、画角B11にかかる抽出画像の第2抽出画像データとを生成する。また予測移動方向が第1方向であり、かつ移動速度が所定閾値未満である場合、抽出画像データ生成部13は、画角A13にかかる抽出画像の第1抽出画像データと、画角B11にかかる抽出画像の第2抽出画像データとを生成する。一方、移動方向の変更が検出されず、予測移動方向が取得されない場合、抽出画像データ生成部13は、画角A11にかかる抽出画像の第1抽出画像データと、画角B11にかかる抽出画像の第2抽出画像データとを生成する。そして抽出画像データ生成部13は、生成した複数の抽出画像データを表示画像データ生成部14に供給する。
 ステップS45は、ステップS35と同様である。
 次にステップS46において、サイズ割当部18は、複数の抽出画像データの各々に対して、設定された画角の大きさに応じて表示画像の画像サイズを割り当てる。このときサイズ割当部18は、予測移動方向に関連する第1抽出画像データに対応する画角の大きさに基づいて、第1表示画像の第1画像サイズを割り当て、総画像サイズと第1画像サイズとの間の差分に基づいて、第2表示画像の第2画像サイズを割り当ててよい。すなわちサイズ割当部18は、第1抽出画像データに対応する画角の大きさに基づいて、第2抽出画像データに対応する表示画像の画像サイズを決定してよい。サイズ割当部18は、複数の抽出画像データの各々に対応する表示画像の画像サイズに関する情報を、表示画像データ生成部14に供給し、処理をステップS37に進める。
 このように実施の形態5にかかる表示制御装置50は、複数の抽出画像データの各々に対して予測移動方向および移動速度に基づいて設定された画角の大きさに基づいて画像サイズを割り当て、当該画像サイズの表示画像を表示させる。したがって、車両90が移動方向の変更ポイントに近づいて移動速度を落とした場合に、表示部分の面積を拡大することなく、車両90のユーザが確認したい場所のより広い範囲の情報をより容易に確認することができる。したがって実施形態5にかかる表示制御装置50は、カメラが撮影した画像を好適に表示させることで、より好適にユーザの運転支援を行うことが出来る。
 <実施の形態6>
 次に、実施の形態6について説明する。実施の形態6は、表示制御装置が指標画像データを表示部92に表示させることに特徴を有する。図22は、実施の形態6にかかる表示制御装置のブロック図である。実施の形態6にかかる表示制御装置60は、表示制御装置50の構成に加えて指標画像データ生成部16を有している。
 図23は、実施の形態6にかかる表示部92に表示される表示画像の例を示す図である。図23に示す画像P206は、図17に示した画像P201に、指標画像を重畳させたものである。左表示画像P24の上部には指標画像G24が重畳されている。右表示画像P26の上部には指標画像G26が重畳されている。
 指標画像G26は、指標画像G24よりも相対的に幅方向が圧縮された形状となっている。これは、指標画像G26にかかる右表示画像P26が相対的に幅方向に圧縮されたものであることを示している。このような表示により、ユーザは、指標画像を視認した場合に、当該指標画像にかかる表示画像がどのように歪んでいるかを直感的に理解できる。
 以上、実施の形態6について説明した。実施の形態6にかかる表示制御装置60は、画像の幅方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態6によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。
 <実施の形態7>
 次に、実施の形態7について説明する。実施の形態7は、表示制御装置が車両情報に基づいて車両の動作状態を検出することに特徴を有する。図24は、実施の形態7にかかる表示制御装置のブロック図である。本実施の形態7にかかる表示制御装置70は、表示制御装置60の構成に加えて、車両情報取得部17を有する。
 次に図25を参照して、実施の形態7にかかる表示制御装置70が実行する処理について説明する。図25は、実施の形態7にかかる表示制御装置70のフローチャートである。図25に示すステップは、図21に示すステップS31に代えて、ステップS60と、ステップS62とを有する。なお図21に示すステップと同様のステップについては、同一の記号を付して説明を適宜省略する。
 ステップS60において、表示制御装置40の動作状態検出部12は、車両90の動作状態として、車両90の方向指示器がオンか否かを判断する。動作状態検出部12は車両90の方向指示器がオンであると判断した場合(ステップS60:Yes)、予測移動方向情報を生成する。そして動作状態検出部12は、予測移動方向情報を抽出画像データ生成部13およびサイズ割当部18に供給し、処理をステップS40に進める。一方、動作状態検出部12は、車両90の方向指示器がオンであると判断しない場合(ステップS60:No)、処理をステップS44に進める。
 ステップS62において、指標画像データ生成部16は、複数の表示画像の各々に対して指標画像データを生成する。そして指標画像データ生成部16は、出力部15に指標画像データを供給する。なおステップS38においては、出力部15は、複数の表示画像データの各々と、これに対応する指標画像データとを表示部92に出力する。
 以上、実施の形態7について説明した。実施の形態7にかかる表示制御装置70は、車両90の運転状態に応じて、抽出画像の画角を設定できる。そして実施の形態7にかかる表示制御装置70は、画像の幅方向を圧縮して表示するとともに、表示画像が圧縮されて歪んだ状態であることを示す指標画像を表示する。よって、実施の形態7によれば、カメラが撮影した画像を好適に表示する表示制御装置等を提供することができる。
 なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
 なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
 この出願は、2020年3月27日に出願された日本出願特願2020-057306及び2020年3月27日に出願された日本出願特願2020-057308を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本実施形態にかかる表示制御装置は、例えば車両の走行時に運転者が周囲の環境を認識するために利用可能である。
 10,20,30,40,50,60,70 表示制御装置
 11 撮影データ取得部
 12 動作状態検出部
 13 抽出画像データ生成部
 14 表示画像データ生成部
 15 出力部
 16 指標画像データ生成部
 17 車両情報取得部
 18 サイズ割当部
 90 車両
 91 カメラ
 91A 左カメラ
 91B 右カメラ
 91C 後カメラ
 92 表示部
 93 ECU

Claims (10)

  1.  カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得部と、
     前記車両の動作状態を検出する動作状態検出部と、
     前記動作状態に応じて設定した画角により前記撮影データにかかる画像から抽出画像データを生成する抽出画像データ生成部と、
     前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成部と、
     前記画像サイズを有する表示部に前記表示画像データを出力する出力部と、を備える
    表示制御装置。
  2.  前記車両の運転状態に関する車両情報を取得する車両情報取得部をさらに備え、
     前記動作状態検出部は、前記車両情報に基づいて前記動作状態を検出する
    請求項1に記載の表示制御装置。
  3.  前記動作状態検出部は、前記車両の移動速度を検出し、
     前記抽出画像データ生成部は、前記移動速度が第1速度における第1画角を
    前記第1速度より遅い第2速度における第2画角より狭く設定した抽出画像データを生成する
    請求項1または2に記載の表示制御装置。
  4.  前記表示画像データ生成部は、前記抽出画像データ生成部が、前記第2画角に設定された前記抽出画像データを生成した場合、前記表示部が有する前記画像サイズに変換するために前記抽出画像データの圧縮を行って、前記表示画像データを生成する
    請求項3に記載の表示制御装置。
  5.  前記動作状態が検出されたことに応じて、前記抽出画像データの各々に対応する表示画像の画像サイズを表示部の総画像サイズに合わせて割り当てるサイズ割当部をさらに備え、
     前記表示画像データ生成部は、前記抽出画像データの各々に対して、割り当てられた画像サイズに合わせた表示画像データを生成する
    請求項1に記載の表示制御装置。
  6.  前記抽出画像データは、第1抽出画像データと、第2抽出画像データとを有し、
     前記サイズ割当部は、前記第1抽出画像データに対応する画角の大きさに基づいて、前記第2抽出画像データに対応する表示画像の画像サイズを決定する
    請求項5に記載の表示制御装置。
  7.  前記抽出画像データは、前記車両に対して第1方向側の風景に関連する第1抽出画像データと、前記車両に対して第2方向側の風景に関連する第2抽出画像データとを有し、
     前記動作状態は、前記車両の移動方向の変更を含み、
     前記サイズ割当部は、変更される前記移動方向が前記第1方向であることに応じて、前記第1抽出画像データに対応する表示画像の1次方向の長さが、前記第2抽出画像データに対応する表示画像の1次方向の長さよりも大きくなるように、画像サイズを割り当てる
    請求項5または6に記載の表示制御装置。
  8.  前記表示画像の歪みを表すための指標画像データを生成する指標画像データ生成部をさらに備える
    請求項1から7のいずれか一項に記載の表示制御装置。
  9.  カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得ステップと、
     前記車両の動作状態を検出する動作状態検出ステップと、
     前記動作状態に応じて設定した画角により前記撮影データにかかる画像から抽出画像データを生成する抽出画像データ生成ステップと、
     前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成ステップと、
     前記画像サイズを有する表示部に前記表示画像データを出力する出力ステップと、を備える
    表示制御方法。
  10.  カメラが車両の外部の風景を撮影した撮影データを取得する撮影データ取得ステップと、
     前記車両の動作状態を検出する動作状態検出ステップと、
     前記動作状態に応じて設定した画角により前記撮影データにかかる画像から抽出画像データを生成する抽出画像データ生成ステップと、
     前記抽出画像データから予め設定された画像サイズを有する表示画像にかかる表示画像データを生成する表示画像データ生成ステップと、
     前記画像サイズを有する表示部に前記表示画像データを出力する出力ステップと、を備える
    表示制御方法を、コンピュータに実行させる
    プログラム。
PCT/JP2020/037984 2020-03-27 2020-10-07 表示制御装置、表示制御方法およびプログラム WO2021192373A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20928004.9A EP4131944A4 (en) 2020-03-27 2020-10-07 DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM
US17/898,403 US20220408062A1 (en) 2020-03-27 2022-08-29 Display control apparatus, display control method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-057306 2020-03-27
JP2020057308A JP7459608B2 (ja) 2020-03-27 2020-03-27 表示制御装置、表示制御方法およびプログラム
JP2020-057308 2020-03-27
JP2020057306A JP7459607B2 (ja) 2020-03-27 2020-03-27 表示制御装置、表示制御方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/898,403 Continuation US20220408062A1 (en) 2020-03-27 2022-08-29 Display control apparatus, display control method, and program

Publications (1)

Publication Number Publication Date
WO2021192373A1 true WO2021192373A1 (ja) 2021-09-30

Family

ID=77891695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037984 WO2021192373A1 (ja) 2020-03-27 2020-10-07 表示制御装置、表示制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20220408062A1 (ja)
EP (1) EP4131944A4 (ja)
WO (1) WO2021192373A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7244562B2 (ja) * 2021-03-23 2023-03-22 本田技研工業株式会社 移動体の制御装置及び制御方法並びに車両

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259356A (ja) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd 車両周辺監視装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2012140106A (ja) * 2011-01-05 2012-07-26 Denso Corp 後方視界支援システム
JP2013005032A (ja) * 2011-06-13 2013-01-07 Alpine Electronics Inc 車載カメラ姿勢検出装置
JP2015202769A (ja) * 2014-04-14 2015-11-16 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2017073733A (ja) * 2015-10-09 2017-04-13 株式会社東海理化電機製作所 車両用視認装置及び車両用視認制御プログラム
JP2018039394A (ja) * 2016-09-08 2018-03-15 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP2019102929A (ja) * 2017-11-30 2019-06-24 パナソニックIpマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法
JP2020057308A (ja) 2018-10-04 2020-04-09 アズビル株式会社 ワーク検査装置
JP2020057306A (ja) 2018-10-04 2020-04-09 富士通株式会社 最適化装置及び最適化装置の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259356A (ja) * 2002-03-05 2003-09-12 Nissan Motor Co Ltd 車両周辺監視装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP2012140106A (ja) * 2011-01-05 2012-07-26 Denso Corp 後方視界支援システム
JP2013005032A (ja) * 2011-06-13 2013-01-07 Alpine Electronics Inc 車載カメラ姿勢検出装置
JP2015202769A (ja) * 2014-04-14 2015-11-16 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2017073733A (ja) * 2015-10-09 2017-04-13 株式会社東海理化電機製作所 車両用視認装置及び車両用視認制御プログラム
JP2018039394A (ja) * 2016-09-08 2018-03-15 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018074503A (ja) * 2016-11-02 2018-05-10 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP2019102929A (ja) * 2017-11-30 2019-06-24 パナソニックIpマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法
JP2020057308A (ja) 2018-10-04 2020-04-09 アズビル株式会社 ワーク検査装置
JP2020057306A (ja) 2018-10-04 2020-04-09 富士通株式会社 最適化装置及び最適化装置の制御方法

Also Published As

Publication number Publication date
US20220408062A1 (en) 2022-12-22
EP4131944A1 (en) 2023-02-08
EP4131944A4 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
KR102140526B1 (ko) 어라운드 뷰 장치
JP4569285B2 (ja) 画像処理装置
CN111095921A (zh) 显示控制装置
WO2015133072A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7342024B2 (ja) 撮影装置、制御方法、及び、プログラム
WO2021192373A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP4791222B2 (ja) 表示制御装置
JP2007266703A5 (ja)
US10821900B2 (en) Image processing device
JP7459608B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP7459607B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
US10682956B2 (en) Image processing device
JP2020074503A (ja) 画像処理装置、画像処理方法および車載装置
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
JP2019125894A (ja) 車載画像処理装置
JP7183562B2 (ja) 画像処理装置
JP2018152822A (ja) 車両用映像表示装置
JP2023179496A (ja) 画像処理装置及び画像処理方法
JP2008219504A (ja) 撮像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928004

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020928004

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2020928004

Country of ref document: EP

Effective date: 20221027

NENP Non-entry into the national phase

Ref country code: DE