WO2016072065A1 - 車両用映像処理装置 - Google Patents

車両用映像処理装置 Download PDF

Info

Publication number
WO2016072065A1
WO2016072065A1 PCT/JP2015/005421 JP2015005421W WO2016072065A1 WO 2016072065 A1 WO2016072065 A1 WO 2016072065A1 JP 2015005421 W JP2015005421 W JP 2015005421W WO 2016072065 A1 WO2016072065 A1 WO 2016072065A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
module
camera
vehicle
video data
Prior art date
Application number
PCT/JP2015/005421
Other languages
English (en)
French (fr)
Inventor
知広 伊藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/519,496 priority Critical patent/US10464483B2/en
Publication of WO2016072065A1 publication Critical patent/WO2016072065A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/20—Dashboard panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present disclosure relates to a vehicle image processing device that displays an image from a photographing unit that photographs the periphery of a vehicle on a display unit.
  • a rear camera image (hereinafter referred to as a camera image) on a display arranged on an instrument panel by a video processing device, for example, when a user (driver) performs a backward operation. Accordingly, the user can operate the vehicle backward while confirming the safety behind the vehicle by viewing the camera image.
  • the module for displaying the camera image is executed by an HMI (Human Machine Interface) process that is slow to start up, it takes a relatively long time to display the camera image.
  • HMI Human Machine Interface
  • the reverse operation is started.
  • the camera image is required to be displayed within 2 seconds.
  • the time of 4 seconds allows for a preparation time from when the CPU is activated until the display of the camera video can be executed. For this reason, the conventional video display apparatus has a problem that the KT method cannot be satisfied.
  • Patent Document 1 in addition to the above-described CPU (hereinafter referred to as main CPU), a sub CPU that directly displays a camera image on a display is provided, and the first backward operation by the user is performed.
  • the so-called camera-through in which the camera image is directly displayed on the display by the sub CPU is executed. That is, instead of activating the module for displaying the camera video by the HMI process by the main CPU, the sub CPU executes camera through to quickly display the camera video on the display.
  • the KT method is satisfied by switching from the camera through video by the sub CPU to the guide line drawing video by the main CPU. I am doing so.
  • Patent Document 1 when switching from the camera-through video by the sub CPU to the drawing image of the guide line by the main CPU, noise is displayed on the display for a short time because the switching timing and the display timing are not synchronized. This causes the phenomenon that Therefore, at the timing of switching from the camera-through video by the sub CPU to the drawing image of the guide line by the main CPU, a black screen (black screen) is displayed, for example, for 2 seconds in order to conceal noise, thereby improving the appearance. I have to.
  • the display of the camera image by camera through is extended until the backward operation is canceled, and the guide line is displayed at the time of the first backward operation by the user. The fact is that is not displayed.
  • the main CPU completes the activation of the module for displaying the camera image and the module for drawing the guide line, so the camera image is displayed without displaying a black image on the camera image.
  • a guide line can be drawn.
  • the present disclosure has been made in view of the above circumstances, and one of its purposes is to quickly display an image of a photographing unit that captures the periphery of a vehicle during a backward operation by a user and to display a black image on the image. It is an object of the present invention to provide a vehicular video processing apparatus that can process data without doing so.
  • a video processing apparatus for a vehicle is provided to input a video signal from a shooting unit that captures the periphery of the vehicle, and converts the input video signal into video data of a predetermined standard according to an external command.
  • a signal conversion circuit and video data from the signal conversion circuit are provided.
  • the image of the imaging unit is displayed on the display unit by sequentially starting a plurality of modules, and data processing is performed on the video.
  • a control circuit When the user performs a backward operation, the control circuit activates the first module that displays the video data input from the signal conversion circuit as it is on the display unit, and then performs predetermined data processing on the video data. Start the second module.
  • the control circuit when the user performs a backward operation, the control circuit activates the first module that displays the image of the photographing unit on the display unit.
  • the video around the vehicle can be displayed quickly.
  • the second module that performs data processing on the video data of the photographing unit is started next, the video data of the photographing unit can be processed quickly.
  • the control circuit directly processes the video data of the photographing unit, it is not necessary to display a black image.
  • FIG. 1 is a functional block diagram illustrating a configuration of a video processing apparatus according to an embodiment.
  • FIG. 2 is a diagram illustrating a relationship between modules executed by the main CPU and the sub CPU.
  • FIG. 3 is a diagram showing the activation order of each module in comparison with the prior art.
  • FIG. 4 is a timing chart showing the module activation order.
  • FIG. 5 is a diagram illustrating display contents displayed on the first display unit.
  • FIG. 6 is a diagram illustrating an image of the rear camera.
  • FIG. 7 is a diagram illustrating an image of a rear camera in which a guide line and user support information are drawn.
  • the video processing apparatus 1 is mounted on a vehicle (not shown) and may be fixedly attached to the vehicle or detachably attached.
  • the video processing apparatus 1 includes a digital board 2 and a power supply board 3, and the boards 2 and 3 are electrically connected through wiring.
  • FIG. 1 only the configuration of the video processing system is shown, and the configuration of the audio processing system is omitted.
  • the digital board 2 is a board that controls the entire operation.
  • the main CPU 4 control circuit
  • the memory 5 the PMIC (Power Management Integrated Circuit) 6, the receivers 7 and 8, the video processing ASIC (application specific integrated circuit) 9 (signals) Conversion circuit), I / O 10, SD memory card (registered trademark) 11, USB hub 12, transmitter 13 and the like are mounted.
  • the main CPU 4 is a one-core or two-core general-purpose CPU that operates at an operating frequency of 1 GHz to 2 GHz, for example.
  • the main CPU 4 reads the OS (Operating System) and modules (programs) stored in the SD memory card 11 into the memory 5 and executes them to execute video processing.
  • OS Operating System
  • modules programs
  • the PMIC 6 manages the operating power of the main CPU 4, and periodically determines a state of the main CPU 4 by inputting a state notification command indicating its own state from the main CPU 4, and supplies it to the main CPU 4 according to the determination result. Control the operating power. That is, if the PMIC 6 determines that the main CPU 4 is in a low load state (idle state or the like), the operating power supplied to the main CPU 4 is reduced to give priority to power saving, while the main CPU 4 determines that the main CPU 4 is in a high load state. Then, the operating power supplied to the main CPU 4 is increased to give priority to the processing speed.
  • the receiver 7 inputs a video signal based on, for example, LVDS (Low Voltage Differential Signaling) standard from the navigation device 14 connected to the outside, converts the input video signal into DRGB standard in parallel, and outputs it to the video processing ASIC 9.
  • LVDS Low Voltage Differential Signaling
  • the receiver 8 inputs a video signal according to the HDMI (High-Definition Multimedia Interface (registered trademark)) standard from an AV (Audio Visual) device 15 connected to the outside, converts the video signal to the YUV standard in parallel, and performs video processing. To the ASIC 9 for use.
  • HDMI High-Definition Multimedia Interface (registered trademark)
  • AV Audio Visual
  • the video processing ASIC 9 can input video data of a plurality of standards, converts the input video data into a predetermined standard, and outputs it to the I / O 10.
  • the main CPU 4 is a general-purpose CPU and cannot directly input and process the video data output from the receivers 7 and 8, so that the standard of the video data can be processed by the main CPU 4 by the video processing ASIC 9. Is converted to. For example, when the input video signal is DRGB standard, it is output as it is, DRGB standard is converted to YUV standard, or DRGB standard is converted to RAW standard.
  • the USB hub 12 receives USB 2.0 standard video data from the external connection device 16 and outputs it to the I / O 10.
  • the I / O 10 can output video data input from the video processing ASIC 9 and the USB hub 12 to the second display unit 17 via the transmitter 13 according to the LVDS standard.
  • the 2nd display part 17 is installed in the instrument panel in a vehicle interior.
  • the I / O 10 is connected to the main CPU 4 via a PCI-express standard bus and can output video data to the main CPU 4.
  • the main CPU 4 can output the processed video data to the I / O 10 according to the SDVO (Serial Digital Video Out) standard.
  • SDVO Serial Digital Video Out
  • a first display unit 18 (corresponding to a display unit and display means) and a touch panel 19 are integrally provided on the power supply substrate 3.
  • the first display unit 18 includes a backlight LED 20, an LCD control circuit 21, and a liquid crystal display unit 22.
  • the LCD control circuit 21 controls display on the liquid crystal display unit 22.
  • the touch panel 19 outputs data indicating the touch position to the I / O 10 of the digital board 2.
  • a power supply unit 23 On the power supply board 3, a power supply unit 23, a sub CPU 24, a flash memory 25, a video decoder 26 (signal conversion circuit), an LED driver 27, a CAN (Controller (Area Network) driver 28, and the like are mounted.
  • the power supply unit 23 steps down the voltage supplied from a vehicle power supply (vehicle battery) mounted on the vehicle to a predetermined power supply voltage in response to an operation of an Acc switch (not shown) by the user to the digital board 2 and This is supplied to each electric circuit in the power supply board 3.
  • a vehicle power supply vehicle battery mounted on the vehicle
  • Acc switch not shown
  • the sub CPU 24 reads and executes an OS having a small capacity called a real-time OS stored in the flash memory 25.
  • the sub CPU 24 is network-connected to another ECU (Engine Control Unit, not shown) through the CAN driver 28, and acquires information necessary for camera control from the other ECU.
  • Information necessary for camera control includes shift information from the shift position sensor, steering angle information from the steering angle sensor, and the like.
  • the video decoder 26 receives a video signal of NTSC (National Television System Committee) standard from a rear camera 29 (corresponding to a photographing unit and photographing means) for photographing the rear of the vehicle, and receives the video signal input according to a command from the sub CPU 24.
  • the YUV standard video data is generated by decoding, and the video data is output to the video processing ASIC 9. Further, the video decoder 26 outputs the video data input from the main CPU 4 to the first display unit 18 in response to a command from the sub CPU 24.
  • the first display unit 18 draws a video based on the video data input from the video decoder 26. Similar to the second display unit 17, the first display unit 18 is installed on an instrument panel in the passenger compartment, and is disposed above the second display unit 17.
  • the 1st display part 18 displays the map image by the navigation apparatus 14, or displays the image
  • the second display unit 17 has low importance such as auxiliary information, air conditioner information, and audio information of the navigation device 14 in accordance with an operation by an operation button (not shown) arranged around the second display unit 17. Display information.
  • the LED driver 27 turns on the backlight LED 20 in response to a command from the sub CPU 24.
  • the main CPU 4 of the digital board 2 activates each module shown in FIG. 2 by executing the OS.
  • the I / O control module 30 (fourth module) always turns on the rear camera 29. This eliminates the need to wait for video synchronization until the rear camera 29 is turned on, thereby reducing the time until the camera video is displayed.
  • the power supply of the rear camera 29 is turned off when Acc is turned off.
  • the camera video control module 31 (first module) is a module that is not set in the conventional opening process, as shown in FIG. In other words, in order to satisfy the performance requirement for quickly displaying the camera video, the startup performance equivalent to the display of the opening image is required, and thus it is newly added to the opening process.
  • the camera video control module 31 When the camera video data is input from the video processing ASIC 9, the camera video control module 31 outputs the video data as it is to the drawing control module 32.
  • the drawing control module 32 converts the input video data into data that can be drawn and outputs the data to the graphics module 33. Then, the graphics module 33 renders the input data 18 on the first display unit.
  • the information providing module 34 provides the camera video control module 31 with information acquired by the camera communication control module 35 executed by the sub CPU 24. That is, since the camera communication control module 35 has acquired information necessary for camera display from another ECU via the CAN network, the camera communication control module 35 provides the information.
  • the information providing module 34 is a newly added module and has a low activation order. That is, if the main CPU 4 tries to acquire information necessary for displaying the camera video at an early stage, the activation of the main CPU 4 is delayed and the influence on the activation performance time is increased.
  • the display backlight control module 36 executed by the sub CPU 24 adjusts the illuminance of the backlight LED 20 based on information (illuminance operation information by the user) acquired by the camera communication control module 35.
  • the camera control module 37 and the guide line drawing module 38 constitute a newly added camera process as shown in FIG. 3, and draw a guide line on the camera video.
  • the camera control module 37 and the guide line drawing module 38 are configured as camera processes independent of the conventional HMI process, and the activation order is higher than that of the HMI process. That is, if the guide line is to be drawn quickly by the conventional HMI process, process separation from the HMI process is required, and the man-hour increases and the activation of the main CPU 4 is delayed.
  • the guide line drawing module 38 draws guide lines on the camera video.
  • a vehicle width extension line 38a (indicated by a solid line) indicating a line extending the vehicle width
  • a route prediction line 38b (indicated by a broken line) indicating a line predicting a backward traveling path of the vehicle.
  • a distance guide line 38c (indicated by a two-dot chain line) indicating, for example, about 0.5 meters away from the rear end of the vehicle.
  • the first display unit 18 displays the vehicle width extension line 38a in green, the route prediction line 38b in yellow, and the distance guide line 38c in red, thereby facilitating the visual recognition of the guide line.
  • the HMI control module 39 (third module) draws user support information on the camera video, and is set to the same startup timing as shown in FIG. As this user support information, as shown in FIG. 7, a “route clear” button 38 d and a “parallel parking guide” button 38 e that can be operated by the user, and a caution statement 38 f that “please directly check the vicinity of the vehicle”. It is.
  • the drawing surface control module 40 delivers the video data from the camera video control module 31, the camera control module 37, the guide line drawing module 38, and the HMI control module 39 to the drawing control module 32.
  • the camera video control module 31 and the drawing surface control module 40 take over video data between them and are not affected by other modules. This is to prevent the map image from the navigation device 14 from being displayed during the display of the camera video.
  • the power supply unit 23 supplies power to the electric circuits of the power supply board 3 and the digital board 2.
  • the sub CPU 24 starts and reads and executes the OS stored in the flash memory 25.
  • the main CPU 4 when the main CPU 4 is started by being supplied with operating power, as shown in FIG. 4, the main CPU 4 starts a BIOS (Basic Input Input Output System) and performs a hard check.
  • BIOS Basic Input Input Output System
  • the OS stored in the SD memory card 11 is read into the memory 5 and activated, and after the activation of the OS is completed, the entire operation is managed by the OS. In this case, it takes a maximum of 4 seconds from the turning on of Acc to the completion of the OS startup.
  • 4 seconds are expected as a preparation time until the display of the camera image can be executed. Therefore, it is necessary to complete the start of the process of displaying the camera image within 2 seconds after the OS starts up. is there. In other words, if the camera video can be displayed within 2 seconds after the OS has started up, even if the user performs a backward operation immediately after the OS has finished starting up, 2 seconds from the backward operation. This is because the camera image can be displayed within.
  • the sub CPU 24 detects that the user has operated the shift lever to the reverse position through CAN communication, and detects the rear camera 29 with respect to the video decoder 26.
  • the video signal from is signal-converted and output to the video processing ASIC 9.
  • the video decoder 26 performs YUV conversion on the video signal from the rear camera 29 in accordance with a command from the sub CPU 24 and outputs it to the video processing ASIC 9.
  • the video processing ASIC 9 converts the standard of the video data input from the video decoder 26 and outputs it to the main CPU 4 via the I / O 10.
  • the main CPU 4 sequentially activates the modules shown in FIG. Specifically, as shown in FIG. 4, the I / O control module 30 is activated to turn on the power of the rear camera 29, and then the opening module 41 and the camera video control module 31 are activated. When the opening module 41 is activated, an opening image is displayed.
  • the video data of the rear camera 29 input from the video processing ASIC 9 is DRGB converted and output to the first display unit 18 via the video decoder 26.
  • the first display unit 18 displays a camera image that has not undergone data processing. Therefore, the user can view the video taken by the rear camera 29 as it is. That is, the camera through similar to the conventional camera can be executed by the main CPU 4.
  • the main CPU 4 activates the camera control module 37 and the guide line drawing module 38 constituting the camera process to draw a guide line on the camera image. That is, a process of drawing the guide line data on the video data input from the video processing ASIC 9 is executed.
  • this guide line is composed of a vehicle width extension line 38a, a course prediction line 38b, and a distance guide line 38c, and the user can guide the guide line displayed on the video captured by the rear camera 29 ( The vehicle backward direction can be confirmed by the vehicle width extension line 38a, the course prediction line 38b, and the distance guide line 38c).
  • the course prediction line 38 b is created based on the steering angle information from the steering angle sensor input by the sub CPU 24 via the CAN driver 28.
  • the main CPU 4 activates the HMI control module 39 shown in FIG. 2 and draws user support information on the camera video. That is, a process of drawing a camera switch and a warning message on the video data input from the video processing ASIC 9 is executed.
  • the user support information includes a “route clear” button 38d, a “parallel parking guide” button 38e), and a warning word 38f “please check directly around the vehicle”.
  • the user can receive assistance at the time of the backward operation based on the user assistance information displayed on the video captured by the rear camera 29.
  • the main CPU 4 switches to the map image from the navigation device 14, but displays a map image after displaying a black image to prevent noise display at the time of switching.
  • the first display unit 18 displays the opening image ⁇ camera image ⁇ camera image / guide line ⁇ camera image / The guide line / caution statement ⁇ black image ⁇ map image are displayed in this order.
  • the main CPU 4 activates the camera image control module 31 that directly displays the camera image on the first display unit 18 by the OS. Can be displayed quickly.
  • the camera control module 37 and the guide line drawing module 38 for drawing the guide line for the camera image are activated next to the camera image control module 31, the guide line can be quickly drawn for the camera image. .
  • the main CPU 4 directly draws the guide line on the rear camera image, it is not necessary to display a black image.
  • the HMI control module 39 is started next to the camera control module 37 and the guide line drawing module 38, it is possible to prevent the display performance of the camera image from deteriorating.
  • the I / O control module 30 Since the I / O control module 30 is started earlier than the camera video control module 31, it is not necessary to wait for video synchronization until the rear camera 29 is turned on, and the time until the camera video is displayed can be shortened. it can.
  • the main CPU 4 corresponds to a control circuit.
  • the video processing ASIC 9 corresponds to a signal conversion logic circuit.
  • the first display unit 18 corresponds to a display unit (display unit).
  • the video decoder 26 corresponds to a signal conversion circuit.
  • the rear camera 29 corresponds to an imaging unit (imaging unit) and a rear imaging unit.
  • the I / O control module 30 corresponds to the fourth module.
  • the camera video control module 31 corresponds to the first module.
  • the camera control module 37 corresponds to the second module.
  • the guide line drawing module 38 corresponds to the second module.
  • the HMI control module 39 corresponds to the third module.
  • the embodiment is not limited to the above-described embodiment, and can be variously modified or expanded.
  • the digital substrate 2 and the power supply substrate 3 may be integrated.
  • the sub CPU 24 may be omitted, and the operation of the sub CPU 24 may be executed by the main CPU 4.
  • a side camera that captures the side of the vehicle may be mounted so that the video from the side camera can be quickly displayed when the user performs a backward operation.
  • the video decoder 26 may be omitted, and the video processing ASIC 9 may input the video signal from the rear camera 29 and convert the signal standard.
  • the video data processed by the main CPU 4 may be directly output to the first display unit 18.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　車両用映像処理装置を提供する。車両用映像処理装置は、撮影部（２９）から入力した映像信号を外部指令に応じて所定規格の映像データに変換する信号変換回路（９、２６）と、映像データを入力するように設けられ、複数のモジュールを順に起動することにより撮像部の映像を表示部（１８）に表示すると共に、当該映像に対してデータ加工を施す制御回路（４）と、を備える。　制御回路は、ユーザによる後退操作が行なわれた場合は、信号変換回路から入力した映像データを表示部にそのまま表示する第１モジュール（３１）を起動してから、映像データに対して所定のデータ加工を施す第２モジュール（３７，３８）を起動する。

Description

車両用映像処理装置 関連出願の相互参照
　本出願は、２０１４年１１月４日に出願された日本国特許出願２０１４－２２４２１６号に基づくものであり、その開示をここに参照により援用する。
　本開示は、車両周辺を撮影する撮影部からの映像を表示部に表示する車両用映像処理装置に関する。
　近年、車両では、映像処理装置により、例えばユーザ（運転者）による後退操作時にリアカメラの映像（以下、カメラ映像）をインストルメントパネルに配置されたディスプレイに表示することが普及しつつある。従って、ユーザは、カメラ映像を視認することにより車両後方の安全性を確認しながら車両を後退操作することができる。
ＪＰ２０１３－４６６０４Ａ
　さて、映像表示装置に搭載されたＣＰＵ（Central Processing Unit）は、Ａｃｃスイッチのオンに応じて起動すると、メモリに記憶された各種のモジュール（プログラム）を順に起動することによりカメラ映像を表示したり、カメラ映像に車両の後退方向を示すガイド線を描画したりする。
　ここで、カメラ映像を表示するモジュールは起動が遅いＨＭＩ（Human Machine Interface）プロセスで実行していることから、カメラ映像を表示するまでに比較的長い時間を要している。
　ところで、例えばアメリカのＫＴ（Kids and Transportation Safety Act）法では、車両のＡｃｃがオンまたはイグニッションスイッチがオンしてから４秒経過後において、ユーザによる後退操作が行われた場合は、その後退操作から２秒以内にカメラ映像を表示することを要求している。この４秒という時間は、ＣＰＵが起動してからカメラ映像の表示を実行可能となるまでの準備時間を見込んだものである。このため、従来の映像表示装置では、ＫＴ法を満足することができないと問題がある。
　そこで、本出願人が先に出願した特許文献１のものでは、上述したＣＰＵ（以下、メインＣＰＵ）に加えて、カメラ映像をディスプレイに直接表示するサブＣＰＵを設け、ユーザによる最初の後退操作時は、サブＣＰＵによりカメラ映像をディスプレイに直接表示する所謂カメラスルーを実行するようにしている。つまり、メインＣＰＵがＨＭＩプロセスによりカメラ映像を表示するモジュールを起動するのに代えて、サブＣＰＵによりカメラスルーを実行することにより、カメラ映像をディスプレイに迅速に表示しようとするものである。そして、メインＣＰＵによりカメラ映像にガイド線を描画するモジュールの起動が完了している場合には、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替えることで、ＫＴ法を満足するようにしている。
　ところが、特許文献１のものでは、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替える際に、切り替えタイミングと表示タイミングとが同期していないためにディスプレイにノイズが短時間表示されてしまうという現象を生じる。このため、サブＣＰＵによるカメラスルー映像からメインＣＰＵによるガイド線の描画映像に切り替えるタイミングで、ノイズを隠すために黒画（黒の画面）を例えば２秒間表示することにより見映えの改善を図るようにしている。
　しかしながら、カメラ映像に黒画が表示されることは安全上の観点から望ましくないことから、カメラスルーによるカメラ映像の表示を後退操作が解除されるまで延長し、ユーザによる最初の後退操作時にガイド線を表示していないのが実情である。尚、ユーザによる２回目以降の後退操作時では、メインＣＰＵによりカメラ映像を表示するモジュール及びガイド線を描画するモジュールの起動が完了しているので、カメラ映像に黒画を表示することなくカメラ映像にガイド線を描画することができる。
　本開示は上記事情に鑑みてなされたもので、その目的の一つは、ユーザによる後退操作時に車両周辺を撮影する撮影部の映像を迅速に表示できると共に、その映像に対して黒画を表示することなくデータ加工することができる車両用映像処理装置を提供することにある。
　本開示の一側面に係る車両用映像処理装置は、車両周辺を撮影する撮影部から映像信号を入力するように設けられ、入力した映像信号を外部指令に応じて所定規格の映像データに変換する信号変換回路と、信号変換回路からの映像データを入力するように設けられ、複数のモジュールを順に起動することにより撮像部の映像を表示部に表示すると共に、当該映像に対してデータ加工を施す制御回路と、を備える。　制御回路は、ユーザによる後退操作が行なわれた場合は、信号変換回路から入力した映像データを表示部にそのまま表示する第１モジュールを起動してから、映像データに対して所定のデータ加工を施す第２モジュールを起動する。
　この車両用映像処理装置によれば、制御回路は、ユーザによる後退操作が行なわれた場合は、撮影部の映像を表示部に表示する第１モジュールを起動するので、従来のカメラスルーと同様に、車両周辺の映像を迅速に表示できる。また、撮影部の映像データにデータ加工を施す第２モジュールを次に起動するので、撮影部の映像データを迅速にデータ加工することができる。この場合、制御回路が撮影部の映像データを直接データ加工するので、黒画を表示する必要を生じない。
　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図１は、一実施形態における映像処理装置の構成を示す機能ブロック図である。 図２は、メインＣＰＵとサブＣＰＵが実行するモジュールの関係を示す図である。 図３は、各モジュールの起動順を従来と比較して示す図である。 図４は、モジュールの起動順番を示すタイミング図である。 図５は、第１表示部に表示される表示内容を示す図である。 図６は、リアカメラの映像を示す図である。 図７は、ガイド線及びユーザ支援情報を描画したリアカメラの映像を示す図である。
　以下、一実施形態について図面を参照して説明する。
　図１に示すように、映像処理装置１は車両（図示せず）に搭載されるもので、車両に固定的に取付けても良いし、着脱可能に取付けても良い。映像処理装置１はデジタル基板２と電源基板３とから構成されており、それらの基板２，３は配線を通じて電気的に接続されている。尚、図１では、映像処理系の構成のみを図示し、音声処理系の構成は省略した。
　デジタル基板２は全体の動作を制御する基板で、メインＣＰＵ４（制御回路）、メモリ５、ＰＭＩＣ（Power Management Integrated Circuit）６、レシーバ７，８、映像処理用ＡＳＩＣ（application specific integrated circuit）９（信号変換回路）、Ｉ／Ｏ１０、ＳＤメモリカード（登録商標）１１、ＵＳＢハブ１２、トランスミッタ１３などが実装されている。
　メインＣＰＵ４は、例えば１ＧＨｚ～２ＧＨｚの動作周波数で動作する１コア又は２コアタイプの汎用ＣＰＵである。メインＣＰＵ４は、ＳＤメモリカード１１に記憶されているＯＳ（Operating System）及びモジュール（プログラム）をメモリ５に読込んで実行することにより映像処理を実行する。
　ＰＭＩＣ６は、メインＣＰＵ４の動作電力を管理するもので、メインＣＰＵ４から自己の状態を示す状態通知コマンドを定期的に入力することでメインＣＰＵ４の状態を判定し、判定結果に応じてメインＣＰＵ４に供給する動作電力を制御する。即ち、ＰＭＩＣ６は、メインＣＰＵ４が低負荷状態（アイドル状態等）であると判定すると、メインＣＰＵ４に供給する動作電力を低下して省電力を優先する一方、メインＣＰＵ４が高負荷状態であると判定すると、メインＣＰＵ４に供給する動作電力を増加させて処理速度を優先する。
　レシーバ７は、外部に接続されるナビゲーション装置１４から例えばＬＶＤＳ（Low Voltage Differential Signaling）規格による映像信号を入力し、その入力した映像信号をＤＲＧＢ規格にパラレル変換して映像処理用ＡＳＩＣ９に出力する。
　レシーバ８は、外部に接続されるＡＶ（Audio Visual）装置１５からＨＤＭＩ（High-Definition Multimedia Interface（登録商標））規格による映像信号を入力し、その映像信号をＹＵＶ規格にパラレル変換して映像処理用ＡＳＩＣ９に出力する。
　映像処理用ＡＳＩＣ９は複数の規格の映像データを入力可能であり、入力した映像データを所定規格に変換してＩ／Ｏ１０に出力する。つまり、メインＣＰＵ４は汎用ＣＰＵであり、レシーバ７，８から出力される映像データを直接入力して処理することができないことから、映像処理用ＡＳＩＣ９により映像データの規格をメインＣＰＵ４が処理可能な規格に変換するのである。例えば、入力した映像信号がＤＲＧＢ規格の場合はそのまま出力したり、ＤＲＧＢ規格をＹＵＶ規格に変換したり、ＤＲＧＢ規格をＲＡＷ規格に変換したりする。
　ＵＳＢハブ１２は、外部接続機器１６からＵＳＢ２．０規格の映像データを入力し、Ｉ／Ｏ１０に出力する。
　Ｉ／Ｏ１０は、映像処理用ＡＳＩＣ９、ＵＳＢハブ１２から入力した映像データをトランスミッタ１３を介してＬＶＤＳ規格により第２表示部１７に出力可能である。第２表示部１７は、車室内のインストルメントパネルに設置されている。また、Ｉ／Ｏ１０は、メインＣＰＵ４とＰＣＩ－ｅｘｐｒｅｓｓ規格のバスにより接続されており、メインＣＰＵ４に映像データを出力可能である。
　メインＣＰＵ４は、データ加工した映像データをＳＤＶＯ（Serial Digital Video Out）規格によりＩ／Ｏ１０に出力可能である。
　電源基板３には第１表示部１８（表示部および表示手段に対応）及びタッチパネル１９が一体的に設けられている。第１表示部１８は、バックライトＬＥＤ２０、ＬＣＤ制御回路２１、液晶表示部２２を備えている。ＬＣＤ制御回路２１は、液晶表示部２２の表示を制御する。タッチパネル１９は、タッチ位置を示すデータをデジタル基板２のＩ／Ｏ１０に出力する。
　電源基板３には、電源供給部２３、サブＣＰＵ２４、フラッシュメモリ２５、ビデオデコーダ２６（信号変換回路）、ＬＥＤドライバ２７、ＣＡＮ（Controller Area Network）ドライバ２８などが実装されている。
　電源供給部２３は、ユーザによるＡｃｃスイッチ（図示せず）の操作に応じて車両に搭載されている車両電源（車両バッテリ）から供給される電圧を所定の電源電圧に降圧してデジタル基板２及び電源基板３内の各電気回路に供給する。
　サブＣＰＵ２４は、フラッシュメモリ２５に記憶されている所謂リアルタイムＯＳと称される容量が小さなＯＳを読込んで実行する。また、サブＣＰＵ２４は、図示しない他のＥＣＵ（Engine Control Unit,）とＣＡＮドライバ２８を通じてネットワーク接続されており、他のＥＣＵからカメラ制御に必要な情報を取得する。カメラ制御に必要な情報としては、シフトポジションセンサからのシフト情報、ステアリング角度センサからの操舵角情報などである。
　ビデオデコーダ２６は、車両後方を撮影するリアカメラ２９（撮影部および撮影手段に対応）からＮＴＳＣ（National Television System Committee）規格の映像信号を入力し、サブＣＰＵ２４の指令に応じて入力した映像信号をデコードしてＹＵＶ規格の映像データを生成し、その映像データを映像処理用ＡＳＩＣ９に出力する。また、ビデオデコーダ２６は、サブＣＰＵ２４の指令に応じてメインＣＰＵ４から入力した映像データを第１表示部１８に出力する。第１表示部１８は、ビデオデコーダ２６から入力した映像データに基づいて映像を描画する。この第１表示部１８は、第２表示部１７と同様に車室内のインストルメントパネルに設置されるもので、第２表示部１７の上方位置に配置される。この場合、第１表示部１８はナビゲーション装置１４による地図画を表示したり、リアカメラ２９の映像（以下、カメラ映像）を表示したりするもので、重要度の高い情報を表示する。一方、第２表示部１７は、第２表示部１７の周囲に配置された操作ボタン（図示せず）による操作に応じてナビゲーション装置１４の補助情報、エアコン情報、オーディオ情報などの重要度の低い情報を表示する。
　ＬＥＤドライバ２７は、サブＣＰＵ２４からの指令に応じてバックライトＬＥＤ２０を点灯駆動する。
　さて、デジタル基板２のメインＣＰＵ４は、ＯＳを実行することにより図２示す各モジュールを起動する。
　Ｉ／Ｏ制御モジュール３０（第４モジュール）は、リアカメラ２９の電源を常時オンする。これにより、リアカメラ２９がオンするまで待つ映像同期待ちが不要となるので、カメラ映像を表示するまでの時間を短縮することができる。尚、リアカメラ２９の電源はＡｃｃのオフに応じてオフする。
　カメラ映像制御モジュール３１（第１モジュール）は、図３に示すように、従来のオープニングプロセスには設定されていないモジュールである。つまり、カメラ映像を迅速に表示する性能要求を満足するには、オープニング画の表示と同等の起動性能が必要となることから、オープニングプロセスに新規に追加したものである。このカメラ映像制御モジュール３１は、映像処理用ＡＳＩＣ９からカメラ映像データが入力すると、その映像データをそのまま描画制御モジュール３２に出力する。描画制御モジュール３２は、入力した映像データを描画可能なデータに変換してグラフィックスモジュール３３に出力する。そして、グラフィックスモジュール３３は、入力したデータを第１表示部に１８に描画する。
　情報提供モジュール３４は、サブＣＰＵ２４により実行されるカメラ通信制御モジュール３５が取得した情報をカメラ映像制御モジュール３１に提供する。つまり、カメラ通信制御モジュール３５は、ＣＡＮネットワークを介してカメラ表示に必要な情報を他のＥＣＵから取得していることから、その情報を提供するのである。情報提供モジュール３４は新規に追加したモジュールで、起動順位が低く設定されている。つまり、メインＣＰＵ４がカメラ映像の表示に必要な情報を早めに取得しようとすると、メインＣＰＵ４の起動が遅れて起動性能時間への影響が大きくなるからである。尚、サブＣＰＵ２４が実行するディスプレイバックライト制御モジュール３６は、カメラ通信制御モジュール３５が取得した情報（ユーザによる照度操作情報）に基づいてバックライドＬＥＤ２０の照度を調整するものである。
　カメラ制御モジュール３７及びガイド線描画モジュール３８（第２モジュール）は、図３に示すように、新規に追加したカメラプロセスを構成するもので、カメラ映像にガイド線を描画するものである。このカメラ制御モジュール３７及びガイド線描画モジュール３８は、従来のＨＭＩプロセスから独立したカメラプロセスとして構成されており、起動順位がＨＭＩプロセスよりも高められている。つまり、従来のＨＭＩプロセスによりガイド線を迅速に描画しようとすると、ＨＭＩプロセスからのプロセス分離が必要となり、工数が増大してメインＣＰＵ４の起動が遅くなるからである。
　ガイド線描画モジュール３８は、カメラ映像にガイド線を描画する。ガイド線としては、図７に示すように、車幅を延長した線を示す車幅延長線３８ａ（実線で示す）、車両の後退進路を予測した線を示す進路予測線３８ｂ（破線で示す）、車両後端から例えば約０．５メートル先を示す距離目安線３８ｃ（二点鎖線で示す）である。第１表示部１８は、車幅延長線３８ａを緑色で表示し、進路予測線３８ｂを黄色で表示し、距離目安線３８ｃを赤色で表示することで、ガイド線の視認を容易としている。
　ＨＭＩ制御モジュール３９（第３モジュール）は、カメラ映像にユーザ支援情報を描画するもので、図３に示すように、従来と同様な起動タイミングに設定されている。このユーザ支援情報としては、図７に示すように、ユーザが操作可能な「進路線消去」釦３８ｄ及び「縦列駐車ガイド」釦３８ｅ、及び「車両周辺を直接確認してください」という注意文言３８ｆである。
　描画面制御モジュール４０は、カメラ映像制御モジュール３１、カメラ制御モジュール３７、ガイド線描画モジュール３８、ＨＭＩ制御モジュール３９からの映像データを描画制御モジュール３２に引き渡す。この場合、図２に示すように、カメラ映像制御モジュール３１と描画面制御モジュール４０は、それらの間で映像データを引き継いで他のモジュールの影響を受けないようになっている。これは、カメラ映像の表示中に、ナビゲーション装置１４からの地図画が表示されてしまうことを防止するためである。
　次に、上記構成の作用について説明する。
　ユーザが車両のＡｃｃスイッチをオンすると、車両電源から電源供給部２３に動作電力が供給される。電源供給部２３は、動作電力が供給されると、電源基板３及びデジタル基板２の各電気回路に給電する。サブＣＰＵ２４は、電源供給部２３から動作電力が供給されると、起動してフラッシュメモリ２５に記憶されているＯＳを読込んで実行する。
　一方、メインＣＰＵ４は、動作電力が供給されて起動すると、図４に示すように、ＢＩＯＳ（Basic Input Output System）を起動してハードチェックを行う。ハードチェックを正常に終了すると、ＳＤメモリカード１１に記憶されているＯＳをメモリ５に読込んで起動し、ＯＳの起動完了後はＯＳにより全体の動作を管理する。この場合、ＡｃｃのオンからＯＳの起動完了までに最大４秒を要している。ＫＴ法ではカメラ映像の表示が実行可能となるまでの準備時間として４秒を見込んでいることから、ＯＳが起動終了してから２秒以内にカメラ映像を表示するプロセスの起動を完了する必要がある。つまり、ＯＳが起動終了してからカメラ映像を２秒以内に表示可能であれば、ＯＳが起動終了してからユーザによる後退操作が直ちに行なわれた場合であっても、その後退操作から２秒以内にカメラ映像を表示できるからである。
　さて、ユーザが車両を後退するためにシフトレバーをリバース位置に操作すると、サブＣＰＵ２４は、ＣＡＮ通信によりユーザがシフトレバーをリバース位置に操作したことを検知し、ビデオデコーダ２６に対してリアカメラ２９からの映像信号を信号変換して映像処理用ＡＳＩＣ９に出力するように指令する。ビデオデコーダ２６は、サブＣＰＵ２４からの指令に応じてリアカメラ２９からの映像信号をＹＵＶ変換して映像処理用ＡＳＩＣ９に出力する。映像処理用ＡＳＩＣ９は、ビデオデコーダ２６から入力した映像データの規格を変換してＩ／Ｏ１０を介してメインＣＰＵ４に出力する。
　一方、メインＣＰＵ４は、ＯＳの起動が完了すると、ＯＳにより図２に示す各モジュールを順に起動する。具体的には、図４に示すように、Ｉ／Ｏ制御モジュール３０を起動することによりリアカメラ２９の電源をオンしてから、オープニングモジュール４１及びカメラ映像制御モジュール３１を起動する。オープニングモジュール４１が起動完了すると、オープニング画を表示する。カメラ映像制御モジュール３１が起動完了すると、映像処理用ＡＳＩＣ９から入力するリアカメラ２９の映像データをＤＲＧＢ変換してビデオデコーダ２６を介して第１表示部１８に出力する。第１表示部１８は、図６に示すように、データ加工していないカメラ映像を表示する。従って、ユーザは、リアカメラ２９が撮影した映像をそのまま視認可能となる。即ち、従来と同様なカメラスルーをメインＣＰＵ４により実行可能となる。
　次にメインＣＰＵ４は、カメラプロセスを構成するカメラ制御モジュール３７及びガイド線描画モジュール３８を起動してカメラ映像にガイド線を描画する。つまり、映像処理用ＡＳＩＣ９から入力している映像データにガイド線データを描画する処理を実行する。このガイド線は、図７に示すように、車幅延長線３８ａ、進路予測線３８ｂ、距離目安線３８ｃから構成されており、ユーザは、リアカメラ２９が撮影した映像に表示されたガイド線（車幅延長線３８ａ、進路予測線３８ｂ、距離目安線３８ｃ）により車両の後退方向を確認することができる。この場合、進路予測線３８ｂは、サブＣＰＵ２４がＣＡＮドライバ２８を介して入力したステアリング角度センサからの操舵角情報に基づいて作成する。
　次にメインＣＰＵ４は、図２に示すＨＭＩ制御モジュール３９を起動してカメラ映像にユーザ支援情報を描画する。つまり、映像処理用ＡＳＩＣ９から入力している映像データにカメラスイッチや注意文言を描画する処理を実行する。ユーザ支援情報は、図７に示すように、「進路線消去」釦３８ｄ、「縦列駐車ガイド」釦３８ｅ）、及び「車両周辺を直接確認してください」という注意文言３８ｆから構成されており、ユーザは、リアカメラ２９が撮影した映像に表示されたユーザ支援情報により後退操作時の支援を受けることができる。
　そして、ユーザによる後退操作が解除されると、メインＣＰＵ４は、ナビゲーション装置１４からの地図画に切り替えるが、切り替え時のノイズ表示を防止するために黒画を表示してから地図画を表示する。
　以上の動作により、Ａｃｃのオン後にユーザによる後退操作が行なわれた場合は、図５に示すように、第１表示部１８には、オープニング画→カメラ映像→カメラ映像／ガイド線→カメラ映像／ガイド線／注意文言→黒画→地図画が順に表示される。
　このような実施形態によれば、次のような効果を奏することができる。
　メインＣＰＵ４は、ＯＳの起動が完了すると、ＯＳによりカメラ映像を第１表示部１８にそのまま表示するカメラ映像制御モジュール３１を起動するので、従来のカメラスルーと同様に、ユーザによる後退操作時に車両後方の映像を迅速に表示できる。また、カメラ映像に対してガイド線を描画するカメラ制御モジュール３７及びガイド線描画モジュール３８をカメラ映像制御モジュール３１の次に起動するので、カメラ映像に対して迅速にガイド線を描画することができる。この場合、メインＣＰＵ４がリアカメラ映像にガイド線を直接描画するので、黒画を表示する必要を生じない。
　ＨＭＩ制御モジュール３９をカメラ制御モジュール３７及びガイド線描画モジュール３８の次に起動するので、カメラ画像の表示性能が悪化することを防止できる。
　Ｉ／Ｏ制御モジュール３０をカメラ映像制御モジュール３１よりも早く起動するようにしたので、リアカメラ２９がオンするまで待つ映像同期待ちが不要となり、カメラ映像を表示するまでの時間を短縮することができる。
　なお、メインＣＰＵ４は、制御回路に対応する。映像処理用ＡＳＩＣ９は、信号変換理回路に対応する。第１表示部１８は、表示手段（表示部）に対応する。ビデオデコーダ２６は、信号変換回路に対応する。リアカメラ２９は、撮影手段（撮影部）および後方撮影手段に対応する。Ｉ／Ｏ制御モジュール３０は、第４モジュールに対応する。カメラ映像制御モジュール３１は、第１モジュールに対応する。カメラ制御モジュール３７は、第２モジュールに対応する。ガイド線描画モジュール３８は、第２モジュールに対応する。ＨＭＩ制御モジュール３９は、第３モジュールに対応する。
　（その他の実施形態）
　実施形態は、上記実施形態に限定されることなく、様々に変形または拡張できる。
　例えば、デジタル基板２と電源基板３とを一体化しても良い。この場合、サブＣＰＵ２４を省略し、メインＣＰＵ４によりサブＣＰＵ２４の動作を実行するようにしても良い。
　車両の側方を撮影するサイドカメラを搭載し、ユーザによる後退操作時にサイドカメラからの映像を迅速に表示するようにしても良い。
　車両の前後左右のコーナー部にカメラを搭載し、ユーザによる後退操作時にそれらの映像に基づいて例えば車両の上方からの俯瞰映像を生成し、その俯瞰映像を迅速に表示するようにしても良い。
　ビデオデコーダ２６を省略し、映像処理用ＡＳＩＣ９がリアカメラ２９からの映像信号を入力して信号の規格を変換するようにしても良い。
　メインＣＰＵ４が処理した映像データを第１表示部１８に直接出力するようにしても良い。

 

Claims (4)

  1. 　車両周辺を撮影する撮影部（２９）から映像信号を入力するように設けられ、入力した映像信号を外部指令に応じて所定規格の映像データに変換する信号変換回路（９、２６）と、
    　前記信号変換回路からの映像データを入力するように設けられ、複数のモジュールを順に起動することにより前記撮像部の映像を表示部（１８）に表示すると共に、当該映像に対してデータ加工を施す制御回路（４）と、を備え、
    　前記制御回路は、ユーザによる後退操作が行なわれた場合は、前記信号変換回路から入力した映像データを前記表示部にそのまま表示する第１モジュール（３１）を起動してから、前記映像データに対して所定のデータ加工を施す第２モジュール（３７，３８）を起動する、車両用映像処理装置。
  2. 　前記撮影部は、車両後方を撮影する後方撮影部であり、
    　前記制御回路は、前記所定のデータ加工として、前記後方撮影部の映像にガイド線を描画する、請求項１に記載の車両用映像処理装置。
  3. 　前記制御回路は、前記後方撮影部の映像にユーザ支援情報を描画する第３モジュール（３９）を前記第２モジュールの次に起動する、請求項２に記載の車両用映像処理装置。
  4. 　前記制御回路は、前記撮像部の電源を常時オンする第４モジュール（３０）を前記第１モジュールよりも早く起動する、請求項１から３の何れかに記載の車両用映像処理装置。

     
PCT/JP2015/005421 2014-11-04 2015-10-28 車両用映像処理装置 WO2016072065A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/519,496 US10464483B2 (en) 2014-11-04 2015-10-28 On-vehicle image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014224216A JP6341060B2 (ja) 2014-11-04 2014-11-04 車両用映像処理装置
JP2014-224216 2014-11-04

Publications (1)

Publication Number Publication Date
WO2016072065A1 true WO2016072065A1 (ja) 2016-05-12

Family

ID=55908809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005421 WO2016072065A1 (ja) 2014-11-04 2015-10-28 車両用映像処理装置

Country Status (3)

Country Link
US (1) US10464483B2 (ja)
JP (1) JP6341060B2 (ja)
WO (1) WO2016072065A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021220567A1 (ja) * 2020-04-28 2021-11-04

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545005B (en) * 2015-12-03 2021-09-08 Bentley Motors Ltd Responsive human machine interface
WO2018029927A1 (ja) * 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 表示制御装置、表示装置、表示制御方法及びプログラム
JP7151643B2 (ja) * 2019-06-28 2022-10-12 株式会社デンソー 車両用装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005247076A (ja) * 2004-03-03 2005-09-15 Clarion Co Ltd 車載用後方監視装置
JP2009284023A (ja) * 2008-05-19 2009-12-03 Denso Corp 車両用表示装置
JP2012162130A (ja) * 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012201175A (ja) * 2011-03-24 2012-10-22 Honda Access Corp リアカメラの表示装置
WO2014136406A1 (ja) * 2013-03-08 2014-09-12 株式会社デンソー データ処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602413B2 (en) * 2002-10-18 2009-10-13 Sony Corporation Information processing system and method, information processing apparatus, image-capturing device and method, recording medium, and program
JP5106147B2 (ja) 2008-01-23 2012-12-26 アルパイン株式会社 マルチプロセッサ処理システム
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
CN201646714U (zh) * 2010-01-26 2010-11-24 德尔福技术有限公司 泊车导向系统
CN102288180B (zh) * 2010-06-18 2014-07-09 昆达电脑科技(昆山)有限公司 实时影像导航系统及方法
EP2747425B1 (en) * 2012-12-19 2019-05-08 2236008 Ontario Inc. Integrated system for media playback during startup

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005247076A (ja) * 2004-03-03 2005-09-15 Clarion Co Ltd 車載用後方監視装置
JP2009284023A (ja) * 2008-05-19 2009-12-03 Denso Corp 車両用表示装置
JP2012162130A (ja) * 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012201175A (ja) * 2011-03-24 2012-10-22 Honda Access Corp リアカメラの表示装置
WO2014136406A1 (ja) * 2013-03-08 2014-09-12 株式会社デンソー データ処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021220567A1 (ja) * 2020-04-28 2021-11-04
WO2021220567A1 (ja) * 2020-04-28 2021-11-04 パナソニックＩｐマネジメント株式会社 映像処理装置および映像処理システム
JP7122547B2 (ja) 2020-04-28 2022-08-22 パナソニックＩｐマネジメント株式会社 映像処理装置および映像処理システム

Also Published As

Publication number Publication date
JP2016088249A (ja) 2016-05-23
US10464483B2 (en) 2019-11-05
JP6341060B2 (ja) 2018-06-13
US20170232897A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
JP4978558B2 (ja) 車両用表示装置
WO2016072065A1 (ja) 車両用映像処理装置
US10118566B2 (en) Image processing device, image processing method, and image display system
WO2016021135A1 (ja) 映像信号処理装置及び映像信号処理プログラム製品
JP2017126834A (ja) 運転支援装置、運転支援方法
US20100020176A1 (en) Image processing system, imaging device, image processing method, and computer program
JP7170284B2 (ja) 車載装置
JP2005184395A (ja) 画像処理方法、画像処理システム、画像処理装置および撮影装置
WO2016021133A1 (ja) 映像信号処理装置及び映像信号処理プログラム製品
JP6446837B2 (ja) 映像信号処理装置及び診断プログラム
JP2013007907A (ja) 映像信号処理システム
WO2016021134A1 (ja) 映像信号処理装置及び映像信号処理プログラム製品
CN102756700A (zh) 一种车载Android平台加速倒车视频显示时间的方法
WO2016092770A1 (ja) 映像信号処理装置及び映像信号処理プログラム
JP2017183914A (ja) 画像処理装置
JP2013031109A (ja) カメラシステム
US9779464B2 (en) Camera image display system of audio video navigation
CN203872281U (zh) 一种宽视野前视系统
US11685312B2 (en) Display control device, display device, and display control program product for superimposing an emphasized image item
JP2006115376A (ja) 車載表示装置
CN112866589A (zh) 一种汽车图像传感器
JP2008030704A (ja) 駐車支援装置
JP6054738B2 (ja) カメラモジュール、カメラシステムおよび画像表示方法
KR101022589B1 (ko) 차량용 영상 표시 시스템
WO2023108560A1 (zh) 图像处理方法、装置、存储介质、电子后视镜系统和车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15857955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15857955

Country of ref document: EP

Kind code of ref document: A1