WO2022029953A1 - 車載カメラ装置及び表示画像生成方法 - Google Patents
車載カメラ装置及び表示画像生成方法 Download PDFInfo
- Publication number
- WO2022029953A1 WO2022029953A1 PCT/JP2020/030149 JP2020030149W WO2022029953A1 WO 2022029953 A1 WO2022029953 A1 WO 2022029953A1 JP 2020030149 W JP2020030149 W JP 2020030149W WO 2022029953 A1 WO2022029953 A1 WO 2022029953A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- image
- guide line
- processing unit
- arithmetic processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 114
- 230000008569 process Effects 0.000 claims description 77
- 230000004913 activation Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 description 18
- 238000001994 activation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000007935 neutral effect Effects 0.000 description 7
- 238000007430 reference method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R99/00—Subject matter not provided for in other groups of this subclass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to an in-vehicle camera device and a display image generation method.
- a driving support method that supports driving operations such as when parking has been put into practical use.
- the driving support methods there is a method of obtaining the expected driving locus of the vehicle based on the steering angle of the vehicle and superimposing and displaying the guide line indicating the expected driving locus on the captured image of the in-vehicle camera.
- the guide line depends on the steering angle of the vehicle, and drawing the guide line according to the steering angle requires relatively heavy arithmetic processing. Therefore, the following reference methods are considered.
- a calibration computer for drawing a guide line is separately prepared in the calibration process of the device, and the calibration computer is made to draw a guide line for each steering angle.
- calibration parameters are created in consideration of the mounting position and mounting angle of the camera on the vehicle, and an accurate guide line is drawn with reference to the calibration parameters.
- the guide line data drawn by the calibration computer is non-volatilely stored in the memory of the reference in-vehicle camera device. After that, the reference in-vehicle camera device reads out the image of the guide line adapted to the actual steering angle of the vehicle from the memory, and superimposes the read image of the guide line on the camera image to generate a display image.
- An object of the present invention is to provide an in-vehicle camera device capable of displaying a guide line and having high convenience, and a display image generation method.
- the in-vehicle camera device is installed in the vehicle and a first arithmetic processing unit that generates a guide line image including a guide line according to the steering angle of the vehicle in the in-vehicle camera device mounted on the vehicle.
- the guide line image is superimposed on the reference image based on the shooting result of the camera, and the superimposed reference image is output to the display device as a display image.
- the second arithmetic processing unit and the first arithmetic processing unit generate the image.
- the second arithmetic processing unit includes a memory for holding a plurality of guide line images for a plurality of steering angles, and the second arithmetic processing unit of the plurality of guide line images according to steering angle information representing the current steering angle of the vehicle. It is a configuration (first configuration) in which any one is read from the memory and the display image is generated using the read guide line image.
- the second arithmetic processing among the first arithmetic processing unit and the second arithmetic processing unit.
- the unit is activated first, and at this time, before the activation of the first arithmetic processing unit is completed, the second arithmetic processing unit displays one of the plurality of guideline images according to the steering angle information.
- the display image is generated by reading from the memory and using the guide line image read out, and after the activation of the first arithmetic processing unit is completed, the display image is generated in real time by the first arithmetic processing unit according to the steering angle information.
- the display image may be generated by the first arithmetic processing unit or the second arithmetic processing unit (second configuration) using the guide line image.
- the first arithmetic processing unit when the in-vehicle camera device is switched from the power-on state to the power-off state in the stopped state of the vehicle, the first arithmetic processing unit is before switching to the power-off state.
- the holding process is executed, and in the holding process, the first arithmetic processing unit sets a range smaller than the variable range of the steering angle of the vehicle based on the steering angle information in the stopped state of the vehicle, and is within the set range.
- the in-vehicle camera device In the in-vehicle camera device according to the second or third configuration, it is held in the memory as compared with the amount of information of the guide line image that can be generated by the first arithmetic processing unit after the activation of the first arithmetic processing unit is completed.
- the amount of information of each guideline image to be formed may be small (fourth configuration).
- the number of types of guideline images that can be generated by the first arithmetic processing unit after the activation of the first arithmetic processing unit is completed is compared with the number of types of the guideline image.
- the number of types of the guideline image held in the memory may be small (fifth configuration).
- the plurality of guide line images held in the memory are the guide line images in the first guide line image group for the first rudder angle group and the first guide line image.
- the first rudder angle group is composed of a plurality of first rudder angles
- the second rudder angle group is composed of the plurality of first rudder angle groups. It consists of a plurality of second rudder angles discrete at predetermined angle intervals smaller than the rudder angle angle interval, and the first arithmetic processing unit is such that the in-vehicle camera device is powered off from the power on state when the vehicle is stopped.
- the holding process is executed before switching to the power off state, the first guide line image group is held in the memory in advance before the holding process, and the first arithmetic processing unit holds the holding process.
- a range smaller than the variable range of the rudder angle of the vehicle is set based on the rudder angle information in the stopped state of the vehicle, and two or more rudder angles are set within the set range at the predetermined angle interval.
- a configuration in which two or more guide line images for the two or more rudder angles are generated as a rudder angle group, and the two or more guide line images are held in the memory as the second guide line image group (sixth). The configuration of) may be used.
- the amount of information of each guideline image in the second guideline image group is larger than the amount of information of each guideline image in the first guideline image group. (7th configuration) may be used.
- the display image generation method is a display image generation method mounted on a vehicle and used in an in-vehicle camera device having a first arithmetic processing unit, a second arithmetic processing unit, and a memory, and is the first arithmetic processing.
- the second step of superimposing the guide line images and outputting the superimposed reference image to the display device as a display image, and a plurality of guide line images for a plurality of steering angles generated in the first step are stored in the memory.
- a third step of holding the guide is provided, and in the second step, any one of the plurality of guide line images is read from the memory according to the steering angle information representing the current steering angle of the vehicle, and the guide is read out.
- This is a configuration (eighth configuration) for generating the display image using a line image.
- an in-vehicle camera device capable of displaying a guide line and having high convenience, and a display image generation method.
- Is an overall configuration diagram of an in-vehicle system according to an embodiment of the present invention Is a schematic top view of a vehicle equipped with the in-vehicle system according to the embodiment of the present invention. Is a diagram showing a part of the vehicle interior of the vehicle according to the embodiment of the present invention. Is a schematic internal configuration diagram of a signal processing unit according to an embodiment of the present invention. Is an explanatory diagram of a parking support function according to an embodiment of the present invention. Is a figure showing an example of a guideline image generated by the parking support function according to the embodiment of the present invention.
- FIGS. (A) to (e) are diagrams showing how the guide line changes according to the steering angle of the vehicle according to the embodiment of the present invention.
- FIG. 1 is an overall configuration diagram of an in-vehicle system SYS according to an embodiment of the present invention.
- the in-vehicle system SYS includes an in-vehicle camera device 10, a display device 20, and an in-vehicle sensor unit 30.
- FIG. 2 is a schematic top view of a vehicle CR equipped with the in-vehicle system SYS.
- FIG. 3 shows a part of the passenger compartment of the vehicle CR.
- a steering wheel 2, a shift lever 3, and an ignition switch 4 are provided near the driver's seat as parts operated by the driver, and a display device 20 that can be visually recognized by the driver is provided.
- the steering wheel 2 is a ring-shaped part for adjusting the traveling direction of the vehicle CR according to the rotation operation by the driver.
- the shift lever 3 sets whether or not the vehicle CR can travel, sets the traveling direction of the vehicle CR, and shifts the vehicle CR based on the driver's operation.
- the ignition switch 4 designates the supply or non-supply of power to each electrical device of the vehicle CR based on the driver's operation, and also designates the start or stop of the engine of the vehicle CR.
- the power supply for the electrical equipment of the vehicle CR is referred to as an ACC power supply.
- the in-vehicle camera device 10 and the display device 20 correspond to electrical equipment.
- the in-vehicle camera device 10 takes either a power-on state or a power-off state.
- the power-on state refers to a state in which the vehicle-mounted camera device 10 is supplied with ACC power and the vehicle-mounted camera device 10 can operate based on the ACC power supply.
- the power-off state the ACC power supply to the vehicle-mounted camera device 10 is cut off, or the enable signal supplied to the vehicle-mounted camera device 10 is negated even though the ACC power supply is supplied to the vehicle-mounted camera device 10. It refers to a state in which the vehicle-mounted camera device 10 is not activated.
- the in-vehicle camera device 10, the display device 20, and the in-vehicle sensor unit 30 are each connected to the in-vehicle network 40 formed inside the vehicle CR, and can transmit and receive arbitrary information and signals to and from each other via the in-vehicle network 40. .. CAN (Controller Area Network) can be used as the in-vehicle network 40.
- CAN Controller Area Network
- FIG. 1 only the in-vehicle camera device 10, the display device 20, and the in-vehicle sensor unit 30 are shown as components connected to the in-vehicle network 40, but various other devices (for example, not shown) are shown.
- the power steering system, brake system, radar device, drive recorder) are connected to the in-vehicle network 40.
- the vehicle CR is mainly assumed to be a vehicle (automobile, etc.) capable of traveling on the road surface, but the vehicle CR may be any kind of vehicle.
- the direction from the driver's seat to the steering wheel 2 is defined as "forward”
- the direction from the steering wheel 2 toward the driver's seat is defined as “rear”.
- the direction orthogonal to the front-rear direction and parallel to the road surface is defined as the left-right direction. It is assumed that the left and right in the left-right direction are the left and right as seen from the driver of the vehicle CR, who are sitting in the driver's seat of the vehicle CR and facing forward.
- the in-vehicle camera device 10 includes a camera unit 11 and a signal processing unit 12.
- the camera unit 11 is composed of one or more cameras installed in the vehicle CR, and each camera provided in the camera unit 11 is referred to as a unit camera.
- the unit camera is equipped with an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor and a CCD (Charge-Coupled Device) image sensor, and an optical system, and shoots within its own field of view (in other words, the shooting area).
- Image data showing an image obtained by photographing that is, an image in a field of view
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge-Coupled Device
- the image data generated by the unit camera is hereinafter referred to as camera image data, and the two-dimensional image represented by the camera image data is referred to as a camera image.
- the camera image data generated by the unit camera is output to the signal processing unit 12.
- the unit camera periodically repeats shooting in its own field of view at a predetermined shooting frame rate.
- the shooting frame rate corresponds to the number of shots per second.
- the shooting frame rate is arbitrary, but is, for example, 60 [frames / second].
- camera image data for one frame is periodically generated at intervals of the reciprocal of the shooting frame rate and sent to the signal processing unit 12.
- the camera image data for one frame represents the camera image as one still image
- the camera image data for a plurality of frames represents the camera image as a moving image.
- the camera unit 11 is provided with a camera 11R as one of the unit cameras (see FIG. 2).
- the camera 2R is a rear camera having a field of view in the rear region of the vehicle CR, and is installed at an appropriate position on the vehicle body of the vehicle CR.
- the depression angle of the camera 11R is appropriately set so that the road surface in the predetermined region on the rear side of the vehicle CR is included in the field of view of the camera 11R.
- the depression angle of the camera 11R is set to 30 °, and the road surface in the region up to 8 m on the rear side of the vehicle CR when viewed from the rear end of the vehicle CR is included in the field of view of the camera 11R.
- the horizontal angle of view of the camera 11R is arbitrary, but it is preferable to use a wide-angle lens, for example, to give the camera 11R a horizontal angle of view of 100 ° to 200 °.
- a front camera having a field of view in the front side region of the vehicle CR, a light camera having a field of view in the right side region of the vehicle CR, and a field of view in the right side region of the vehicle CR.
- a left camera may be provided.
- Each of the front camera, the right camera, and the left camera is also a kind of unit camera, and the camera image data of each unit camera is output to the signal processing unit 12.
- the rear camera, front camera, right camera, and left camera only any one or more cameras may be provided in the camera unit 11. In the present embodiment, the method of using the shooting result of the camera 11R will be described below, focusing on the camera 11R provided in the camera unit 11.
- the signal processing unit 12 generates display image data by performing necessary signal processing on the camera image data.
- the display image data is output to the display device 20.
- the display image data is image data representing a two-dimensional display image.
- the display device 20 has a display unit 21 and a touch panel 22 formed on the display unit 21.
- the display unit 21 is composed of a liquid crystal display panel or the like, and displays a display image provided by the vehicle-mounted camera device 10 (signal processing unit 12).
- the touch panel 22 is an example of a man-machine interface that receives an operation input from an operator, and a signal indicating the content of the input operation to the touch panel 22 is a device (vehicle-mounted camera device) that should receive the signal via the in-vehicle network 40. Can be 10).
- the operator of the touch panel 22 is typically a driver of the vehicle CR, but may be a person other than the driver (a passenger of the vehicle CR, a clerk of a vehicle dealer, a factory worker, or the like).
- the display device 20 is installed in front of the driver's seat in the vehicle interior of the vehicle CR so that the driver of the vehicle CR can visually recognize the display content on the display unit 21.
- the display device in the navigation system mounted on the vehicle CR may be used as the display device 20.
- the in-vehicle sensor unit 30 is composed of a plurality of sensors installed in the vehicle CR.
- FIG. 1 shows a steering sensor 31 and a shift lever sensor 32 as two sensors included in the plurality of sensors.
- the steering sensor 31 is a sensor that detects the steering amount (rotation angle) of the steering wheel 2 of the vehicle CR, and is configured by using, for example, a Hall element.
- the steering angle of the vehicle CR detected by the steering sensor 31 is represented by the symbol “ ⁇ ”.
- the vehicle-mounted camera device 10 can acquire steering angle information indicating the steering angle ⁇ detected by the steering sensor 31 via the in-vehicle network 40.
- the steering angle information represents the current steering angle ⁇ (in other words, the actual steering angle ⁇ ) of the vehicle CR, and is updated at a predetermined update cycle.
- the shift lever sensor 32 is a sensor that detects the position of the shift lever 3 of the vehicle CR, and is configured by using a displacement sensor or the like.
- the position of the shift lever 3 is set to any of a plurality of positions including the drive position and the reverse position based on the driver's operation.
- the vehicle CR advances (runs forward) in response to the depression of the accelerator pedal of the vehicle CR, and when the shift lever 3 is in the reverse position, the accelerator pedal of the vehicle CR is depressed.
- the vehicle CR moves backward accordingly (runs backward).
- Information indicating the position of the shift lever 3 detected by the shift lever sensor 32 is referred to as shift information.
- the in-vehicle camera device 10 can acquire shift information via the in-vehicle network 40.
- various sensors mounted on the vehicle CR may be included in the in-vehicle sensor unit 30, and the acquired information of each sensor is obtained by the in-vehicle camera via the in-vehicle network 40. It may be sent to the device 10.
- FIG. 4 shows a schematic internal configuration of the signal processing unit 12.
- the signal processing unit 12 has a main core 121, a sub core 122, and a memory 123.
- the signal processing unit 12 may be configured by a SoC (System-on-a-chip) including a main core 121, a sub-core 122, and a memory 123.
- the main core 121 is a first arithmetic processing unit equipped with a GPU (Graphics Processing Unit).
- the sub-core 122 is a second arithmetic processing unit that is not equipped with a GPU.
- the memory 123 is composed of a ROM (Read only memory) and a RAM (Random access memory), and is shared by the main core 121 and the sub core 122. That is, the main core 121 and the sub-core 122 can write data to the memory 123 and read data from the memory 123, respectively, via a memory controller (not shown).
- the memory 123 has a non-volatile memory 123a capable of retaining data storage even when the power supply to the signal processing unit 12 is cut off.
- the in-vehicle camera device 10 has a driving support function for supporting the driving of the vehicle CR, and when the position of the shift lever 3 of the vehicle CR is set to the reverse position, the parking support function (as a kind of driving support function). In other words, the retreat support function) is realized.
- FIG. 5 shows an example of a camera image and a display image when the position of the shift lever 3 is set to the reverse position.
- the camera image may be referred to by the symbol "CI” and the displayed image may be referred to by the symbol "DI".
- the in-vehicle camera device 10 synthesizes the guide line image GI including the guide line GL with the camera image CI of the camera 11R.
- the combined image can be displayed on the display device 20 as a display image DI.
- the composition of the guide line image GI with respect to the camera image CI is realized by superimposing the guide line image GI on the camera image CI, and the camera image CI on which the guide line image GI is superimposed becomes the display image DI. Since the guide line GL is superimposed on the camera image CI by superimposing the guide line image GI on the camera image CI, the superimposition of the guide line image GI on the camera image CI is regarded as equivalent to the superposition of the guide line GL on the camera image CI. Alternatively, it may be regarded as including the superimposition of the guide line GL on the camera image CI.
- the guide line GL is a line (predicted traveling line) that predicts a position or region through which the vehicle CR passes when the vehicle CR reverses, and indicates the position or region on the image space in which the camera image CI is defined. It is a line.
- the guide line GL may include a line representing the expected travel locus of the vehicle CR when the vehicle CR moves backward. The position or region through which the vehicle CR passes when the vehicle CR is retracted changes depending on the steering angle ⁇ . Therefore, the guide line GL is created according to the steering angle ⁇ .
- the guide line GL is composed of two main lines GL1 and one or more auxiliary lines GL2 (three auxiliary lines GL2 in the example of FIG. 6).
- the main line GL1 is shown by a solid line
- the auxiliary line GL2 is shown by a broken line.
- one main line GL1 is a predicted line of the locus of the position where the rear end side and the right corner of the vehicle body of the vehicle CR passes when the vehicle CR reverses
- the other main line GL1 is the vehicle. This is the predicted line of the locus of the position where the rear end side and the left corner of the vehicle body of the CR passes when the vehicle CR is retracted.
- the rear end of the vehicle body of the vehicle CR is represented by a line having a length equal to the vehicle width of the vehicle CR, and the predicted line of the existence position of the rear end in the process of retreating the vehicle CR is the auxiliary line GL2.
- the auxiliary line GL2 is drawn as a line connecting the main lines GL1 and GL2.
- the guide line image GI may include image information other than the guide line GL, and may include, for example, a vehicle extension line or a message image in addition to the guide line GL.
- the vehicle extension line (not shown) is a rear vehicle width extension line in which the left end and the right end of the vehicle CR are simply extended toward the rear. Since the vehicle extension line does not depend on the steering angle ⁇ , when the vehicle extension line is included in the guide line image GI, the vehicle extension line is superimposed on a fixed position in the camera image CI.
- the steering angle ⁇ is zero
- the guide line GL is a position that substantially overlaps with the vehicle extension line described above. Is drawn to.
- the steering angle ⁇ is zero
- the steering wheel 2 is rotated to the right (clockwise when viewed from the driver) with respect to the neutral position of the steering wheel 2.
- the steering angle ⁇ has a positive angle
- the steering angle ⁇ has a negative angle when the steering wheel 2 is rotated to the left (counterclockwise when viewed from the driver).
- the guide line GL has a steering angle ⁇ of zero. It has a shape curved to the left compared to.
- the guide line GL is further to the left as shown in FIG. 7 (a). Curves to.
- the camera image CI should be displayed as a mirror image image inverted left and right (that is, an image obtained by mirror-inverting the captured image itself of the camera 11R is displayed as a camera image CI in the display device DI. It is good to display it at 20).
- the guide line GL superimposed on the camera image CI is also drawn as a mirror image.
- the vehicle-mounted camera device 10 operates in any one of a plurality of modes including a calibration mode and a normal mode.
- the signal processing unit 12 includes an operation mode setting unit (not shown) that controls which operation mode the vehicle-mounted camera device 10 sets.
- the vehicle-mounted camera device 10 switches from the power-off state to the power-on state, the vehicle-mounted camera device 10 starts operating in the normal mode in principle.
- the operation mode of the vehicle-mounted camera device 1 is switched to the calibration mode by the operation mode setting unit, and thereafter, the operation mode of the vehicle-mounted camera device 10 is changed until the power is turned off. Maintained in calibration mode.
- FIG. 8 is a flowchart of the calibration process.
- the calibration step is executed in a state where the operation mode of the vehicle-mounted camera device 10 is set to the calibration mode.
- the calibration process is mainly carried out by the clerk of the manufacturing plant at the manufacturing plant of the vehicle CR or by the clerk of the dealer at the dealer of the vehicle CR.
- the calibration process may be carried out by a user of the in-vehicle system SYS (such as a driver of a vehicle CR).
- the actual mounting position and mounting angle of the camera 11R generally deviates slightly from the target position and angle. be.
- calibration parameters are acquired based on the error between the actual mounting position and mounting angle of the camera 11R and the target position and angle, and the guide according to the mounting position and mounting angle of the actual camera 11R based on the calibration parameters.
- a line image GI is generated and stored in the non-volatile memory 123a in the memory 123.
- the storage of the guide line image GI in the memory 123 means the storage of the guide line image GI in the non-volatile memory 123a unless otherwise specified. The same applies to the calibration parameters described later. The details of the calibration process will be described with reference to FIG.
- step S11 the vehicle CR on which the camera 11R is installed is placed in a predetermined calibration environment.
- the vehicle CR In the calibration environment, the vehicle CR is placed on a flat calibration road surface.
- a plurality of markers that can be identified by the camera 11R are arranged in the field of view (shooting area) of the camera 11R.
- the coordinate system of the image space in which the camera image CI is defined is referred to as an image coordinate system, and in order to distinguish it from this, the coordinate system of the real space in which the vehicle CR or the like exists is referred to as a world coordinate system.
- the information necessary for deriving the calibration parameters including the information on the shape of the vehicle CR in the world coordinate system and the information on the positional relationship between the vehicle CR and each marker in the world coordinate system, is known information for calibration. Is given to the signal processing unit 12 in advance.
- step S12 following step S11, the camera 11R photographs the plurality of markers under the calibration environment, and the image data of the camera image including the images of the plurality of markers is calibrated from the camera 11R to the signal processing unit 12.
- the calibration parameter derivation unit (not shown) in the signal processing unit 12 derives the calibration parameter based on the calibration camera image data and the above-mentioned known calibration information, and uses the derived calibration parameter as the memory 123 (nonvolatile memory). Save in 123a).
- the calibration parameter derivation unit may be a functional unit realized by the main core 121.
- the calibration camera image data includes information depending on the mounting position and mounting angle of the camera 11R with respect to the vehicle CR, and the correspondence between the image coordinate system and the world coordinate system from the calibration camera image data and the calibration known information. Is identified. Parameters based on this identified correspondence are derived as calibration parameters. Since the method for deriving such calibration parameters is known, detailed description of the derivation method including the derivation formula and the like is omitted.
- the main core 121 is a guide line GL adapted to the mounting position and mounting angle of the camera 11R with respect to the vehicle CR by referring to the calibration parameters, and can draw the guide line GL according to the steering angle ⁇ .
- the guide line image GI including the guide line GL is generated by drawing the guide line GL.
- step S12 the process proceeds to step S13.
- step S13 the signal processing unit 12 sets the variable i to “1” and then proceeds to step S14.
- i is a variable that takes any of any natural numbers.
- step S14 the main core 121 generates a guide line image GI including the guide line GL by drawing a guide line GL for the assumed steering angle of the i based on the calibration parameter, and generates a guide line image GI including the guide line GL, and the guide line i is generated.
- the image GI is saved in the memory 123. Saving the i-th guideline image GI in the memory 123 specifically means saving the image data of the i-th guideline image GI in the memory 123. The same applies to the reading of the guide line image, and the same applies to the saving and reading of images other than the guide line image.
- the assumed rudder angle is not an amount indicating the actual rudder angle ⁇ of the vehicle CR, but refers to an assumed value of the rudder angle ⁇ that can be taken by the rudder angle ⁇ of the vehicle CR.
- the assumed steering angle of i in the calibration process is referred to as an assumed steering angle ⁇ A [i]
- the guide line image GI of i generated and stored in the calibration process is referred to as a guide line image GI A [i]. ..
- the guide line image GI A [i] is a two-dimensional image including the guide line GL when it is assumed that the actual steering angle ⁇ of the vehicle CR matches the assumed steering angle ⁇ A [i].
- the assumed steering angles ⁇ A [1] to ⁇ A [n] have different angles within the variable range of the steering angle ⁇ in the vehicle CR.
- the variable range of the steering angle ⁇ in the vehicle CR is an angle range from a predetermined negative angle ⁇ L # LIM to a predetermined positive angle ⁇ R # LIM .
- the assumed rudder angles ⁇ A [1] to ⁇ A [n] may be set so that the intervals between adjacent assumed rudder angles become even. .. That is, the assumed steering angle ⁇ A [1] to ⁇ A [n] may be set by dissociating the variable range of the steering angle ⁇ at equal angle intervals.
- the resolution of the allocation of the assumed rudder angle ⁇ A [1] to ⁇ A [n] is uniform over the entire variable range of the rudder angle ⁇ .
- Assumed steering angle ⁇ A [1] so that the resolution of the allocation of assumed steering angles ⁇ A [1] to ⁇ A [n] is relatively higher in the vicinity where the steering angle ⁇ becomes zero.
- ⁇ ⁇ A [n] may be set. That is, for example, in the angle range of -4 degrees or more and +4 degrees or less, a total of nine assumed steering angles may be set in 1 ° increments, and in other angle ranges, the assumed angles may be set in 2 ° increments.
- ⁇ A [2] -10 ° "
- FIG. 9 is an operation flowchart of the vehicle-mounted camera device 10 in the normal mode according to the first embodiment.
- the operation in the normal mode shown in FIG. 9 is executed after passing through the calibration step of FIG. That is, at the stage when the operation of FIG. 9 is started, the guide line images GI A [1] to GI A [n] are stored in the memory 123.
- the vehicle-mounted camera device 10 in the normal mode will be described with reference to FIG. After the calibration step of FIG. 8 is completed, the vehicle-mounted camera device 10 is in the power-off state, and then, in step S21 of FIG. 9, the vehicle-mounted camera device 10 is switched from the power-off state to the power-on state.
- the main core 121 and the sub-core 122 each start a predetermined activation process.
- the start-up process includes a process of initializing the state of each circuit in the main core 121, and a function that the main core 121 should originally realize (a guide line GL drawing function) only after the start-up process is completed. Including) becomes feasible. The same applies to the sub-core 122.
- startup completion Completion of the startup process in the main core 121 is called startup completion.
- the main core 121 requires more time to complete the booting in comparison with the sub core 122.
- the sub-core 122 is started up 0.2 seconds after the start of its own start-up process, while the main core 123 is started up after 5 seconds have passed from the start of its own start-up process.
- step S23 the sub core 122 is started up first.
- the sub-core 122 has been started up in step S23 after step S22, and the main core 121 has not been started up at this stage.
- step S24 the process proceeds to step S24.
- step S24 the signal processing unit 12 (for example, the sub-core 122) refers to the shift information (see FIG. 1) from the shift lever sensor 32, and determines whether or not the position of the shift lever 3 is the reverse position. If the position of the shift lever 3 is not the reverse position, the process of step S24 is repeated. When the position of the shift lever 3 is the reverse position, the process proceeds from step S24 to step S26, and the above-mentioned parking support function (see FIG. 5) is executed. In the flowchart of FIG. 9, the parking support function is realized by the processing of steps S26 and S27.
- the sub-core 122 has a guide line image GI (guide line image GI A [1] to GI A [] according to the current steering angle ⁇ of the vehicle CR based on the latest steering angle information acquired from the steering sensor 31. n]) is read from the memory 123. That is, the sub-core 122 specifies the assumed steering angle closest to the current steering angle ⁇ of the vehicle CR among the assumed steering angles ⁇ A [1] to ⁇ A [n], and corresponds to the specified assumed steering angle.
- the guide line image GI is read from the memory 123.
- the guide line image GI A [1] is read out, and if the assumed rudder angle closest to the current rudder angle ⁇ of the vehicle CR is the assumed rudder angle ⁇ A [2], the guide line image GI A [2] is read out.
- step S27 the sub-core 122 generates and displays a display image DI by superimposing the guide line image GI read in step S26 on the latest camera image CI captured and acquired by the camera 11R.
- the display image DI is displayed on the display device 20.
- the process returns to step S24. Therefore, during the period in which the position of the shift lever 3 is maintained at the reverse position, the processes of steps S26 and S27 are repeated, and the guide line image GI superimposed on the camera image CI is updated according to the steering angle ⁇ at each time of the vehicle CR. While doing so, the camera image CI on which the guide line image GI is superimposed is displayed on the display device 20 as the display image DI of the moving image.
- steps S26 and S27 are always executed by the sub-core 122, but after the start-up of the main core 121 is completed, all or part of the processes of steps S26 and S27 are main.
- the core 121 may do so.
- the sub-core 122 executes the processes of steps S26 and S27.
- a plurality of guide line images GI (GI A [1] to GI) for a plurality of steering angles ( ⁇ A [1] to ⁇ A [n]) generated by the main core 121.
- a [n]) is held in the memory 123.
- the sub-core 122 is one of the plurality of guide line images GI (GI A [1] to GI A [n]) according to the steering angle information representing the current steering angle ⁇ of the vehicle CR. Is read from the memory 123, and a display image DI is generated using the read guide line image GI.
- the display image DI including the guide line image GI can be displayed by using any of the above). Therefore, even if it takes 2 seconds or more to start the main core 121, it is possible to comply with the KT (Kids and Transportation Safety Act) law in the North American regulations (the sub-core 122 has a time sufficiently smaller than 2 seconds). Can be started with). Further, since the configuration of the existing vehicle-mounted camera device can be used as it is to realize the vehicle-mounted camera device 10 according to the present embodiment, no additional member cost is required.
- the guide line image GI (GI A [1] to GI A [n]) including the guide line GL drawn by the main core 121 can be held in the memory 123 in the calibration mode, the mounting state of the camera 11R can be changed. Even if the vehicle type of the vehicle CR to which the camera 11R is attached is changed, the guide line image GI can be adjusted (adjustment of the guide line GL) by the vehicle CR alone on which the in-vehicle camera device 10 is installed. .. That is, by performing the calibration step again in the vehicle CR, the guide line image GI adapted to the changed situation can be regenerated and re-held.
- a calibration computer for drawing and generating guide lines and guide line images for each assumed steering angle is separately prepared, and each guide is provided in the calibration computer. Have a line image drawn and created. Then, the guide line image created by the calibration computer is non-volatilely stored in the memory of the reference in-vehicle camera device. After that, in the normal mode of the reference in-vehicle camera device, a guide line image adapted to the actual steering angle of the vehicle is read from the memory, and the read guide line image is superimposed on the camera image to generate a display image.
- Second Example The second embodiment will be described.
- the second embodiment is an example in which only a part of the first embodiment is modified, and the description of the first embodiment is described in the second embodiment as long as there is no contradiction in the matters not particularly described in the second embodiment. Also applies.
- FIG. 10 is an operation flowchart of the vehicle-mounted camera device 10 in the normal mode according to the second embodiment.
- the operation in the normal mode shown in FIG. 10 is executed after passing through the calibration step of FIG. That is, at the stage when the operation of FIG. 10 is started, the guide line images GI A [1] to GI A [n] are stored in the memory 123.
- the operation shown in FIG. 10 comprises the processes of steps S21 to S29.
- the contents of the processes of steps S21 to S23 are as shown in the first embodiment.
- step S24 the signal processing unit 12 (for example, the sub-core 122) refers to the shift information (see FIG. 1) from the shift lever sensor 32, and whether or not the position of the shift lever 3 is the reverse position. To judge. If the position of the shift lever 3 is not the reverse position, the process of step S24 is repeated. When the position of the shift lever 3 is the reverse position, the process proceeds from step S24 to step S25.
- step S25 the signal processing unit 12 confirms whether or not the main core 121 has not been started.
- step S25 if the main core 121 has not been started yet, the process of steps S26 and S27 is executed from step S25 to step S26, and the parking support function (see FIG. 5) is performed by the process of steps S26 and S27. Is executed.
- steps S26 and S27 are as shown in the first embodiment. Therefore, during the period in which the position of the shift lever 3 is maintained in the reverse position and before the activation of the main core 121 is completed, the processes of steps S26 and S27 are repeated according to the steering angle ⁇ at each time of the vehicle CR. While the guide line image GI superimposed on the camera image CI is read out from the memory 123 and updated, the camera image CI on which the guide line image GI is superimposed is displayed on the display device 20 as the display image DI of the moving image.
- step S25 when the main core 121 has been started up, the process proceeds from step S25 to step S28 to execute the processes of steps S28 and S29, and the process of steps S28 and S29 causes the parking support function (FIG. 5). See) is executed.
- step S28 the main core 121 is based on the latest steering angle information acquired from the steering sensor 31, and the guide line GL corresponding to the current steering angle ⁇ of the vehicle CR while referring to the calibration parameters stored in the memory 123. Is drawn, and a guide line image GI including the drawn guide line GL is generated. That is, in step S28, the main core 121 draws and generates a guide line GL and a guide line image GI according to the current steering angle ⁇ in real time based on the latest steering angle information.
- step S29 the main core 121 or the sub-core 122 displays the guide line image GI generated in real time in step S28 by superimposing it on the latest camera image CI captured and acquired by the camera 11R.
- the display image DI is displayed on the display device 20 by generating the image DI and outputting the image data of the display image DI to the display device 20.
- the process returns to step S24. Therefore, after the activation of the main core 121 is completed, the processes of steps S28 and S29 are repeated during the period in which the position of the shift lever 3 is maintained in the reverse position, and are superimposed on the camera image CI according to the steering angle ⁇ at each time of the vehicle CR. While the guide line image GI to be generated is generated and updated in real time, the camera image CI on which the guide line image GI is superimposed is displayed on the display device 20 as the display image DI of the moving image.
- the sub-core 122 has a plurality of guide line images GI (GI A [1] to GI A ) according to the steering angle information. Any one of [n]) is read from the memory 123, and the displayed image DI is generated using the read guide line image GI.
- the guide line image GI generated in real time by the main core 121 is used according to the steering angle information, and the display image DI is generated by the main core 121 or the sub core 122.
- the retained guideline image GI (GI A [1] to GI A [n]]
- the display image DI including the guide line image GI can be displayed by using any of the above).
- the guide line GL drawn in real time of the main core 121 is displayed, so that the accurate guide line GL according to the actual rudder angle ⁇ (smoothly changes according to the change of the rudder angle ⁇ ).
- the guide line GL can be displayed.
- the guide line GL to be displayed is selected from the n types of guide line GL before the activation of the main core 121 is completed, it is difficult to smoothly change the guide line GL with respect to the change in the rudder angle ⁇ .
- the optimum guide line GL for the rudder angle ⁇ at that time can be drawn in real time, so it is possible to display the guide line GL that changes smoothly according to the change in the rudder angle ⁇ . Become.
- the state in which the vehicle CR is moving (that is, the state in which the speed of the vehicle CR is not zero) is referred to as a running state
- the state in which the vehicle CR is stopped (that is, the state in which the speed of the vehicle CR is zero) is referred to as a stopped state.
- the vehicle-mounted camera device 10 At least in the traveling state of the vehicle CR, the vehicle-mounted camera device 10 is in the power-on state. In the stopped state of the vehicle CR, the vehicle-mounted camera device 10 may be turned on or off depending on the operation status of the ignition switch 4 or the like.
- the predetermined operation OP is input by the driver while the vehicle CR is stopped.
- the predetermined operation OP is an operation for generating a switch from the power-on state to the power-off state of the vehicle-mounted camera device 10.
- a predetermined off-trigger signal is input to the vehicle-mounted camera device 10 via the in-vehicle network 40 in response to the input of the predetermined operation OP, and then the state of the vehicle-mounted camera device 10 actually changes after the predetermined off standby time TOH has elapsed. It shall switch from the power on state to the power off state.
- the operation for the ignition switch 4 is assumed as the predetermined operation OP, but in addition to this, the predetermined operation for any part installed in the vehicle CR may function as the predetermined operation OP.
- the predetermined operation for any part installed in the vehicle CR may function as the predetermined operation OP.
- the operation of operating the parking brake set in the vehicle CR may function as a predetermined operation OP.
- the operation of setting the position of the shift lever 3 to the neutral position or the parking position may function as a predetermined operation OP.
- the off-trigger signal may be a signal foretelling that the supply of the ACC power supply to the vehicle-mounted camera device 10 is cut off, or may be an enable signal for the vehicle-mounted camera device 10.
- the period of the off standby time TOH minutes starting from the input timing to the off trigger signal for the vehicle-mounted camera device 10 is referred to as an off standby period.
- the signal processing unit 12 can perform necessary processing such as saving necessary data in the memory 123 during the off standby period.
- the vehicle-mounted camera device 10 In the third embodiment, from the viewpoint of reducing the required storage capacity of the memory 123, only the processes of steps S11 and S12 described above are executed in the calibration step in the calibration mode (see FIG. 8), and the processes of steps S13 to S16 are executed. do not do. That is, in the calibration process, only the calibration parameters necessary for drawing the guide line GL (generation of the guide line image GI) are derived and stored in the memory 123, and the guide line image GI including the guide line GL is stored in the memory 123. Do not do. In the normal mode after such a calibration step, the vehicle-mounted camera device 10 according to the third embodiment operates as follows.
- FIG. 12 shows an operation flowchart of the vehicle-mounted camera device 10 starting from the reception of the off-trigger signal.
- the main core 121 refers to the steering angle information representing the current steering angle ⁇ of the vehicle CR and refers to the specific steering angle range.
- Set R ⁇ The rudder angle ⁇ represented by the rudder angle information referred to in step S52 (that is, the rudder angle ⁇ in step S52) is referred to as a reference rudder angle ⁇ REF .
- the specific steering angle range R ⁇ is an angle range set with reference to the reference steering angle ⁇ REF , and is a variable range of the steering angle ⁇ in the vehicle CR (that is, a predetermined negative angle ⁇ L # . It is smaller than the angle range from LIM to the predetermined positive angle ⁇ R # LIM ). More specifically, the specific steering angle range R ⁇ is an angle range from the angle ⁇ L to the angle ⁇ R , and is an angle range having a width of an angle (2 ⁇ ⁇ ) about the reference steering angle ⁇ REF . ..
- the lower limit angle of the specific steering angle range R ⁇ is limited to the angle ⁇ L # LIM
- the upper limit angle of the specific steering angle range R ⁇ is limited to the angle ⁇ R # LIM . That is, the angle ⁇ L is the larger of the angle ( ⁇ REF ⁇ ⁇ ) and the angle ⁇ L # LIM
- the angle ⁇ R is the smaller of the angle ( ⁇ REF + ⁇ ) and the angle ⁇ R # LIM .
- step S53 the main core 121 sets a plurality of assumed steering angles within the specific steering angle range R ⁇ .
- the assumed steering angle does not indicate an amount indicating the actual steering angle ⁇ of the vehicle CR, but refers to an assumed value of the steering angle ⁇ that can be taken by the steering angle ⁇ of the vehicle CR.
- the third assumed steering angle is referred to as an assumed steering angle ⁇ B [i]. It is assumed that the first to third assumed rudder angles (that is, ⁇ B [1] to ⁇ B [m]) are set in step S53.
- m is any integer greater than or equal to 2.
- the assumed rudder angles ⁇ B [1] to ⁇ B [m] have different angles within the specific rudder angle range R ⁇ .
- the assumed rudder angles ⁇ B [1] to ⁇ B [m] may be set so that the intervals between adjacent assumed rudder angles become even. That is, the assumed rudder angle ⁇ B [1] to ⁇ B [m] may be set by dissociating the specific rudder angle range R ⁇ at equal angle intervals. In this case, the resolution of the allocation of the assumed rudder angle ⁇ B [1] to ⁇ B [m] is uniform over the entire specific rudder angle range R ⁇ .
- B [1] to ⁇ B [m] may be set. That is, for example, a total of nine assumed rudder angles are set in 1 ° increments in an angle range of ( ⁇ REF -4 °) or more and ( ⁇ REF + 4 °) or less, and assumed angles are set in 2 ° increments in other angle ranges. You may.
- step S53 the process proceeds to step S54.
- step S54 the signal processing unit 12 sets the variable i to “1” and then proceeds to step S55.
- i is a variable that takes any of any natural numbers.
- step S55 the main core 121 generates a guide line image GI including the guide line GL by drawing a guide line GL for the assumed steering angle of the i based on the calibration parameter, and generates a guide line image GI including the guide line GL, and the guide line i is generated.
- the image GI is saved in the memory 123.
- the third guideline image GI generated and stored in step S55 is referred to as a guideline image GI B [i].
- the guide line image GI B [i] is a two-dimensional image including the guide line GL when it is assumed that the actual steering angle ⁇ of the vehicle CR matches the assumed steering angle ⁇ B [i].
- the guide line images GI B [1] to GI B [m] are already stored in the memory 123.
- steps S51 to S57 are executed in the off standby period having a length of the off standby time TOH , and the state of the vehicle-mounted camera device 10 is switched from the power on state to the power off state after the operation of FIG. 12 is completed. After that, when the vehicle-mounted camera device 10 returns to the power-on state, the operation in the normal mode shown in the second embodiment (see FIG. 10) is performed. Therefore, before the activation of the main core 121 is completed (Y in step S25), any one of the guide line image GI generated in step S55 of FIG. 12 and stored in the memory 123 (guide line image GI B [1]].
- ⁇ GI B [m] is read from the memory 123 according to the steering angle information, and the read guide line image GI is superimposed on the camera image CI to generate a display image DI (step S26). And S27). After the activation of the main core 121 is completed (N in step S25), the processes of steps S28 and S29 in FIG. 10 may be executed.
- the symbols “ ⁇ A ”, “GI A ”, and “n” in the second embodiment are “ ⁇ B ”, “GI B ”, respectively. It is read as "m”.
- the main core 121 is before the switch to the power-off state.
- a holding process for holding the guide line images GI B [1] to GI B [m] in the memory 123 is executed.
- the holding process here is composed of the processes of steps S51 to S57 in FIG.
- the main core 121 sets and sets a specific steering angle range R ⁇ smaller than the variable range of the steering angle ⁇ of the vehicle CR based on the steering angle information (reference steering angle ⁇ REF ) in the stopped state of the vehicle CR.
- the two or more guide line images are held in the memory 123.
- the guideline image GI that may be required immediately after the in-vehicle camera device 10 is started can be held in the memory 123 with a storage capacity as small as possible, and the required storage capacity of the memory 123 is reduced. can.
- the guide line images GI B [1] to GI B [m] are generated every time the in-vehicle camera device 10 switches from the power-on state to the power-off state, and are stored in the memory 123 each time the power is switched.
- Guide line images GI B [1] to GI B [m] are updated. That is, the operation of FIG. 12 is performed while the guide line images GI B [1] to GI B [m] are stored in the memory 123, and the guide line images GI B [1] to GI B [m] are newly generated.
- new guide line images GI B [1] to GI B [m] are overwritten and saved in the memory 123 with respect to the saved guide line images GI B [1] to GI B [m].
- the main core 121 can draw the guide line GL in real time and superimpose the guide line image GI on the camera image CI, but the main core 121 is generated after the start of the main core 121 is completed.
- the amount of information of each guideline image GI held in the memory 123 may be smaller than the amount of information of the possible guideline image GI. As a result, the required storage capacity of the memory 123 can be reduced. By reducing the amount of information in the guide line GL, the amount of information in the guide line image GI is reduced.
- the guide that can be generated by the main core 121 can be generated by reducing the amount of information of the guide line GL of each guide line image GI held in the memory 123 as compared with the amount of information of the guide line GL that can be drawn by the main core 121.
- the amount of information of each guide line image GI held in the memory 123 can be made smaller than the amount of information of the line image GI. I will explain this.
- the first method of adjusting the amount of information will be described. For example, consider a case where the main core 121 can draw a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 as shown in FIG.
- the first information amount adjusting method in each of the guide line images GI A [1] to GI A [n] or GI B [1] to GI B [m] stored in the memory 123, two guide line images are used in the guide line GL.
- the main line GL1 is included and the three auxiliary lines GL2 are not included, or the guide line GL includes two main lines GL1 and two or less auxiliary lines GL2.
- the amount of information on the guide line GL of each guide line image GI held in the memory 123 is smaller than the amount of information on the guide line GL that can be drawn by the main core 121 by the amount of one or more auxiliary lines GL2.
- a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 is drawn, and a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 is drawn.
- a guideline image GI including may be generated.
- the main core 121 can draw a guide line GL composed of two main lines GL1 and three auxiliary lines GL2, and at this time, although it is not clear from FIG. 6, the main line can be drawn.
- the guide line GL is the main line GL1.
- auxiliary line GL2 are included, but the main line GL1 and the auxiliary line GL2 are drawn in a common color.
- the amount of information on the guide line GL of each guide line image GI held in the memory 123 is smaller than the amount of information on the guide line GL that can be drawn by the main core 121 by the amount of the line color coding.
- a guide line GL composed of two main lines GL1 having a first color and three auxiliary lines GL2 having a second color is drawn, and the guide line GL is drawn.
- a guideline image GI including may be generated.
- the first color and the second color are different from each other.
- the first and second information amount adjustment methods may be combined and carried out.
- the above-mentioned magnitude relation of the amount of information may be realized by using an arbitrary method.
- the main core 121 can draw a guide line GL for each of P rudder angles ⁇ (in other words, P-type rudder angles ⁇ ) within the variable range of the rudder angle ⁇ in step S28 of FIG. , P-type guide line GL and P-type guide line image GI corresponding to P rudder angles ⁇ can be drawn and generated.
- P is an integer of 2 or more.
- the integer P may have a very large value corresponding to the resolution of the rudder angle ⁇ represented by the rudder angle information.
- the integer n referred to in FIG. 8 and the integer m referred to in FIG. 12 are smaller than the integer P.
- the P-type steering angles ⁇ are P angles discrete at a predetermined first angle interval (for example, 0.1 °)
- the n-type assumed steering angles ( ⁇ A [] in FIG. 1] to ⁇ A [n]) are n angles discrete at a predetermined second angle interval (for example, 5 °) larger than the first angle interval, or m types of assumed rudders in FIG.
- the angles ( ⁇ B [1] to ⁇ B [m]) are m angles discrete at a predetermined second angle interval (for example, 5 °) larger than the first angle interval.
- the number of types (n or m) of the guide line image GI held in the memory 123 is smaller than the number of types P of the guide line image GI that can be generated by the main core 121 after the activation of the main core 121 is completed. .. As a result, it is possible to suppress an increase in the required storage capacity of the memory 123.
- a fifth embodiment will be described.
- the method shown in the first or second embodiment and the method shown in the third embodiment can also be combined.
- the method related to this combination will be described.
- the calibration step of FIG. 8 is executed in the calibration mode as shown in the first embodiment, and the guide line images GI A [1] to GI A [n] are executed by the calibration step.
- ] Is saved in the memory 123.
- the operation of FIG. 12 is performed every time the vehicle-mounted camera device 10 switches from the power-on state to the power-off state according to the method shown in the third embodiment, and the guideline image GI B [1] is performed by the operation.
- ⁇ GI B [m] is stored in the memory 123.
- the guide line images GI A [1] to GI A [n] based on the operation of FIG. 8 and the guide line images GI B [1] to GI B [m] based on the operation of FIG. 12 are stored in the memory 123.
- the guide line images GI B [1] to GI B [m] are generated every time the vehicle-mounted camera device 10 switches from the power-on state to the power-off state, and each time the power is switched.
- the guide line images GI B [1] to GI B [m] stored in the memory 123 are updated. That is, the operation of FIG.
- the assumed rudder angles ⁇ A [1] to ⁇ A [n] constitute the first rudder angle group
- the assumed rudder angles ⁇ B [1] to ⁇ B [m] constitute the second rudder angle group.
- the guide line images GI A [1] to GI A [n] constitute the first guide line image group for the first rudder angle group
- the guide line images GI B [1] to GI B [m]. Can be considered to constitute a second guideline image group for the second rudder angle group (see FIG. 14).
- the angle spacing INT B is smaller than the angle spacing INT A. That is, for example, if the angle spacing INT A is 10 °, the angle spacing INT B is set to 2 °. That is, in the calibration step of FIG. 8, guide line images GI A [1] to GI A [n] are generated in relatively coarse angle increments (at an angle interval INT A ) from the viewpoint of reducing the required storage capacity of the memory 123. In the normal mode after that, the guide line image GI B [1] to be saved in relatively fine angle increments (at the angle interval INT B ) in the angle range around the steering angle ⁇ when the vehicle CR is stopped. Generate and store GI B [m].
- the operation of the first embodiment that is, the operation of FIG. 9
- the operation of the second embodiment that is, the operation of FIG. 9)
- 10 operations may be performed.
- the sub-core 122 has a guide line image according to the current steering angle ⁇ of the vehicle CR based on the latest steering angle information acquired from the steering sensor 31.
- GI one of the guide line images GI A [1] to GI A [n] and GI B [1] to GI B [m]
- the sub-core 122 has the assumed steering angle closest to the current steering angle ⁇ of the vehicle CR among the assumed steering angles ⁇ A [1] to ⁇ A [n] and ⁇ B [1] to ⁇ B [m].
- the guide line image GI that is specified and corresponds to the specified assumed steering angle is read from the memory 123.
- the assumed rudder angle closest to the current rudder angle ⁇ of the vehicle CR is the assumed rudder angle ⁇ . If A [1], the guide line image GI A [1] is read out, and if the assumed steering angle closest to the current steering angle ⁇ of the vehicle CR is the assumed steering angle ⁇ B [1], the guide line image GI B Read [1]. After step S26, the process proceeds to step S27.
- step S27 (see FIG. 9 or FIG. 10) according to the fifth embodiment, the sub-core 122 superimposes the guide line image GI read in step S26 on the latest camera image CI captured and acquired by the camera 11R. As a result, the display image DI is generated, and the image data of the display image DI is output to the display device 20, so that the display image DI is displayed on the display device 20. After that, the process returns to step S24.
- the main core 121 performs all or part of the processing of steps S26 and S27 after the activation of the main core 121 is completed. You may do so. In any case, at least before the start-up of the main core 121 is completed, the sub-core 122 executes the processes of steps S26 and S27.
- the main core 121 has a second guideline image group in the memory 123 before switching to the power-off state.
- the holding process for holding (guide line image GI B [1] to GI B [m]) is executed.
- the holding process here is composed of the processes of steps S51 to S57 in FIG.
- the first guide line image group (guide line images GI A [1] to GI A [n]) is stored in the memory 123 in advance before the holding process.
- the main core 121 sets and sets a specific steering angle range R ⁇ smaller than the variable range of the steering angle ⁇ of the vehicle CR based on the steering angle information (reference steering angle ⁇ REF ) in the stopped state of the vehicle CR.
- the two or more guide line images are held in the memory 123 as a second guide line image group.
- the angle spacing INT A of the first steering angle group corresponding to the first guide line image group is set relatively large
- the angle spacing INT B of the second steering angle group corresponding to the second guide line image group is set. Set relatively small.
- the amount of information of each guideline image GI in the second guideline image group may be larger than the amount of information of each guideline image GI in the first guideline image group. That is, the amount of information of each of the guide line images GI B [1] to GI B [m] may be larger than the amount of information of each of the guide line images GI A [1] to GI A [n].
- the guide line image GI having a large amount of information about the periphery of the current steering angle ⁇ immediately after the in-vehicle camera device 10 is started, while keeping the required storage capacity of the memory 123 as small as possible. ..
- each guideline image GI (GI A [i]) in the first guideline image group is compared with the amount of information of the guideline GL of each guideline image GI (GI B [i]) in the second guideline image group. ])
- the amount of information of each guide line image GI in the second guide line image group is larger than the amount of information of each guide line image GI in the first guide line image group. You can do a lot. In order to realize this, the above-mentioned first or second information amount adjusting method can be used.
- the method of using the first information amount adjustment method will be described. For example, consider a case where the main core 121 can draw a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 as shown in FIG.
- the guide line GLs of the guide line images GI B [1] to GI B [m] stored in the memory 123 include two main lines GL1 and three auxiliary lines GL2.
- the guide lines are equal to one or more auxiliary lines GL2 than in the guide line images GI A [1] to GI A [n].
- the amount of information in GL increases.
- a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 is drawn, and a guide line GL composed of two main lines GL1 and three auxiliary lines GL2 is drawn.
- a guideline image GI including may be generated.
- the main core 121 can draw a guide line GL composed of two main lines GL1 and three auxiliary lines GL2, and at this time, although it is not clear from FIG. 6, the main line can be drawn.
- the guide line GL is the two main lines GL1 and three having a common color. It is composed of an auxiliary line GL2.
- the guide line GL is the two main lines GL1 having the first color and the three lines having the second color. It is composed of the auxiliary line GL2 of. The first color and the second color are different from each other.
- the amount of information of the guide line GL is larger than that in the guide line images GI A [1] to GI A [n] by the amount of the line color coding. Will increase.
- a guide line GL composed of two main lines GL1 having a first color and three auxiliary lines GL2 having a second color is drawn, and the guide line GL is drawn.
- a guideline image GI including may be generated.
- the first and second information amount adjustment methods may be combined and carried out, or any other method may be used to realize the magnitude relationship of the above-mentioned information amount.
- the guide line image GI is superimposed on the reference image based on the shooting result of the camera installed in the vehicle CR, and the reference image on which the guide line image GI is superimposed is displayed on the display device 20 as the display image DI. Output (displayed on the display device 20).
- the camera 11R attention is paid to the camera 11R as a rear camera
- the camera image CI which is a captured image of the camera 11R is used as a reference image
- the guide line image GI is superimposed on the camera image CI as a specific example.
- the reference image on which the guide line image GI should be superimposed is not limited to the captured image of the camera 11R (rear camera).
- a composite image of images taken by the plurality of cameras is used as a reference image, and the plurality of cameras are used.
- the guide line image GI may be superimposed on the composite image of the captured image.
- the signal processing unit 12 for example, the main core
- the signal processing unit 12 By synthesizing the images taken by each camera in 121 or the sub-core 122), a bird's-eye view image as if the vehicle CR is viewed from above can be generated, and this bird's-eye view image may be used as the above-mentioned reference image.
- the guide line image GI is superimposed on the bird's-eye view image, and the superimposed bird's-eye view image is output to the display device 20 (displayed by the display device 20) as the display image DI.
- In-vehicle camera system 11 Camera unit 11R camera (rear camera) 12 Signal processing unit 20 Display device 30 Lane sensor unit 40 In-vehicle network 121 Main core 122 Sub-core 123 Memory CI Camera image GI Guideline image DI Display image GL Guideline
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
車両に搭載される車載カメラ装置において、車両の舵角に応じたガイド線を含むガイド線画像を生成するメインコア(121)と、車両に設置されたカメラの撮影結果に基づく基準画像に対してガイド線画像を重畳し、重畳後の基準画像を表示画像として表示装置に出力するサブコア(122)と、メインコアにて生成した、複数の舵角に対する複数のガイド線画像を保持するメモリ(123)と、を備える。サブコアは、車両の現在の舵角を表す舵角情報に応じて上記複数のガイド線画像の何れかをメモリから読み出し、読み出したガイド線画像を用いて表示画像を生成する。
Description
本発明は、車載カメラ装置及び表示画像生成方法に関する。
駐車時などにおける運転操作を支援する運転支援方法が実用化されている。運転支援方法の一種として、車両の舵角に基づいて車両の走行予想軌跡を求め、走行予想軌跡を示すガイド線を車載カメラの撮影画像に重畳表示する方法がある。
ガイド線は車両の舵角に依存し、舵角に応じたガイド線の描画は比較的重い演算処理を要する。このため、以下のような参考方法が検討される。参考方法に係る参考車載カメラ装置では、その装置の校正工程において、ガイド線を描画させるための校正用コンピュータを別途に用意し、校正用コンピュータに舵角ごとのガイド線を描画させる。この際、カメラの車両への取り付け位置及び取り付け角度を考慮した校正パラメータが作成され、校正パラメータを参照して正確なガイド線を描画する。校正用コンピュータにて描画されたガイド線のデータは参考車載カメラ装置のメモリに不揮発的に記憶される。その後、参考車載カメラ装置では、車両の実際の舵角に適応したガイド線の画像をメモリから読み出し、読み出したガイド線の画像をカメラ画像に重畳することで表示画像を生成する。
但し、このような参考方法では、カメラの車両への取り付け後、カメラの取り付け状態が変更されたり、カメラを取り付ける車両の車種が変更されたりすると、上記校正用コンピュータの力を借りない限り、ガイド線の調整(校正パラメータの再作成を介したガイド線の調整)を行うことができず、不便である。
本発明は、ガイド線を表示可能であって且つ利便性の高い車載カメラ装置及び表示画像生成方法を提供することを目的とする。
本発明に係る車載カメラ装置は、車両に搭載される車載カメラ装置において、前記車両の舵角に応じたガイド線を含むガイド線画像を生成する第1演算処理部と、前記車両に設置されたカメラの撮影結果に基づく基準画像に対して前記ガイド線画像を重畳し、重畳後の基準画像を表示画像として表示装置に出力する第2演算処理部と、前記第1演算処理部にて生成した、複数の舵角に対する複数のガイド線画像を保持するメモリと、を備え、前記第2演算処理部は、前記車両の現在の舵角を表す舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成する構成(第1の構成)である。
上記第1の構成に係る車載カメラ装置において、当該車載カメラ装置が電源オフ状態から電源オン状態に切り替わったとき、前記第1演算処理部及び前記第2演算処理部の内、前記第2演算処理部が先に起動完了し、この際、前記第1演算処理部の起動完了前においては、前記第2演算処理部にて、前記舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成し、前記第1演算処理部の起動完了後においては、前記舵角情報に応じ前記第1演算処理部によりリアルタイムに生成された前記ガイド線画像を用いて、前記第1演算処理部又は前記第2演算処理部にて前記表示画像を生成する構成(第2の構成)であっても良い。
上記第2の構成に係る車載カメラ装置において、前記第1演算処理部は、前記車両の停止状態において当該車載カメラ装置が電源オン状態から電源オフ状態へ切り替わる際、電源オフ状態への切り替わり前に保持処理を実行し、前記第1演算処理部は、前記保持処理において、前記車両の停止状態における前記舵角情報に基づき前記車両の舵角の可変範囲よりも小さな範囲を設定し、設定範囲内の2以上の舵角に対する2以上のガイド線画像を生成して、当該2以上のガイド線画像を前記複数のガイド線画像として前記メモリに保持させる構成(第3の構成)であっても良い。
上記第2又は第3の構成に係る車載カメラ装置において、前記第1演算処理部の起動完了後において前記第1演算処理部が生成可能な前記ガイド線画像の情報量に比べ、前記メモリに保持される各ガイド線画像の情報量は小さい構成(第4の構成)であっても良い。
上記第2~第4の構成の何れかに係る車載カメラ装置において、前記第1演算処理部の起動完了後において前記第1演算処理部が生成可能な前記ガイド線画像の種類数に比べ、前記メモリに保持される前記ガイド線画像の種類数は少ない構成(第5の構成)であっても良い。
上記第1又は第2の構成に係る車載カメラ装置において、前記メモリに保持される前記複数のガイド線画像は、第1舵角群に対する第1ガイド線画像群中の各ガイド線画像と、第2舵角群に対する第2ガイド線画像群中の各ガイド線画像と、から成り、前記第1舵角群は複数の第1舵角から成り、前記第2舵角群は前記複数の第1舵角の角度間隔よりも小さな所定角度間隔で離散化された複数の第2舵角から成り、前記第1演算処理部は、前記車両の停止状態において当該車載カメラ装置が電源オン状態から電源オフ状態へ切り替わる際、電源オフ状態への切り替わり前に保持処理を実行し、前記第1ガイド線画像群は前記保持処理の前に予め前記メモリに保持され、前記第1演算処理部は、前記保持処理において、前記車両の停止状態における前記舵角情報に基づき前記車両の舵角の可変範囲よりも小さな範囲を設定し且つ設定範囲内に前記所定角度間隔にて2以上の舵角を前記第2舵角群として設定し、前記2以上の舵角に対する2以上のガイド線画像を生成して、当該2以上のガイド線画像を前記第2ガイド線画像群として前記メモリに保持させる構成(第6の構成)であっても良い。
上記第6の構成に係る車載カメラ装置において、前記第2ガイド線画像群中の各ガイド線画像の情報量は、前記第1ガイド線画像群中の各ガイド線画像の情報量よりも多い構成(第7の構成)であっても良い。
本発明に係る表示画像生成方法は、車両に搭載され、第1演算処理部、第2演算処理部及びメモリを有する車載カメラ装置にて用いられる表示画像生成方法であって、前記第1演算処理部において、前記車両の舵角に応じたガイド線を含むガイド線画像を生成する第1ステップと、前記第2演算処理部において、前記車両に設置されたカメラの撮影結果に基づく基準画像に対し前記ガイド線画像を重畳し、重畳後の基準画像を表示画像として表示装置に出力する第2ステップと、前記第1ステップにて生成した、複数の舵角に対する複数のガイド線画像を前記メモリに保持する第3ステップと、を備え、前記第2ステップでは、前記車両の現在の舵角を表す舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成する構成(第8の構成)である。
本発明によれば、ガイド線を表示可能であって且つ利便性の高い車載カメラ装置及び表示画像生成方法を提供することが可能となる。
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。
図1は本発明の実施形態に係る車載システムSYSの全体構成図である。車載システムSYSは、車載カメラ装置10、表示装置20及び車載センサ部30を備える。図2は車載システムSYSを搭載した車両CRの概略的な上面図である。図3に車両CRの車室内の一部を示す。車両CRの車室内において、運転席近傍には、運転手が操作する部品としてステアリングホイール2、シフトレバー3及びイグニッションスイッチ4が設けられると共に、運転手が視認可能な表示装置20が設けられる。
ステアリングホイール2は、運転手による回転操作を受け当該回転操作に応じて車両CRの進行方向を調整するための輪状の部品である。シフトレバー3は、運転手の操作に基づき、車両CRの進行可否及び車両CRの進行方向を設定したり、車両CRの変速を行ったりする。イグニッションスイッチ4は、運転手の操作に基づき、車両CRの各電装機器に対する電源の供給又は非供給を指定すると共に、車両CRのエンジンの始動又は停止を指定する。車両CRの電装機器に対する電源をACC電源と称する。車載カメラ装置10及び表示装置20は電装機器に該当する。
車載カメラ装置10は電源オン状態と電源オフ状態の何れかの状態をとる。電源オン状態は、車載カメラ装置10にACC電源が供給されていて車載カメラ装置10がACC電源に基づき動作可能となる状態を指す。電源オフ状態は、車載カメラ装置10へのACC電源が遮断されている状態、又は、車載カメラ装置10に対しACC電源が供給されているものの車載カメラ装置10に供給されるイネーブル信号がネゲート状態にあって車載カメラ装置10が起動していない状態を指す。
車載カメラ装置10、表示装置20及び車載センサ部30は、夫々に、車両CRの内部に形成された車内ネットワーク40に接続され、車内ネットワーク40を介し相互に任意の情報及び信号を送受信可能である。車内ネットワーク40としてCAN(Controller Area Network)を利用できる。尚、図1では、車内ネットワーク40に接続される構成要素として、車載カメラ装置10、表示装置20及び車載センサ部30のみが示されているが、それら以外にも図示されない様々な装置(例えば、パワーステアリングシステム、ブレーキシステム、レーダ装置、ドライブレコーダ)が車内ネットワーク40に接続される。
ここでは、車両CRとして路面上を走行可能な車両(自動車等)を主として想定するが、車両CRは任意の種類の車両であって良い。車両CRにおいて、運転席からステアリングホイール2に向かう向きを「前方」と定義し、ステアリングホイール2から運転席に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。左右方向における左、右は、車両CRの運転席に座り且つ前方を向いている、車両CRの運転手から見た左、右であるとする。
車載カメラ装置10は、カメラ部11及び信号処理部12を備える。カメラ部11は車両CRに設置された1以上のカメラから成り、カメラ部11に設けられる個々のカメラを単位カメラと称する。単位カメラは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサなどの撮像素子及び光学系を備え、自身の視野(換言すれば撮影領域)内の撮影を行って、撮影により得られた画像(即ち視野内の像)を示す画像データを生成する。単位カメラにより生成された画像データを、以下、カメラ画像データと称し、カメラ画像データにて表される二次元画像をカメラ画像と称する。単位カメラにより生成されたカメラ画像データは信号処理部12に出力される。単位カメラは所定の撮影フレームレートにて自身の視野内の撮影を周期的に繰り返し行う。撮影フレームレートは1秒間当たりの撮影の回数に相当する。撮影フレームレートは任意であるが、例えば60[フレーム/秒]である。単位カメラにおいて撮影フレームレートの逆数の間隔で1フレーム分のカメラ画像データが周期的に生成され、信号処理部12に送られる。1フレーム分のカメラ画像データにより1枚の静止画像としてのカメラ画像が表され、複数フレーム分のカメラ画像データにより動画像としてのカメラ画像が表される。
カメラ部11には、単位カメラの1つとしてカメラ11Rが設けられている(図2参照)。カメラ2Rは車両CRの後方側領域に視野を持つリアカメラであり、車両CRの車体の適所に設置される。図2からは明らかではないが、車両CRの後方側における所定領域内の路面がカメラ11Rの視野に含まれるよう、カメラ11Rの俯角が適切に設定される。例えば、カメラ11Rの俯角が30°に設定され、車両CRの後端から見て車両CRの後方側8mまでの領域内の路面がカメラ11Rの視野に含められる。カメラ11Rの水平画角は任意であるが、好ましくは広角レンズを使用し、例えば100°~200°の水平画角をカメラ11Rに持たせると良い。
尚、カメラ部11において、リアカメラとしてのカメラ11Rに加え、車両CRの前方側領域に視野を持つフロントカメラ、車両CRの右側領域に視野を持つライトカメラ及び車両CRの右側領域に視野を持つレフトカメラが設けられても良い。フロントカメラ、ライトカメラ及びレフトカメラの夫々も単位カメラの一種であり、各単位カメラのカメラ画像データが信号処理部12に出力される。リアカメラ、フロントカメラ、ライトカメラ及びレフトカメラの内、任意の1以上のカメラのみがカメラ部11に設けられていても良い。本実施形態では、以下、カメラ部11に設けられたカメラ11Rに注目して、カメラ11Rの撮影結果の利用方法を説明する。
信号処理部12は、カメラ画像データに対して必要な信号処理を施すことで表示画像データを生成する。表示画像データは表示装置20に出力される。表示画像データは二次元の表示画像を表す画像データである。
表示装置20は、表示部21と、表示部21に形成されたタッチパネル22を有する。表示部21は、液晶ディスプレイパネル等から成り、車載カメラ装置10(信号処理部12)から提供される表示画像を表示する。タッチパネル22は、操作者からの操作の入力を受けるマンマシンインターフェースの例であり、タッチパネル22への入力操作の内容を示す信号は、車内ネットワーク40を介し、当該信号を受けるべき装置(車載カメラ装置10でありうる)に送られる。タッチパネル22の操作者は、典型的には車両CRの運転手であるが、運転手以外の人物(車両CRの同乗者、車両販売店の店員又は工場の工員など)であり得る。表示装置20は、車両CRの運転手が表示部21での表示内容を視認できるよう、車両CRの車室内における運転席の前方に設置される。車両CRに搭載されたナビゲーションシステムにおける表示装置を、表示装置20として用いても良い。
車載センサ部30は、車両CRに設置された複数のセンサから成る。図1には、複数のセンサに含まれる2つのセンサとして、ステアリングセンサ31及びシフトレバーセンサ32が示されている。
ステアリングセンサ31は、車両CRのステアリングホイール2の操舵量(回転角度)を検出するセンサであり、例えばホール素子などを用いて構成される。ステアリングセンサ31を用いて検出される車両CRの舵角を記号“θ”により表す。車載カメラ装置10は、ステアリングセンサ31により検出された舵角θを示す舵角情報を、車内ネットワーク40を介して取得することができる。舵角情報は車両CRの現在の舵角θ(換言すれば実際の舵角θ)を表し、所定の更新周期で更新される。
シフトレバーセンサ32は、車両CRのシフトレバー3の位置を検出するセンサであり、変位センサなどを用いて構成される。シフトレバー3の位置は、運転手の操作に基づきドライブ位置及びリバース位置を含む複数の位置の何れかに設定される。シフトレバー3がドライブ位置にあるとき車両CRのアクセルペダルの踏み込みに応じて車両CRが前進し(前方に向けて走行し)、シフトレバー3がリバース位置にあるとき車両CRのアクセルペダルの踏み込みに応じて車両CRが後退する(後方に向けて走行する)。シフトレバーセンサ32によって検出されたシフトレバー3の位置を表す情報をシフト情報と称する。車載カメラ装置10は車内ネットワーク40を介してシフト情報を取得することができる。
この他、車両CRに搭載される様々なセンサ(例えば、車速センサ、アクセルセンサ、ブレーキセンサ)も車載センサ部30に含められていて良く、各センサの取得情報は車内ネットワーク40を介して車載カメラ装置10に送られて良い。
図4に信号処理部12の概略内部構成を示す。信号処理部12は、メインコア121、サブコア122及びメモリ123を有する。信号処理部12は、メインコア121、サブコア122及びメモリ123を含むSoC(System-on-a-chip)により構成されていて良い。メインコア121はGPU(Graphics Processing Unit)を搭載した第1演算処理部である。これに対しサブコア122はGPUを搭載していない第2演算処理部である。
メモリ123は、ROM(Read only memory)及びRAM(Random access memory)から成り、メインコア121及びサブコア122に共用される。即ち、メインコア121及びサブコア122は、適宜、図示されないメモリコントローラを介し、夫々に、メモリ123に対するデータの書き込み及びメモリ123からデータの読み出しを行うことができる。メモリ123は、信号処理部12に対する電源供給が遮断されても、データの記憶を保持できる不揮発性メモリ123aを有する。
車載カメラ装置10は、車両CRの運転を支援する運転支援機能を有し、車両CRのシフトレバー3の位置がリバース位置に設定されているときにおいては、運転支援機能の一種として駐車支援機能(換言すれば後退支援機能)を実現する。
図5を参照して、駐車支援機能について説明する。図5には、シフトレバー3の位置がリバース位置に設定されているときのカメラ画像及び表示画像の例が示されている。図5を含む幾つかの図面及び以下の説明では、カメラ画像が記号“CI”にて参照されることがあり、表示画像が記号“DI”にて参照されることがある。駐車支援機能において(即ちシフトレバー3の位置がリバース位置に設定されているときにおいて)、車載カメラ装置10は、カメラ11Rのカメラ画像CIに対し、ガイド線GLを含むガイド線画像GIを合成し、合成後の画像を表示画像DIとして表示装置20に表示させることができる。カメラ画像CIに対するガイド線画像GIの合成はカメラ画像CIに対しガイド線画像GIを重畳することで実現され、ガイド線画像GIが重畳されたカメラ画像CIが表示画像DIとなる。カメラ画像CIに対するガイド線画像GIの重畳によりカメラ画像CIに対しガイド線GLが重畳されるので、カメラ画像CIに対するガイド線画像GIの重畳は、カメラ画像CIに対するガイド線GLの重畳に相当すると捉えても良いし、カメラ画像CIに対するガイド線GLの重畳を含むと捉えても良い。
ガイド線GLは、車両CRが後退する際に車両CRが通過する位置又は領域を予想した線(予想進路線)であり、その位置又は領域を、カメラ画像CIが定義される画像空間上で指し示す線である。ガイド線GLは、車両CRが後退する際の車両CRの走行予想軌跡を表す線を含んでいて良い。車両CRの後退時において車両CRが通過する位置又は領域は、舵角θに依存して変化する。このため、ガイド線GLは舵角θに応じて作成される。
図6に示す如く、ガイド線GLは、2本の主線GL1と、1本以上の補助線GL2(図6の例では3つの補助線GL2)と、で構成される。図6では、便宜上、主線GL1を実線にて図示し、補助線GL2を破線にて図示している。2つの主線GL1の内、一方の主線GL1は、車両CRの車体の後端側且つ右側の角部が車両CRの後退時に通過する位置の軌跡の予想線であり、他方の主線GL1は、車両CRの車体の後端側且つ左側の角部が車両CRの後退時に通過する位置の軌跡の予想線である。ガイド線画像GIにおいて、車両CRの車体の後端は車両CRの車幅分の長さを有する線で表され、車両CRの後退の過程における当該後端の存在位置の予測線が補助線GL2に相当する。各補助線GL2は主線GL1及びGL2間を結ぶ線として描画されることになる。
尚、ガイド線画像GIはガイド線GL以外の画像情報を含んでいても良く、例えば、ガイド線GLに加えて車両延長線やメッセージ画像などを含んでいても良い。車両延長線(不図示)は、車両CRの左端及び右端を単に後方に向けて延長した後方車幅延長線である。車両延長線は舵角θに依存しないため、ガイド線画像GIに車両延長線が含まれる場合、車両延長線はカメラ画像CIにおいて一定の位置に重畳される。
図7(c)に示すように、ステアリングホイール2がニュートラル位置(所定の中立位置)にある場合には、舵角θはゼロであり、ガイド線GLは、上述の車両延長線とほぼ重なる位置に描画される。ここでは、ステアリングホイール2がニュートラル位置にあるとき舵角θはゼロであって、ステアリングホイール2のニュートラル位置を基準にしてステアリングホイール2が右方向(運転手から見て時計周り)に回転操作されたとき、舵角θが正の角度を有し、ステアリングホイール2が左方向(運転手から見て反時計周り)に回転操作されたとき、舵角θが負の角度を有するものとする。
図7(b)に示す如く、ステアリングホイール2がニュートラル位置から少し左方向に回転操作されると(例えばθ=-10°であると)、ガイド線GLは、舵角θがゼロであるときと比べ左方向に湾曲した形状を持つ。図7(b)の状態を起点にステアリングホイール2が更に左方向に回転操作されると(例えばθ=-20°であると)、図7(a)に示す如くガイド線GLは更に左方向に湾曲する。逆に、図7(d)に示す如く、ステアリングホイール2がニュートラル位置から少し右方向に回転操作されると(例えばθ=10°であると)、ガイド線GLは、舵角θがゼロであるときと比べ右方向に湾曲した形状を持つ。図7(d)の状態を起点にステアリングホイール2が更に右方向に回転操作されると(例えばθ=20°であると)、図7(e)に示す如くガイド線GLは更に右方向に湾曲する。
尚、運転手が運転席前方に配置された表示装置20を見る場合において、不図示のルームミラーと同じような風景が見える方が運転手にとって車両CRの周囲の状況が理解し易いと考えられるので、表示画像DIにおいては、カメラ画像CIは左右反転した鏡像画像として表示されると良い(即ち、カメラ11Rの撮影画像そのものを鏡像反転した画像を、表示装置DI中のカメラ画像CIとして表示装置20に表示すると良い)。この際には、カメラ画像CIに重畳されるガイド線GLも鏡像として描画される。
以下、複数の実施例の中で、上述の構成に関する具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる(即ち複数の実施例の内の任意の2以上の実施例を組み合わせることも可能である)。
<<第1実施例>>
第1実施例を説明する。車載カメラ装置10は校正モード及び通常モードを含む複数のモードの何れかにて動作する。車載カメラ装置10が何れの動作モードで設定するかを制御する動作モード設定部(不図示)が信号処理部12に内包されている。車載カメラ装置10が電源オフ状態から電源オン状態に切り替わると、車載カメラ装置10は原則として通常モードで動作を開始する。その後、タッチパネル22に対し所定操作が入力されると、動作モード設定部により車載カメラ装置1の動作モードは校正モードに切り替えられ、以後は、電源オフ状態となるまで車載カメラ装置10の動作モードは校正モードに維持される。
第1実施例を説明する。車載カメラ装置10は校正モード及び通常モードを含む複数のモードの何れかにて動作する。車載カメラ装置10が何れの動作モードで設定するかを制御する動作モード設定部(不図示)が信号処理部12に内包されている。車載カメラ装置10が電源オフ状態から電源オン状態に切り替わると、車載カメラ装置10は原則として通常モードで動作を開始する。その後、タッチパネル22に対し所定操作が入力されると、動作モード設定部により車載カメラ装置1の動作モードは校正モードに切り替えられ、以後は、電源オフ状態となるまで車載カメラ装置10の動作モードは校正モードに維持される。
図8は校正工程のフローチャートである。校正工程は車載カメラ装置10の動作モードが校正モードに設定されている状態で実行される。校正工程は、主に、車両CRの製造工場において製造工場の工員により、又は、車両CRの販売店において販売店の店員より、進められる。但し、後述の校正環境を整えることができる限り、車載システムSYSのユーザ(車両CRの運転手等)により校正工程が進められても良い。
車両CRに対するカメラ11Rの取り付け位置及び取り付け角度について目標となる位置及び角度は存在するが、実際のカメラ11Rの取り付け位置及び取り付け角度は目標となる位置及び角度から多少なりともずれることが一般的である。校正工程では、実際のカメラ11Rの取り付け位置及び取り付け角度と目標となる位置及び角度との誤差に基づく校正パラメータを取得し、校正パラメータに基づき実際のカメラ11Rの取り付け位置及び取り付け角度に応じたガイド線画像GIを生成してメモリ123内の不揮発性メモリ123aに保存する。以下、メモリ123へのガイド線画像GIの保存とは、特に記述なき限り、不揮発性メモリ123aへのガイド線画像GIの保存を指すものとする。後述の校正パラメータについても同様である。図8を参照し、校正工程の詳細を説明する。
校正工程では、まずステップS11において、カメラ11Rが設置済みの車両CRを所定の校正環境に配置する。校正環境では車両CRが平坦な校正用路面上に配置される。校正用路面上において、カメラ11Rの視野(撮影領域)内にカメラ11Rにより識別可能な複数のマーカが配置される。カメラ画像CIが定義される画像空間の座標系を画像座標系と称し、これと区別するべく、車両CR等が存在する実空間の座標系をワールド座標系と称する。校正環境において、ワールド座標系における車両CRの形状の情報、及び、ワールド座標系における車両CR及び各マーカ間の位置関係の情報などを含む、校正パラメータの導出に必要な情報が、校正用既知情報として、信号処理部12に予め与えられる。
ステップS11に続くステップS12では、校正環境の下でカメラ11Rが上記複数のマーカの撮影を行い、複数のマーカの像を含むカメラ画像の画像データをカメラ11Rから信号処理部12に対し、校正用カメラ画像データとして送る。ステップS12において、信号処理部12における図示されない校正パラメータ導出部は、校正用カメラ画像データと上述の校正用既知情報とに基づいて校正パラメータを導出し、導出した校正パラメータをメモリ123(不揮発性メモリ123a)に保存する。校正パラメータ導出部はメインコア121にて実現される機能部であって良い。
校正用カメラ画像データは、車両CRに対するカメラ11Rの取り付け位置及び取り付け角度に依存する情報を含んでおり、校正用カメラ画像データと校正用既知情報とから画像座標系とワールド座標系との対応関係が特定される。この特定された対応関係に基づくパラメータが校正パラメータとして導出される。尚、このような校正パラメータの導出方法自体は公知であるため、導出用の数式等を含む導出方法の詳細な説明は割愛する。メインコア121は、校正パラメータを参照することにより、車両CRに対するカメラ11Rの取り付け位置及び取り付け角度に適応したガイド線GLであって、舵角θに応じたガイド線GLを描画することができる。ガイド線GLの描画によりガイド線GLを含むガイド線画像GIが生成される。
ステップS12の後、ステップS13に進む。ステップS13において、信号処理部12は変数iに“1”を設定してからステップS14に進む。iは任意の自然数の何れかをとる変数である。
ステップS14において、メインコア121は、校正パラメータに基づき第iの想定舵角に対するガイド線GLを描画することで当該ガイド線GLを含む第iのガイド線画像GIを生成し、第iのガイド線画像GIをメモリ123に保存する。第iのガイド線画像GIをメモリ123に保存するとは、詳細には、第iのガイド線画像GIの画像データをメモリ123に保存することを指す。ガイド線画像の読み出しについても同様であり、ガイド線画像以外の画像の保存及び読み出しについても同様である。想定舵角とは、車両CRの実際の舵角θを示す量ではなく、車両CRの舵角θが取りうる、舵角θの想定値を指す。以下、校正工程における第iの想定舵角を想定舵角θA[i]と称し、校正工程にて生成及び保存される第iのガイド線画像GIをガイド線画像GIA[i]と称する。ガイド線画像GIA[i]は、車両CRの実際の舵角θが想定舵角θA[i]と一致すると仮定したときにおけるガイド線GLを含む二次元画像である。
ステップS14の後、ステップS15に進む。ステップS15において、信号処理部12により変数iが所定の整数nと一致しているか否かを判断する。nは2以上の任意の整数(例えばn=41)である。ステップS15において“i=n”でなければステップS15からステップS16への遷移が発生し、ステップS16にて変数iに1を加算してからステップS14に戻ってステップS14の処理を再度実行する。ステップS15において“i=n”であると校正工程が終了する。“i=n”となって校正工程が終了する段階では、ガイド線画像GIA[1]~GIA[n]がメモリ123に保存済みとなる。
想定舵角θA[1]~θA[n]は、車両CRにおける舵角θの可変範囲内の、互いに異なる角度を持つ。車両CRにおける舵角θの可変範囲は、所定の負の角度θL#LIMから所定の正の角度θR#LIMまでの角度範囲である。舵角θの可変範囲を単純に等間隔で細分化することにより、隣接する想定舵角間の間隔が均等になるよう想定舵角θA[1]~θA[n]を設定しても良い。つまり、舵角θの可変範囲を均等な角度間隔にて離散化することで想定舵角θA[1]~θA[n]を設定しても良い。この場合、想定舵角θA[1]~θA[n]の割り当ての分解能は、舵角θの可変範囲の全体に亘り均等となる。舵角θがゼロとなる近辺において、それ以外よりも、想定舵角θA[1]~θA[n]の割り当ての分解能が相対的に高くなるように、想定舵角θA[1]~θA[n]を設定しても良い。即ち例えば、-4度以上かつ+4度以下の角度範囲では1°刻みで計9つの想定舵角を設定し、他の角度範囲では2°刻みで想定角度を設定しても良い。
仮に例えば“n=5”であったとしたならば、校正工程において図7(a)~(e)に示す5つのガイド線画像GI(5種類のガイド線画像GI)がガイド線画像GIA[1]~GIA[5]としてメモリ123に保存され、ガイド線画像GIA[1]~GIA[5]は、例えば夫々、“θ=θA[1]=-20°”、“θ=θA[2]=-10°”、“θ=θA[3]=0°”、“θ=θA[4]=10°”、“θ=θA[5]=20°”であるときのガイド線GLを含む。
図9は、第1実施例に係り、通常モードにおける車載カメラ装置10の動作フローチャートである。図9に示す通常モードにおける動作は、図8の校正工程を経てから実行される。即ち、図9の動作が開始される段階において、メモリ123に対しガイド線画像GIA[1]~GIA[n]が保存済みである。
図9を参照して通常モードにおける車載カメラ装置10の動作を説明する。図8の校正工程の終了後、車載カメラ装置10は電源オフ状態となり、その後、図9のステップS21にて、車載カメラ装置10が電源オフ状態から電源オン状態に切り替わる。
車載カメラ装置10が電源オフ状態から電源オン状態に切り替わると、ステップS22において、メインコア121及びサブコア122は夫々に所定の起動処理を開始する。メインコア121において、起動処理はメインコア121内の各回路の状態を初期化する処理などを含み、起動処理の完了後にのみ、メインコア121が本来実現すべき機能(ガイド線GLの描画機能を含む)が実行可能となる。サブコア122についても同様である。
メインコア121において起動処理が完了することを起動完了と称する。サブコア122についても同様である。GPUを含むメインコア121が実現すべき機能はサブコア122よりも多岐にわたることから、サブコア122との比較において、メインコア121は起動完了までにより多くの時間を要する。例えば、サブコア122は自身の起動処理の開始から0.2秒で起動完了するのに対し、メインコア123は自身の起動処理の開始から5秒が経過した後に起動完了する。
このように、メインコア121及びサブコア122の内、サブコア122が先に起動完了する。図9のフローチャートでは、ステップS22の後のステップS23においてサブコア122が起動完了し、この段階ではメインコア121は起動完了していない。ステップS23の後、ステップS24に進む。
ステップS24において、信号処理部12(例えばサブコア122)は、シフトレバーセンサ32からのシフト情報(図1参照)を参照し、シフトレバー3の位置がリバース位置であるか否かを判断する。シフトレバー3の位置がリバース位置でない場合にはステップS24の処理が繰り返される。シフトレバー3の位置がリバース位置である場合、ステップS24からステップS26に進み、上述の駐車支援機能(図5参照)が実行される。図9のフローチャートにおいて、駐車支援機能はステップS26及びS27の処理により実現される。
ステップS26において、サブコア122は、ステアリングセンサ31から取得される最新の舵角情報に基づき車両CRの現在の舵角θに応じたガイド線画像GI(ガイド線画像GIA[1]~GIA[n]の何れか)をメモリ123から読み出す。即ち、サブコア122は、想定舵角θA[1]~θA[n]の内、車両CRの現在の舵角θに最も近い想定舵角を特定し、特定された想定舵角に対応するガイド線画像GIをメモリ123から読み出す。例えば、想定舵角θA[1]~θA[n]の内、車両CRの現在の舵角θに最も近い想定舵角が想定舵角θA[1]であるならばガイド線画像GIA[1]を読み出し、車両CRの現在の舵角θに最も近い想定舵角が想定舵角θA[2]であるならばガイド線画像GIA[2]を読み出す。
ステップS26に続くステップS27において、サブコア122は、ステップS26で読み出したガイド線画像GIを、カメラ11Rにて撮影及び取得された最新のカメラ画像CIに重畳することで表示画像DIを生成し、表示画像DIの画像データを表示装置20に出力することで表示画像DIを表示装置20に表示させる。この後、ステップS24に戻る。従って、シフトレバー3の位置がリバース位置に維持される期間ではステップS26及びS27の処理が繰り返され、車両CRの各時刻の舵角θに応じカメラ画像CIに重畳されるガイド線画像GIが更新されながら、ガイド線画像GIが重畳されたカメラ画像CIが動画像の表示画像DIとして表示装置20に表示される。
尚、ここでは、ステップS26及びS27の処理が常にサブコア122により実行されることを想定しているが、メインコア121の起動完了後においては、ステップS26及びS27の処理の全部又は一部をメインコア121が行うようにしても良い。何れにせよ、少なくともメインコア121の起動完了前においては、ステップS26及びS27の処理をサブコア122が実行する。
このように、車載カメラ装置10では、メインコア121にて生成した、複数の舵角(θA[1]~θA[n])に対する複数のガイド線画像GI(GIA[1]~GIA[n])をメモリ123に保持させておく。その後、通常モードにおいては、サブコア122が、車両CRの現在の舵角θを表す舵角情報に応じて上記複数のガイド線画像GI(GIA[1]~GIA[n])の何れかをメモリ123から読み出し、読み出したガイド線画像GIを用いて表示画像DIを生成する構成を採用している。
これにより、通常モードにおいてメインコア121が起動完了していなくても、起動の早いサブコア122が起動しておれば、保持されているガイド線画像GI(GIA[1]~GIA[n]の何れか)を用いてガイド線画像GIを含んだ表示画像DIを表示可能となる。このため、メインコア121の起動に2秒以上かかる場合であっても、北米法規におけるKT(Kids and Transportation Safety Act)法に対応することが可能である(サブコア122は2秒より十分に小さな時間で起動できる)。また、既存の車載カメラ装置の構成をそのまま流用して、本実施形態に係る車載カメラ装置10を実現できるため、追加の部材費は不要である。更に、校正モードにおいてメインコア121が描画したガイド線GLを含むガイド線画像GI(GIA[1]~GIA[n])をメモリ123に保持させることができるため、カメラ11Rの取り付け状態が変更されたり、カメラ11Rを取り付ける車両CRの車種が変更されたりした場合でも、車載カメラ装置10が設置された車両CR単体でガイド線画像GIの調整(ガイド線GLの調整)を行うことができる。即ち、車両CRにおいて再度の校正工程を行うことで、変更後の状況に適応したガイド線画像GIを再生成及び再保持させることができる。
尚、以下のような参考方法も検討される。参考方法に係る参考車載カメラ装置では、その装置の校正工程において、各想定舵角に対するガイド線及びガイド線画像を描画及び生成させるための校正用コンピュータを別途に用意し、校正用コンピュータに各ガイド線画像を描画及び作成させる。そして、校正用コンピュータにて作成されたガイド線画像を参考車載カメラ装置のメモリに不揮発的に記憶させる。その後、参考車載カメラ装置の通常モードでは、車両の実際の舵角に適応したガイド線画像をメモリから読み出し、読み出したガイド線画像をカメラ画像に重畳することで表示画像を生成する。このような参考方法では、カメラの車両への取り付け後、カメラの取り付け状態が変更されたり、カメラを取り付ける車両の車種が変更されたりすると、上記校正用コンピュータの力を借りない限り、ガイド線画像の調整を行うことができず、不便である。
<<第2実施例>>
第2実施例を説明する。第2実施例は、第1実施例の一部のみを変更した実施例であり、第2実施例において特に述べない事項に関しては、矛盾なき限り、第1実施例の記載が第2実施例にも適用される。
第2実施例を説明する。第2実施例は、第1実施例の一部のみを変更した実施例であり、第2実施例において特に述べない事項に関しては、矛盾なき限り、第1実施例の記載が第2実施例にも適用される。
図10は、第2実施例に係り、通常モードにおける車載カメラ装置10の動作フローチャートである。図10に示す通常モードにおける動作は、図8の校正工程を経てから実行される。即ち、図10の動作が開始される段階において、メモリ123に対しガイド線画像GIA[1]~GIA[n]が保存済みである。図10に示す動作はステップS21~S29の処理から成る。ステップS21~S23の処理の内容は第1実施例にて示した通りである。
第2実施例に係るステップS24において、信号処理部12(例えばサブコア122)は、シフトレバーセンサ32からのシフト情報(図1参照)を参照し、シフトレバー3の位置がリバース位置であるか否かを判断する。シフトレバー3の位置がリバース位置でない場合にはステップS24の処理が繰り返される。シフトレバー3の位置がリバース位置である場合、ステップS24からステップS25に進む。
ステップS25において、信号処理部12によりメインコア121が起動完了前であるか否かが確認される。
ステップS25において、メインコア121が起動完了前である場合には、ステップS25からステップS26に進んでステップS26及びS27の処理が実行され、ステップS26及びS27の処理により駐車支援機能(図5参照)が実行される。
ステップS26及びS27の処理内容は第1実施例で示した通りである。従って、シフトレバー3の位置がリバース位置に維持される期間であって且つメインコア121の起動完了前においては、ステップS26及びS27の処理が繰り返され、車両CRの各時刻の舵角θに応じカメラ画像CIに重畳されるガイド線画像GIがメモリ123から読み出され且つ更新されながら、ガイド線画像GIが重畳されたカメラ画像CIが動画像の表示画像DIとして表示装置20に表示される。
一方、ステップS25において、メインコア121が起動完了後である場合には、ステップS25からステップS28に進んでステップS28及びS29の処理が実行され、ステップS28及びS29の処理により駐車支援機能(図5参照)が実行される。
ステップS28において、メインコア121は、ステアリングセンサ31から取得される最新の舵角情報に基づき、メモリ123に保存された校正パラメータを参照しつつ車両CRの現在の舵角θに応じたガイド線GLを描画し、描画したガイド線GLを含むガイド線画像GIを生成する。即ち、ステップS28において、メインコア121は、最新の舵角情報に基づき現在の舵角θに応じたガイド線GL及びガイド線画像GIをリアルタイムで描画及び生成する。
ステップS28に続くステップS29において、メインコア121又はサブコア122は、ステップS28でリアルタイムに生成されたガイド線画像GIを、カメラ11Rにて撮影及び取得された最新のカメラ画像CIに重畳することで表示画像DIを生成し、表示画像DIの画像データを表示装置20に出力することで表示画像DIを表示装置20に表示させる。この後、ステップS24に戻る。従って、メインコア121の起動完了後、シフトレバー3の位置がリバース位置に維持される期間ではステップS28及びS29の処理が繰り返され、車両CRの各時刻の舵角θに応じカメラ画像CIに重畳されるガイド線画像GIがリアルタイムで生成且つ更新されながら、ガイド線画像GIが重畳されたカメラ画像CIが動画像の表示画像DIとして表示装置20に表示される。
このように、第2実施例に係る車載カメラ装置10は、メインコア121の起動完了前においては、サブコア122が舵角情報に応じて複数のガイド線画像GI(GIA[1]~GIA[n])の何れかをメモリ123から読み出し、読み出したガイド線画像GIを用いて表示画像DIを生成する。一方、メインコア121の起動完了後においては、舵角情報に応じメインコア121によりリアルタイムに生成されたガイド線画像GIを用い、メインコア121又はサブコア122にて表示画像DIを生成する。
これにより、通常モードにおいてメインコア121が起動完了していなくても、起動の早いサブコア122が起動しておれば、保持されているガイド線画像GI(GIA[1]~GIA[n]の何れか)を用いてガイド線画像GIを含んだ表示画像DIを表示可能となる。メインコア121の起動完了後は、メインコア121のリアルタイム描画によるガイド線GLが表示されるため、実際の舵角θに応じた正確なガイド線GL(舵角θの変化に応じて滑らかに変化するガイド線GL)の表示が可能となる。つまり、メインコア121の起動完了前では、n種類のガイド線GLの中から表示すべきガイド線GLを選択するため、舵角θの変化に対しガイド線GLを滑らかに変化させることが難しい場合もあるが、メインコア121の起動完了後では、その時々の舵角θに最適なガイド線GLをリアルタイム描画できるため、舵角θの変化に応じて滑らかに変化するガイド線GLを表示可能となる。
<<第3実施例>>
第3実施例を説明する。車両CRが移動している状態(即ち車両CRの速度がゼロでない状態)を走行状態と称し、車両CRが停止している状態(即ち車両CRの速度がゼロである状態)を停止状態と称する。少なくとも車両CRの走行状態においては、車載カメラ装置10は電源オン状態となる。車両CRの停止状態においては、イグニッションスイッチ4等への操作状況に応じ、車載カメラ装置10が電源オン状態になるときと電源オフ状態になるときとがある。
第3実施例を説明する。車両CRが移動している状態(即ち車両CRの速度がゼロでない状態)を走行状態と称し、車両CRが停止している状態(即ち車両CRの速度がゼロである状態)を停止状態と称する。少なくとも車両CRの走行状態においては、車載カメラ装置10は電源オン状態となる。車両CRの停止状態においては、イグニッションスイッチ4等への操作状況に応じ、車載カメラ装置10が電源オン状態になるときと電源オフ状態になるときとがある。
図11を参照し、車両CRの停止状態において所定操作OPが運転手により入力されることを想定する。所定操作OPは、車載カメラ装置10の電源オン状態から電源オフ状態への切り替えを発生させる操作である。所定操作OPの入力に応答して所定のオフトリガ信号が車内ネットワーク40を介して車載カメラ装置10に入力され、その後、所定のオフ待機時間TOHが経過した後に車載カメラ装置10の状態が実際に電源オン状態から電源オフ状態に切り替わるものとする。
所定操作OPとしてイグニッションスイッチ4に対する操作が想定されるが、この他、車両CRに設置された任意の部品に対する所定操作が所定操作OPとして機能しても良い。例えば、車両CRに設定されたパーキングブレーキを作動させる操作が所定操作OPとして機能しても良い。或いは例えば、シフトレバー3の位置をニュートラル位置又はパーキング位置に設定する操作が所定操作OPとして機能することがあっても良い。オフトリガ信号は、車載カメラ装置10へのACC電源の供給が遮断されることを予告する信号であっても良いし、車載カメラ装置10に対するイネーブル信号であっても良い。
車載カメラ装置10に対するオフトリガ信号への入力タイミングから始まる、オフ待機時間TOH分の期間をオフ待機期間と称する。信号処理部12は、オフ待機期間において、必要なデータをメモリ123に退避するなど必要な処理を行うことができる。
第3実施例では、メモリ123の必要記憶容量を削減させる観点から、校正モードにおける校正工程において(図8参照)、上述のステップS11及びS12の処理だけ実行し、ステップS13~S16の処理を実行しない。つまり、校正工程において、ガイド線GLの描画(ガイド線画像GIの生成)に必要な校正パラメータだけを導出してメモリ123に保存し、ガイド線GLを含むガイド線画像GIのメモリ123への保存は行わない。このような校正工程の後の通常モードにおいて、第3実施例に係る車載カメラ装置10は以下のように動作する。
図12に、オフトリガ信号の受信から始まる車載カメラ装置10の動作フローチャートを示す。ステップS51においてオフトリガ信号を車載カメラ装置10にて受信すると、ステップS52に進み、ステップS52において、メインコア121は、車両CRの現在の舵角θを表す舵角情報を参照して特定舵角範囲Rθを設定する。ステップS52にて参照される舵角情報にて表される舵角θ(即ちステップS52における舵角θ)を基準舵角θREFと称する。
図13に示す如く、特定舵角範囲Rθは、基準舵角θREFを基準にして設定される角度範囲であって、車両CRにおける舵角θの可変範囲(即ち所定の負の角度θL#LIMから所定の正の角度θR#LIMまでの角度範囲)よりも小さい。より具体的には、特定舵角範囲Rθは、角度θLから角度θRまでの角度範囲であり、基準舵角θREFを中心に角度(2×Δθ)分の幅を持つ角度範囲である。但し、特定舵角範囲Rθの下限角度は角度θL#LIMまでに制限され、特定舵角範囲Rθの上限角度は角度θR#LIMまでに制限されるものとする。即ち、角度θLは角度(θREF-Δθ)と角度θL#LIMの内、大きい方の角度であり、角度θRは角度(θREF+Δθ)と角度θR#LIMの内、小さい方の角度である。図13の例では、“θL#LIM<θL<θREF<θR<θR#LIM”となっているが、“θL#LIM=θL”又は“θR=θR#LIM”が成立することもある。角度Δθは任意であるが、例えば“Δθ=10°”である。尚、ここにおける角度の大小は極性も考慮した大小であり、負の角度はその絶対値に関係なく正の角度よりも小さいと考える。例えば、-30°は-20°、-10°、0°、10°、20°及び30°の何れよりも小さく、-20°は-10°、0°、10°、20°及び30°の何れよりも小さい、と考える。
図12を再度参照し、ステップS52の後にはステップS53に進む。ステップS53において、メインコア121は、特定舵角範囲Rθ内に複数の想定舵角を設定する。上述したように、想定舵角とは、車両CRの実際の舵角θを示す量ではなく、車両CRの舵角θが取りうる、舵角θの想定値を指す。ステップS53で設定される複数の想定舵角の内、第iの想定舵角を想定舵角θB[i]と称する。ステップS53において第1~第mの想定舵角(即ち、θB[1]~θB[m])が設定されるものとする。mは2以上の任意の整数である。
想定舵角θB[1]~θB[m]は、特定舵角範囲Rθ内の、互いに異なる角度を持つ。特定舵角範囲Rθを単純に等間隔で細分化することにより、隣接する想定舵角間の間隔が均等になるよう想定舵角θB[1]~θB[m]を設定しても良い。つまり、特定舵角範囲Rθを均等な角度間隔にて離散化することで想定舵角θB[1]~θB[m]を設定しても良い。この場合、想定舵角θB[1]~θB[m]の割り当ての分解能は、特定舵角範囲Rθの全体に亘り均等となる。舵角θが基準舵角θREFとなる近辺において、それ以外よりも、想定舵角θB[1]~θB[m]の割り当ての分解能が相対的に高くなるように、想定舵角θB[1]~θB[m]を設定しても良い。即ち例えば、(θREF-4°)以上且つ(θREF+4°)以下の角度範囲では1°刻みで計9つの想定舵角を設定し、他の角度範囲では2°刻みで想定角度を設定しても良い。
ステップS53の後、ステップS54に進む。ステップS54において、信号処理部12は変数iに“1”を設定してからステップS55に進む。iは任意の自然数の何れかをとる変数である。
ステップS55において、メインコア121は、校正パラメータに基づき第iの想定舵角に対するガイド線GLを描画することで当該ガイド線GLを含む第iのガイド線画像GIを生成し、第iのガイド線画像GIをメモリ123に保存する。ステップS55で生成及び保存される第iのガイド線画像GIをガイド線画像GIB[i]と称する。ガイド線画像GIB[i]は、車両CRの実際の舵角θが想定舵角θB[i]と一致すると仮定したときにおけるガイド線GLを含む二次元画像である。
ステップS55の後、ステップS56に進む。ステップS56において、信号処理部12により変数iが所定の整数mと一致しているか否かを判断する。ステップS56において“i=m”でなければステップS56からステップS57への遷移が発生し、ステップS57にて変数iに1を加算してからステップS55に戻ってステップS55の処理を再度実行する。ステップS56において“i=m”であると図12の動作が終了する。“i=m”となって図12の動作が終了する段階では、ガイド線画像GIB[1]~GIB[m]がメモリ123に保存済みとなる。
仮に例えば“m=5”であったとしたならば、校正工程において図7(a)~(e)に示す5つのガイド線画像GI(5種類のガイド線画像GI)がガイド線画像GIB[1]~GIB[5]としてメモリ123に保存され、“θREF=10°”であるならば、ガイド線画像GIB[1]~GIB[5]は、例えば夫々、“θ=θB[1]=0°”、“θ=θB[2]=5°”、“θ=θB[3]=10°”、“θ=θB[4]=15°”、“θ=θB[5]=20°”であるときのガイド線GLを含む。
ステップS51~S57の各処理がオフ待機時間TOH分の長さを有するオフ待機期間において実行され、図12の動作の終了後に車載カメラ装置10の状態は電源オン状態から電源オフ状態に切り替わる。その後、車載カメラ装置10が電源オン状態に戻ると、第2実施例に示した通常モードの動作(図10参照)が行われる。従って、メインコア121の起動完了前においては(ステップS25のY)、図12のステップS55にて生成され且つメモリ123に保存されたガイド線画像GIの何れか(ガイド線画像GIB[1]~GIB[m]の何れか)が舵角情報に応じてメモリ123から読み出され、読み出したガイド線画像GIがカメラ画像CIに重畳されることで表示画像DIが生成される(ステップS26及びS27)。メインコア121の起動完了後においては(ステップS25のN)、図10のステップS28及びS29の処理が実行されて良い。尚、第2実施例の記載を第3実施例に適用する際、第2実施例における記号“θA”、“GIA”、“n”は、夫々“θB”、“GIB”、“m”に読み替えられる。
車両CRの停止時と、その後、車両CRが走行を開始する時点とでは、舵角θに変化は無いはずである。これを考慮し、第3実施例では、上述の如く、車両CRの停止状態において車載カメラ装置10が電源オン状態から電源オフ状態に切り替わる際、メインコア121が、電源オフ状態への切り替わりの前に、メモリ123にガイド線画像GIB[1]~GIB[m]を保持させる保持処理を実行する。ここにおける保持処理は、図12のステップS51~S57の各処理から構成される。メインコア121は、保持処理において、車両CRの停止状態における舵角情報(基準舵角θREF)に基づき車両CRの舵角θの可変範囲よりも小さな特定舵角範囲Rθを設定し、設定した特定舵角範囲Rθ内の2以上の舵角(θB[1]~θB[m])に対する2以上のガイド線画像(GIB[1]~GIB[m])を生成して、当該2以上のガイド線画像をメモリ123に保持させる。
このような方法により、車載カメラ装置10の起動直後に必要となりうるガイド線画像GIを、なるだけ小さな記憶容量でメモリ123に保持させておくことが可能となり、メモリ123の必要記憶量容量を削減できる。
尚、ガイド線画像GIB[1]~GIB[m]は、車載カメラ装置10が電源オン状態から電源オフ状態に切り替わるたびに生成されるが、その切り替わりのたびに、メモリ123に保存されるガイド線画像GIB[1]~GIB[m]は更新される。即ち、メモリ123にガイド線画像GIB[1]~GIB[m]が保存済みの状態において図12の動作が行われて新たにガイド線画像GIB[1]~GIB[m]が生成されると、メモリ123において、保存済みのガイド線画像GIB[1]~GIB[m]に対し新たなガイド線画像GIB[1]~GIB[m]が上書き保存される。
<<第4実施例>>
第4実施例を説明する。第4実施例では第2又は第3実施例との組み合わせにおいて、メモリ123の必要記憶容量の削減に寄与する技術を説明する。
第4実施例を説明する。第4実施例では第2又は第3実施例との組み合わせにおいて、メモリ123の必要記憶容量の削減に寄与する技術を説明する。
メインコア121の起動完了後、メインコア121がリアルタイムでガイド線GLを描画してガイド線画像GIをカメラ画像CIに重畳することができるが、メインコア121の起動完了後においてメインコア121が生成可能なガイド線画像GIの情報量に比べ、メモリ123に保持される各ガイド線画像GIの情報量を小さくしても良い。これにより、メモリ123の必要記憶容量を削減することができる。ガイド線GLの情報量の低減によりガイド線画像GIの情報量が低減する。このため、メインコア121が描画可能なガイド線GLの情報量に比べメモリ123に保持される各ガイド線画像GIのガイド線GLの情報量を小さくすることで、メインコア121が生成可能なガイド線画像GIの情報量に比べメモリ123に保持される各ガイド線画像GIの情報量を小さくすることができる。これについて説明を加える。
第1情報量調整方法を説明する。例えば、図6に示す如く、メインコア121が2本の主線GL1と3本の補助線GL2とから成るガイド線GLを描画可能である場合を考える。第1情報量調整方法では、メモリ123に保存されるガイド線画像GIA[1]~GIA[n]又はGIB[1]~GIB[m]の夫々において、ガイド線GLに2本の主線GL1のみを含めて3本の補助線GL2を含めない、或いは、ガイド線GLに2本の主線GL1と2本以下の補助線GL2を含める。これにより、メインコア121が描画可能なガイド線GLの情報量に比べ、1本以上の補助線GL2の分だけ、メモリ123に保持される各ガイド線画像GIのガイド線GLの情報量が小さくなる。この場合において、図10のステップS28では、2本の主線GL1と3本の補助線GL2から成るガイド線GLが描画され、2本の主線GL1と3本の補助線GL2から成るガイド線GLを含むガイド線画像GIが生成されて良い。
第2情報量調整方法を説明する。例えば、図6に示す如く、メインコア121が2本の主線GL1と3本の補助線GL2とから成るガイド線GLを描画可能であって、この際、図6からは明らかではないが、主線GL1と補助線GL2とを互いに異なる色にて描画可能である場合を考える。第2情報量調整方法では、メモリ123に保存されるガイド線画像GIA[1]~GIA[n]又はGIB[1]~GIB[m]の夫々において、ガイド線GLに主線GL1及び補助線GL2を含めるが、それら主線GL1及び補助線GL2を共通の色にて描画する。これにより、メインコア121が描画可能なガイド線GLの情報量に比べ、線の色分けの分だけ、メモリ123に保持される各ガイド線画像GIのガイド線GLの情報量が小さくなる。この場合において、図10のステップS28では、第1の色を持つ2本の主線GL1と第2の色を持つ3本の補助線GL2とから成るガイド線GLが描画され、当該ガイド線GLを含むガイド線画像GIが生成されて良い。ここで、第1の色と第2の色は互いに異なる。
第1及び第2情報量調整方法を組み合わせて実施しても良い。この他、任意の方法を用いて上述の情報量の大小関係を実現しても良い。
また、以下のことも言える。メインコア121は、図10のステップS28において、舵角θの可変範囲内におけるP個の舵角θ(換言すればP種類の舵角θ)の夫々に対してガイド線GLを描画でき、従って、P個の舵角θに対応するP種類のガイド線GL及びP種類のガイド線画像GIを描画及び生成できる。これは、P種類のガイド線画像GIを同時に生成できるという意味ではなく、現在の舵角θに応じ、P種類のガイド線画像GIの何れか1つを選択的に生成できるという意味である。Pは2以上の整数である。舵角情報にて表される舵角θの分解能に対応する、非常に大きな値を整数Pは有していても良い。例えば、舵角θの可変範囲が(-40°)から(+40°)である場合において、舵角情報にて示される舵角θの分解能が0.1°であるとき、“(40+40)÷0.1+1=801”より、“P=801”であって良い。一方で、図8で参照される整数n及び図12で参照される整数mは、整数Pよりも小さい。
即ち例えば、P種類の舵角θは所定の第1角度間隔(例えば0.1°)で離散化されたP個の角度であるに対し、図8におけるn種類の想定舵角(θA[1]~θA[n])は第1角度間隔よりも大きな所定の第2角度間隔(例えば5°)で離散化されたn個の角度である、又は、図12におけるm種類の想定舵角(θB[1]~θB[m])は第1角度間隔よりも大きな所定の第2角度間隔(例えば5°)で離散化されたm個の角度である。このように、メインコア121の起動完了後においてメインコア121が生成可能なガイド線画像GIの種類数Pに比べ、メモリ123に保持されるガイド線画像GIの種類数(n又はm)は少ない。これにより、メモリ123の必要記憶容量の増大を抑えることができる。
<<第5実施例>>
第5実施例を説明する。第1又は第2実施例に示した方法と第3実施例に示した方法とを組み合わせることもできる。第5実施例では、この組み合わせに係る方法を説明する。
第5実施例を説明する。第1又は第2実施例に示した方法と第3実施例に示した方法とを組み合わせることもできる。第5実施例では、この組み合わせに係る方法を説明する。
第5実施例に係る車載カメラ装置10では、第1実施例に示したように校正モードにおいて図8の校正工程が実行され、当該校正工程によりガイド線画像GIA[1]~GIA[n]がメモリ123に保存される。その後、通常モードにおいては第3実施例に示した方法に従い、車載カメラ装置10が電源オン状態から電源オフ状態に切り替わるたびに図12の動作が行われて当該動作によりガイド線画像GIB[1]~GIB[m]がメモリ123に保存される。
図14に、図8の動作に基づくガイド線画像GIA[1]~GIA[n]と図12の動作に基づくガイド線画像GIB[1]~GIB[m]とがメモリ123に保存されている様子を概念的に示す。第3実施例で述べたように、ガイド線画像GIB[1]~GIB[m]は車載カメラ装置10が電源オン状態から電源オフ状態に切り替わるたびに生成されるが、その切り替わりのたびに、メモリ123に保存されるガイド線画像GIB[1]~GIB[m]は更新される。即ち、メモリ123にガイド線画像GIB[1]~GIB[m]が保存済みの状態において図12の動作が行われて新たにガイド線画像GIB[1]~GIB[m]が生成されると、メモリ123において、保存済みのガイド線画像GIB[1]~GIB[m]に対し新たなガイド線画像GIB[1]~GIB[m]が上書き保存される。ガイド線画像GIA[1]~GIA[n]は校正工程においてメモリ123に一旦保存されると、再び校正工程が実行されない限り、メモリ123への保存が維持される。
図15に、ガイド線画像GIA[1]~GIA[n]に対応する想定舵角θA[1]~θA[n]と、ガイド線画像GIB[1]~GIB[m]に対応する想定舵角θB[1]~θB[m]との関係の例を示す。ここでは、任意の整数iについて、“θA[i]<θA[i+1]”及び“θB[i]<θB[i+1]”が成立するものとする。想定舵角θA[1]~θA[n]は第1舵角群を構成し且つ想定舵角θB[1]~θB[m]は第2舵角群を構成すると考えることができ、この際、ガイド線画像GIA[1]~GIA[n]は第1舵角群に対する第1ガイド線画像群を構成し且つガイド線画像GIB[1]~GIB[m]は第2舵角群に対する第2ガイド線画像群を構成すると考えることができる(図14参照)。
第1舵角群は、所定の角度間隔INTAで離散化された複数の第1舵角から成り、想定舵角θA[1]~θA[n]が複数の第1舵角に相当する。即ち、任意の整数iに関して、“θA[i]+INTA=θA[i+1]”が成立する。INTAは所定の正の角度量(例えば10°)を有する。想定舵角θA[1]~θA[n]はINTAの角度刻みで設定されていると言える。図15では、舵角θの可変範囲の下限(θL#LIM;図13参照)が想定舵角θA[1]と一致し、舵角θの可変範囲の上限(θR#LIM;図13参照)が想定舵角θA[n]と一致している(但し、これらの一致は必須ではない)。
第2舵角群は、所定の角度間隔INTBで離散化された複数の第2舵角から成り、想定舵角θB[1]~θB[m]が複数の第2舵角に相当する。即ち、任意の整数iに関して、“θB[i]+INTB=θB[i+1]”が成立する。INTBは所定の正の角度量(例えば2°)を有する。想定舵角θB[1]~θB[m]はINTBの角度刻みで設定されていると言える。
ここで、角度間隔INTBは角度間隔INTAよりも小さい。即ち例えば、角度間隔INTAが10°であったならば、角度間隔INTBが2°に設定される。つまり、図8の校正工程では、メモリ123の必要記憶容量削減の観点から相対的に粗い角度刻みで(角度間隔INTAで)ガイド線画像GIA[1]~GIA[n]を生成及び保存しておき、その後の通常モードにおいては、車両CRの停止時の舵角θの周辺の角度範囲において相対的に細かい角度刻みで(角度間隔INTBで)ガイド線画像GIB[1]~GIB[m]を生成及び保存する。
通常モードにおいて、車載カメラ装置10が電源オフ状態から電源オン状態に切り替わったときには、第1実施例の動作(即ち図9の動作)を行っても良いし、第2実施例の動作(即ち図10の動作)を行っても良い。
第5実施例に係るステップS26(図9又は図10参照)において、サブコア122は、ステアリングセンサ31から取得される最新の舵角情報に基づき車両CRの現在の舵角θに応じたガイド線画像GI(ガイド線画像GIA[1]~GIA[n]及びGIB[1]~GIB[m]の何れか)をメモリ123から読み出す。即ち、サブコア122は、想定舵角θA[1]~θA[n]及びθB[1]~θB[m]の内、車両CRの現在の舵角θに最も近い想定舵角を特定し、特定された想定舵角に対応するガイド線画像GIをメモリ123から読み出す。例えば、想定舵角θA[1]~θA[n]及びθB[1]~θB[m]の内、車両CRの現在の舵角θに最も近い想定舵角が想定舵角θA[1]であるならばガイド線画像GIA[1]を読み出し、車両CRの現在の舵角θに最も近い想定舵角が想定舵角θB[1]であるならばガイド線画像GIB[1]を読み出す。ステップS26の後、ステップS27に進む。
第5実施例に係るステップS27(図9又は図10参照)において、サブコア122は、ステップS26で読み出したガイド線画像GIを、カメラ11Rにて撮影及び取得された最新のカメラ画像CIに重畳することで表示画像DIを生成し、表示画像DIの画像データを表示装置20に出力することで表示画像DIを表示装置20に表示させる。この後、ステップS24に戻る。尚、第5実施例に係る通常モードの動作として図9の動作が適用される場合、メインコア121の起動完了後においては、ステップS26及びS27の処理の全部又は一部をメインコア121が行うようにしても良い。何れにせよ、少なくともメインコア121の起動完了前においては、ステップS26及びS27の処理をサブコア122が実行する。
このように、車両CRの停止状態において車載カメラ装置10が電源オン状態から電源オフ状態に切り替わる際、メインコア121が、電源オフ状態への切り替わりの前に、メモリ123に第2ガイド線画像群(ガイド線画像GIB[1]~GIB[m])を保持させる保持処理を実行する。ここにおける保持処理は、図12のステップS51~S57の各処理から構成される。第1ガイド線画像群(ガイド線画像GIA[1]~GIA[n])は当該保持処理の前にメモリ123に予め保存される。メインコア121は、保持処理において、車両CRの停止状態における舵角情報(基準舵角θREF)に基づき車両CRの舵角θの可変範囲よりも小さな特定舵角範囲Rθを設定し、設定した特定舵角範囲Rθ内の2以上の舵角(θB[1]~θB[m])に対する2以上のガイド線画像(GIB[1]~GIB[m])を生成して、当該2以上のガイド線画像を第2ガイド線画像群としてメモリ123に保持させる。この際、第1ガイド線画像群に対応する第1舵角群の角度間隔INTAを相対的に大きく設定し、第2ガイド線画像群に対応する第2舵角群の角度間隔INTBを相対的に小さく設定する。
このような方法により、メモリ123の必要記憶容量をなるだけ小さく抑えつつ、車載カメラ装置10の起動直後において、現在の舵角θの周辺に関しては滑らかに変化するガイド線GLを表示することが可能となる。
ここで、第2ガイド線画像群中の各ガイド線画像GIの情報量を、第1ガイド線画像群中の各ガイド線画像GIの情報量よりも多くしても良い。即ち、ガイド線画像GIB[1]~GIB[m]の夫々の情報量を、ガイド線画像GIA[1]~GIA[n]の夫々の情報量よりも多くしても良い。これにより、メモリ123の必要記憶容量をなるだけ小さく抑えつつ、車載カメラ装置10の起動直後において、現在の舵角θの周辺に関しては情報量の多いガイド線画像GIを表示することが可能となる。
ガイド線GLの情報量の増大によりガイド線画像GIの情報量が増大する。このため、第2ガイド線画像群中の各ガイド線画像GI(GIB[i])のガイド線GLの情報量に比べ第1ガイド線画像群中の各ガイド線画像GI(GIA[i])のガイド線GLの情報量を小さくすることで、第2ガイド線画像群中の各ガイド線画像GIの情報量を第1ガイド線画像群中の各ガイド線画像GIの情報量よりも多くすることができる。これを実現するために、上述した第1又は第2情報量調整方法を利用できる。
第1情報量調整方法の利用方法を説明する。例えば、図6に示す如く、メインコア121が2本の主線GL1と3本の補助線GL2とから成るガイド線GLを描画可能である場合を考える。第1情報量調整方法では、メモリ123に保存されるガイド線画像GIA[1]~GIA[n]の夫々のガイド線GLに2本の主線GL1のみを含めて3本の補助線GL2を含めない、或いは、メモリ123に保存されるガイド線画像GIA[1]~GIA[n]の夫々のガイド線GLに2本の主線GL1と2本以下の補助線GL2を含める。一方、メモリ123に保存されるガイド線画像GIB[1]~GIB[m]の夫々のガイド線GLには2本の主線GL1及び3本の補助線GL2を含める。これにより、ガイド線画像GIB[1]~GIB[m]において、ガイド線画像GIA[1]~GIA[n]においてよりも、1本以上の補助線GL2の分だけ、ガイド線GLの情報量が多くなる。この場合において、図10のステップS28では、2本の主線GL1と3本の補助線GL2から成るガイド線GLが描画され、2本の主線GL1と3本の補助線GL2から成るガイド線GLを含むガイド線画像GIが生成されて良い。
第2情報量調整方法の利用方法を説明する。例えば、図6に示す如く、メインコア121が2本の主線GL1と3本の補助線GL2とから成るガイド線GLを描画可能であって、この際、図6からは明らかではないが、主線GL1と補助線GL2とを互いに異なる色にて描画可能である場合を考える。第2情報量調整方法では、メモリ123に保存されるガイド線画像GIA[1]~GIA[n]の夫々において、ガイド線GLを共通の色を持つ2本の主線GL1及び3本の補助線GL2にて構成する。一方、メモリ123に保存されるガイド線画像GIB[1]~GIB[m]の夫々において、ガイド線GLを第1の色を持つ2本の主線GL1と第2の色を持つ3本の補助線GL2とで構成する。第1の色と第2の色は互いに異なる。これにより、ガイド線画像GIB[1]~GIB[m]において、ガイド線画像GIA[1]~GIA[n]においてよりも、線の色分けの分だけ、ガイド線GLの情報量が多くなる。この場合において、図10のステップS28では、第1の色を持つ2本の主線GL1と第2の色を持つ3本の補助線GL2とから成るガイド線GLが描画され、当該ガイド線GLを含むガイド線画像GIが生成されて良い。
第1及び第2情報量調整方法を組み合わせて実施しても良いし、この他、任意の方法を用いて上述の情報量の大小関係を実現しても良い。
<<第6実施例>>
第6実施例を説明する。車載カメラ装置10では、車両CRに設置されたカメラの撮影結果に基づく基準画像に対してガイド線画像GIを重畳し、ガイド線画像GIが重畳された基準画像を表示画像DIとして表示装置20に出力する(表示装置20に表示させる)。上述の各実施例では、リアカメラとしてのカメラ11Rに注目し、カメラ11Rの撮影画像であるカメラ画像CIを基準画像として用いて、カメラ画像CIにガイド線画像GIを重畳することを具体例に挙げている。しかしながら、ガイド線画像GIが重畳されるべき基準画像は、カメラ11R(リアカメラ)の撮影画像に限定されない。
第6実施例を説明する。車載カメラ装置10では、車両CRに設置されたカメラの撮影結果に基づく基準画像に対してガイド線画像GIを重畳し、ガイド線画像GIが重畳された基準画像を表示画像DIとして表示装置20に出力する(表示装置20に表示させる)。上述の各実施例では、リアカメラとしてのカメラ11Rに注目し、カメラ11Rの撮影画像であるカメラ画像CIを基準画像として用いて、カメラ画像CIにガイド線画像GIを重畳することを具体例に挙げている。しかしながら、ガイド線画像GIが重畳されるべき基準画像は、カメラ11R(リアカメラ)の撮影画像に限定されない。
例えば、車載カメラ装置10のカメラ部11にカメラ11R(リアカメラ)を含む複数のカメラが設けられている場合には、複数のカメラの撮影画像の合成画像を基準画像として用い、複数のカメラの撮影画像の合成画像に対してガイド線画像GIを重畳しても良い。より具体的には例えば、カメラ11R(リアカメラ)に加えて、上述のフロントカメラ、ライトカメラ及びレフトカメラがカメラ部11に設けられている場合にあっては、信号処理部12(例えばメインコア121又はサブコア122)において各カメラの撮影画像を合成することで、車両CRを上方から俯瞰したような俯瞰画像を生成でき、この俯瞰画像を上記の基準画像として用いても良い。この場合、俯瞰画像に対してガイド線画像GIが重畳され、重畳後の俯瞰画像が表示画像DIとして表示装置20に出力される(表示装置20にて表示される)ことになる。
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
10 車載カメラシステム
11 カメラ部
11R カメラ(リアカメラ)
12 信号処理部
20 表示装置
30 車線センサ部
40 車内ネットワーク
121 メインコア
122 サブコア
123 メモリ
CI カメラ画像
GI ガイド線画像
DI 表示画像
GL ガイド線
11 カメラ部
11R カメラ(リアカメラ)
12 信号処理部
20 表示装置
30 車線センサ部
40 車内ネットワーク
121 メインコア
122 サブコア
123 メモリ
CI カメラ画像
GI ガイド線画像
DI 表示画像
GL ガイド線
Claims (8)
- 車両に搭載される車載カメラ装置において、
前記車両の舵角に応じたガイド線を含むガイド線画像を生成する第1演算処理部と、
前記車両に設置されたカメラの撮影結果に基づく基準画像に対して前記ガイド線画像を重畳し、重畳後の基準画像を表示画像として表示装置に出力する第2演算処理部と、
前記第1演算処理部にて生成した、複数の舵角に対する複数のガイド線画像を保持するメモリと、を備え、
前記第2演算処理部は、前記車両の現在の舵角を表す舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成する
、車載カメラ装置。 - 当該車載カメラ装置が電源オフ状態から電源オン状態に切り替わったとき、前記第1演算処理部及び前記第2演算処理部の内、前記第2演算処理部が先に起動完了し、この際、
前記第1演算処理部の起動完了前においては、前記第2演算処理部にて、前記舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成し、
前記第1演算処理部の起動完了後においては、前記舵角情報に応じ前記第1演算処理部によりリアルタイムに生成された前記ガイド線画像を用いて、前記第1演算処理部又は前記第2演算処理部にて前記表示画像を生成する
、請求項1に記載の車載カメラ装置。 - 前記第1演算処理部は、前記車両の停止状態において当該車載カメラ装置が電源オン状態から電源オフ状態へ切り替わる際、電源オフ状態への切り替わり前に保持処理を実行し、
前記第1演算処理部は、前記保持処理において、前記車両の停止状態における前記舵角情報に基づき前記車両の舵角の可変範囲よりも小さな範囲を設定し、設定範囲内の2以上の舵角に対する2以上のガイド線画像を生成して、当該2以上のガイド線画像を前記複数のガイド線画像として前記メモリに保持させる
、請求項2に記載の車載カメラ装置。 - 前記第1演算処理部の起動完了後において前記第1演算処理部が生成可能な前記ガイド線画像の情報量に比べ、前記メモリに保持される各ガイド線画像の情報量は小さい
、請求項2又は3に記載の車載カメラ装置。 - 前記第1演算処理部の起動完了後において前記第1演算処理部が生成可能な前記ガイド線画像の種類数に比べ、前記メモリに保持される前記ガイド線画像の種類数は少ない
、請求項2~4の何れかに記載の車載カメラ装置。 - 前記メモリに保持される前記複数のガイド線画像は、第1舵角群に対する第1ガイド線画像群中の各ガイド線画像と、第2舵角群に対する第2ガイド線画像群中の各ガイド線画像と、から成り、
前記第1舵角群は複数の第1舵角から成り、前記第2舵角群は前記複数の第1舵角の角度間隔よりも小さな所定角度間隔で離散化された複数の第2舵角から成り、
前記第1演算処理部は、前記車両の停止状態において当該車載カメラ装置が電源オン状態から電源オフ状態へ切り替わる際、電源オフ状態への切り替わり前に保持処理を実行し、
前記第1ガイド線画像群は前記保持処理の前に予め前記メモリに保持され、
前記第1演算処理部は、前記保持処理において、前記車両の停止状態における前記舵角情報に基づき前記車両の舵角の可変範囲よりも小さな範囲を設定し且つ設定範囲内に前記所定角度間隔にて2以上の舵角を前記第2舵角群として設定し、前記2以上の舵角に対する2以上のガイド線画像を生成して、当該2以上のガイド線画像を前記第2ガイド線画像群として前記メモリに保持させる
、請求項1又は2に記載の車載カメラ装置。 - 前記第2ガイド線画像群中の各ガイド線画像の情報量は、前記第1ガイド線画像群中の各ガイド線画像の情報量よりも多い
、請求項6に記載の車載カメラ装置。 - 車両に搭載され、第1演算処理部、第2演算処理部及びメモリを有する車載カメラ装置にて用いられる表示画像生成方法であって、
前記第1演算処理部において、前記車両の舵角に応じたガイド線を含むガイド線画像を生成する第1ステップと、
前記第2演算処理部において、前記車両に設置されたカメラの撮影結果に基づく基準画像に対し前記ガイド線画像を重畳し、重畳後の基準画像を表示画像として表示装置に出力する第2ステップと、
前記第1ステップにて生成した、複数の舵角に対する複数のガイド線画像を前記メモリに保持する第3ステップと、を備え、
前記第2ステップでは、前記車両の現在の舵角を表す舵角情報に応じて前記複数のガイド線画像の何れかを前記メモリから読み出し、読み出した前記ガイド線画像を用いて前記表示画像を生成する
、表示画像生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/018,963 US20230311990A1 (en) | 2020-08-06 | 2020-08-06 | Vehicle-mounted camera device and method of generating a display image |
JP2022541039A JP7529784B2 (ja) | 2020-08-06 | 2020-08-06 | 車載カメラ装置及び表示画像生成方法 |
PCT/JP2020/030149 WO2022029953A1 (ja) | 2020-08-06 | 2020-08-06 | 車載カメラ装置及び表示画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/030149 WO2022029953A1 (ja) | 2020-08-06 | 2020-08-06 | 車載カメラ装置及び表示画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022029953A1 true WO2022029953A1 (ja) | 2022-02-10 |
Family
ID=80117825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/030149 WO2022029953A1 (ja) | 2020-08-06 | 2020-08-06 | 車載カメラ装置及び表示画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230311990A1 (ja) |
JP (1) | JP7529784B2 (ja) |
WO (1) | WO2022029953A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240017672A1 (en) * | 2022-07-18 | 2024-01-18 | Caterpillar Inc. | Automatic field of view adjustment for video on mobile equipment based on machine state |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004343642A (ja) * | 2003-05-19 | 2004-12-02 | Clarion Co Ltd | 車両用スーパーインポーズ装置 |
JP2008290669A (ja) * | 2007-05-28 | 2008-12-04 | Toyota Motor Corp | 発進支援装置、表示装置、経路演算装置 |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
JP2013228832A (ja) * | 2012-04-25 | 2013-11-07 | Sony Corp | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
JP2016187079A (ja) * | 2015-03-27 | 2016-10-27 | ラピスセミコンダクタ株式会社 | 半導体装置、表示システムおよび表示方法 |
WO2019172167A1 (ja) * | 2018-03-09 | 2019-09-12 | パナソニックIpマネジメント株式会社 | 車載装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6541318B2 (ja) * | 2014-09-10 | 2019-07-10 | アイテル株式会社 | 運転支援装置 |
JP7204506B2 (ja) * | 2019-01-31 | 2023-01-16 | 株式会社デンソーテン | 画像処理装置及び画像処理方法 |
-
2020
- 2020-08-06 WO PCT/JP2020/030149 patent/WO2022029953A1/ja active Application Filing
- 2020-08-06 US US18/018,963 patent/US20230311990A1/en active Pending
- 2020-08-06 JP JP2022541039A patent/JP7529784B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004343642A (ja) * | 2003-05-19 | 2004-12-02 | Clarion Co Ltd | 車両用スーパーインポーズ装置 |
JP2008290669A (ja) * | 2007-05-28 | 2008-12-04 | Toyota Motor Corp | 発進支援装置、表示装置、経路演算装置 |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
JP2013228832A (ja) * | 2012-04-25 | 2013-11-07 | Sony Corp | 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置 |
JP2016187079A (ja) * | 2015-03-27 | 2016-10-27 | ラピスセミコンダクタ株式会社 | 半導体装置、表示システムおよび表示方法 |
WO2019172167A1 (ja) * | 2018-03-09 | 2019-09-12 | パナソニックIpマネジメント株式会社 | 車載装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7529784B2 (ja) | 2024-08-06 |
US20230311990A1 (en) | 2023-10-05 |
JPWO2022029953A1 (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5747181B2 (ja) | 駐車支援装置 | |
JP5271154B2 (ja) | 画像生成装置及び画像表示システム | |
JP4661917B2 (ja) | 駐車支援装置および駐車支援方法 | |
US11440475B2 (en) | Periphery display control device | |
JP6248836B2 (ja) | 運転支援装置 | |
JP5858650B2 (ja) | 画像生成装置、画像表示システム、及び、画像生成方法 | |
WO2011155464A1 (ja) | 駐車モード選択装置及び方法 | |
WO2018150642A1 (ja) | 周辺監視装置 | |
US11620834B2 (en) | Periphery monitoring device | |
JP2011093495A (ja) | 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム | |
JP2007183877A (ja) | 車両用運転支援装置及び俯瞰映像の表示方法 | |
JP2023015245A (ja) | 駐車支援装置 | |
JP2009179240A (ja) | 車両用メータユニット | |
US20140043466A1 (en) | Environment image display apparatus for transport machine | |
JP5549235B2 (ja) | 運転支援装置 | |
JP4772409B2 (ja) | 画像表示システム | |
JP5400316B2 (ja) | 駐車支援装置 | |
JP2007126028A (ja) | 駐車支援システム | |
JP2009171129A (ja) | 車両用駐車支援装置および画像表示方法 | |
WO2022029953A1 (ja) | 車載カメラ装置及び表示画像生成方法 | |
US11072283B2 (en) | Vehicle periphery monitoring device and vehicle periphery monitoring method | |
JP5143596B2 (ja) | 車両用画像表示装置 | |
JP6167940B2 (ja) | 撮影画像処理装置 | |
CN112683293A (zh) | 一种车载导航方法、电子设备及存储介质 | |
WO2011135671A1 (ja) | 駐車支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20948775 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022541039 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20948775 Country of ref document: EP Kind code of ref document: A1 |