WO2018143064A1 - 車載カメラ - Google Patents

車載カメラ Download PDF

Info

Publication number
WO2018143064A1
WO2018143064A1 PCT/JP2018/002395 JP2018002395W WO2018143064A1 WO 2018143064 A1 WO2018143064 A1 WO 2018143064A1 JP 2018002395 W JP2018002395 W JP 2018002395W WO 2018143064 A1 WO2018143064 A1 WO 2018143064A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
calibration
camera
vehicle
image
Prior art date
Application number
PCT/JP2018/002395
Other languages
English (en)
French (fr)
Inventor
将由 道口
輝男 坂本
康紀 志賀
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017016017A external-priority patent/JP6252881B1/ja
Priority claimed from JP2017225166A external-priority patent/JP6643685B2/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2018143064A1 publication Critical patent/WO2018143064A1/ja
Priority to US16/519,047 priority Critical patent/US20190347829A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • This disclosure relates to an in-vehicle camera.
  • an in-vehicle camera that captures the rear of the vehicle and displays the captured image on a display device in the vehicle.
  • a calibration method for such an in-vehicle camera a method has been proposed in which an index serving as a reference marker is captured by the in-vehicle camera and an installation error of the in-vehicle camera is absorbed using the index in the captured image (for example, a patent) Reference 1).
  • the calibration device constituting the in-vehicle camera in Patent Document 1 automatically calibrates the in-vehicle camera by starting a camera calibration program of the in-vehicle camera in response to a user's touch operation on the connected display device. After the calibration of the in-vehicle camera is completed, the calibration device terminates the camera calibration program and returns to the normal mode when the user touches the display device. Since the in-vehicle camera described in Patent Document 1 receives the instruction from the display device and starts the calibration process, the in-vehicle camera needs to be provided with a reception unit that receives the instruction from the display device. Moreover, it is necessary to provide a different receiving unit for each specification of the display device. This causes an increase in the cost of the in-vehicle camera.
  • This disclosure provides a technique for reducing the cost of an in-vehicle camera by starting calibration of the in-vehicle camera with a simple configuration.
  • the in-vehicle camera is installed in a vehicle.
  • This in-vehicle camera has an imaging unit, a detection unit, and a calibration unit.
  • the imaging unit generates image data.
  • the detection unit stores predetermined first instruction information and detects whether or not the first instruction information is included in the image data generated by the imaging unit.
  • the calibration unit starts calibration processing of the in-vehicle camera.
  • the cost of the in-vehicle camera can be reduced.
  • the block diagram which shows the function structure of the camera shown in FIG. The block diagram which shows the function structure of the driving assistance apparatus shown in FIG. Flowchart showing the operation of the camera shown in FIG.
  • FIG. 1 is a diagram schematically illustrating the vehicle 10 according to the first embodiment of the present disclosure, and is a view of the vehicle 10 viewed from above.
  • the vehicle 10 includes a camera 12, a driving support device 14, and a display device 16. These devices may be connected via a known adapter and / or an in-vehicle network.
  • the camera 12 is an in-vehicle camera that is mounted on the vehicle 10 and repeatedly captures the periphery of the vehicle 10.
  • the camera 12 is attached to a back door or the like at the rear of the vehicle 10 and repeatedly generates an external image that shows the state of the rear space of the vehicle 10.
  • the camera 12 may be installed near the upper end of the rear glass. In this case, for example, the optical axis of the camera 12 extends rearward and obliquely downward of the vehicle 10. As will be described later, the camera 12 has a function of automatically and autonomously calibrating the camera 12 itself.
  • the driving support device 14 generates driving support information for supporting driving of the vehicle 10 based on the image data output from the camera 12.
  • the driving assistance device 14 generates parking assistance information.
  • the display device 16 is an HMI (Human Machine Interface) device that presents various information to the driver.
  • the display device 16 may be a car navigation device or an IVI (In-Vehicle Information) device.
  • the display device 16 displays parking support information that is driving support information generated by the driving support device 14 on a monitor.
  • the display device 16 may be a display device outside the vehicle 10, and may be connected to the vehicle 10 via, for example, an OBD (On Board Diagnostics) adapter.
  • FIG. 2 is a block diagram showing the functional configuration of the camera 12.
  • the camera 12 includes an imaging unit 20, a control unit 22, an output unit 28, and a calibration unit 30.
  • the control unit 22 includes an image processing unit 24 and a detection unit 26.
  • the camera 12 has, as operating states, a normal mode for outputting image data based on an external image and a calibration mode for executing an automatic calibration process of the own device.
  • FIG. 2 can be realized in hardware by an element such as a CPU / memory of a computer or a mechanical device, and in software by a computer program or the like.
  • FIG. 2 shows functional blocks realized by such cooperation. These functional blocks can be realized in various ways by a combination of hardware and software.
  • a computer program including a module corresponding to each block in FIG. 2 may be stored in the memory of the camera 12.
  • the CPU (central processing unit) of the camera 12 may perform the function of each block by appropriately reading and executing the computer program.
  • the camera 12 may have a calibration ECU (Electronic Control Unit) that executes an automatic calibration process.
  • ECU Electronic Control Unit
  • the imaging unit 20 captures the outside world indicating the periphery of the vehicle and generates image data thereof. That is, the imaging unit 20 is installed so as to capture the periphery of the vehicle. Specifically, the imaging unit 20 captures, for example, a rear space of the vehicle 10 and captures an external image indicating the state of the rear space.
  • the control unit 22 executes various data processing based on the image data generated by the imaging unit 20.
  • the image processing unit 24 generates image data based on external image data.
  • the image processing unit 24 generates image data including a corrected image obtained by performing distortion correction on the external image.
  • the image processing unit 24 outputs the generated image data to the output unit 28.
  • the image processing unit 24 may output the external image output from the imaging unit 20 as it is to the output unit 28 as image data without processing.
  • the detection unit 26 detects various objects included in the external image by a known method such as pattern matching (in other words, template matching) or optical flow. That is, the detection unit 26 detects an object that exists in the imaging target space.
  • the object to be detected may include a pedestrian, an obstacle, a car stop, a sign, and the like.
  • the detection unit 26 is detection information indicating the detected object. For example, the detection unit 26 outputs detection information indicating the name of the object specified by pattern matching to the output unit 28 and the calibration unit 30.
  • the detection unit 26 stores in advance a pattern of the first instruction image and a pattern of the second instruction image as patterns for pattern matching.
  • the first instruction image is an image in a predetermined mode and indicates an instruction to start calibration.
  • the second instruction image is an image different from the first instruction image, is an image in a predetermined mode, and indicates an instruction to end calibration.
  • the first instruction image and the second instruction image function as first instruction information for instructing the start of calibration and second instruction information for instructing the end of calibration, respectively.
  • the first instruction image and the second instruction image may be a combination of a predetermined shape, pattern, and color.
  • the first instruction image and the second instruction image may be a one-dimensional barcode or a two-dimensional barcode.
  • the detection unit 26 detects whether or not the first instruction image is included in the external image data. If the first instruction image is included, this is detected by pattern matching.
  • the detection unit 26 detects whether or not the second instruction image is included in the external image data. If the second instruction image is included, this is detected by pattern matching.
  • the output unit 28 outputs the image data received from the image processing unit 24 and the detection information received from the detection unit 26 to the driving support device 14. Further, the output unit 28 outputs information indicating the operation state of the camera 12 to the driving support device 14. This information is information indicating the calibration status, for example. That is, when the calibration unit 30 starts the calibration process, the output unit 28 outputs information indicating the calibration status to the outside.
  • the calibration unit 30 shifts the camera 12 to the maintenance mode. . That is, the calibration unit 30 starts the calibration process of the camera 12. Along with the shift to the maintenance mode, the calibration unit 30 activates a camera calibration program stored in advance. Thereby, the calibration unit 30 causes the camera 12 (for example, the imaging unit 20) to execute an automatic calibration process.
  • a known technique may be employed, for example, the technique described in Patent Document 1 may be applied.
  • the calibration unit 30 periodically outputs information indicating the calibration status to the output unit 28 during the calibration process of the camera 12.
  • the output unit 28 outputs these pieces of information to the driving support device 14.
  • the information indicating the calibration status may include the progress status of the calibration process. Further, the information indicating the calibration status may include a ratio of the number of completed work items to the number of work items in the entire calibration process, or may include an expected time until the calibration process is completed.
  • the calibration unit 30 shifts the camera 12 to the normal mode. Let The calibration unit 30 shifts the camera 12 to the normal mode when the second instruction image is detected by the detection unit 26 in a state where the calibration process of the camera 12 is completed. With the shift to the normal mode, the calibration unit 30 ends the camera calibration program. At the same time, the calibration unit 30 outputs information indicating the normal mode (or information indicating that the camera calibration is completed) to the output unit 28. The output unit 28 transmits this information to the driving support device 14.
  • FIG. 3 is a block diagram showing a functional configuration of the driving support device 14.
  • the driving support device 14 includes an image acquisition unit 40, a guide line generation unit 42, an image processing unit 44, an operation status acquisition unit 46, and an output unit 48.
  • the image acquisition unit 40 acquires image data and detection information output from the camera 12.
  • the guide line generation unit 42 generates vehicle width guide line data based on a guide generation reference stored in a storage unit (not shown). For example, the guide line generation unit 42 generates vehicle width guide line data having a range, size, shape, and color determined by the guide generation reference.
  • the vehicle width guide line includes a vehicle width line indicating the vehicle width of the vehicle 10 and / or a planned travel path line of the vehicle 10.
  • the image processing unit 44 is generated by the corrected image indicated by the image data acquired by the image acquisition unit 40, information such as an obstacle indicated by the detection information acquired by the image acquisition unit 40, and the guide line generation unit 42. Parking assistance information is generated based on the vehicle width guide line.
  • the image processing unit 44 may generate a rear view image or a top view image, which is a composite image obtained by combining a correction image, an image showing an obstacle, and the like, and a vehicle width guide line as parking assistance information.
  • the image processing unit 44 outputs the generated parking support information to the output unit 48.
  • the operation status acquisition unit 46 acquires information indicating the operation state of the camera 12 output from the camera 12 and outputs the information to the output unit 48.
  • the output unit 48 outputs the parking support information output from the image processing unit 44 and the information indicating the operation state of the camera 12 output from the operation state acquisition unit 46 to the display device 16.
  • the display device 16 displays parking support information (for example, a rear view image) acquired from the driving support device 14 and information indicating the operation state of the camera 12 on the screen.
  • FIG. 4 is a flowchart showing the operation of the camera 12.
  • the imaging unit 20 When the gear of the vehicle 10 is set to reverse, when the process of FIG. 4 is started, the imaging unit 20 repeatedly generates an external image indicating the state of the rear space of the vehicle 10 (S10).
  • the detection unit 26 detects an object present in the imaging target space based on the external image (S12).
  • the first instruction image does not exist (N in S14), the second instruction image does not exist (N in S16), and the camera 12 is in the normal mode (Y in S18).
  • the image processing unit 24 generates image data based on the external image (S20).
  • the output unit 28 outputs the image data generated by the image processing unit 24 and the object detection information generated by the detection unit 26 to the driving support device 14 outside the camera 12 (S22).
  • the driving support device 14 generates parking support information based on these pieces of information, and causes the display device 16 to display the parking support information. Note that the output unit 28 may output either the image data or the detection information of the object detected by the detection unit 26.
  • the process skips S20 and S22. If the predetermined end condition is satisfied (Y in S24), the camera 12 ends the process shown in FIG. For example, when the gear of the vehicle 10 is changed to other than reverse, or when the power of the vehicle 10 is turned off, the camera 12 ends the process shown in FIG. If the predetermined termination condition is not satisfied (N in S24), the process returns to S10.
  • the maintenance worker puts a card or the like indicating the first instruction image in front of the camera 12 in order to start calibration processing of the camera 12. Hold it over. Further, when the calibration process of the camera 12 is ended, the maintenance worker holds the card indicating the second instruction image in front of the camera 12.
  • the calibration unit 30 shifts the camera 12 to the maintenance mode (S26), starts a predetermined camera calibration program, and performs automatic calibration processing. Is started (S28).
  • the calibration unit 30 outputs the progress of the calibration process to the driving support device 14 via the output unit 28 (S30).
  • the driving support device 14 outputs the progress of the calibration process in the camera 12 to the display device 16 and displays it on the screen of the display device 16.
  • the maintenance worker can check the progress of the calibration process by looking at the display device 16. If the calibration process is being executed (N in S32), the process returns to S30. When the calibration process is completed (Y in S32), the process returns to S10.
  • the calibration unit 30 ends the camera calibration program started in S28 (S34) and shifts to the normal mode (S36).
  • the calibration unit 30 outputs information indicating the normal mode or information indicating that the camera calibration process is completed to the driving support device 14 via the output unit 28 (S38), and the process returns to S10. .
  • the driving support device 14 outputs the information to the display device 16 and displays the information on the screen of the display device 16. The maintenance worker can confirm the end of the calibration process by looking at the display device 16.
  • the camera 12 of the present embodiment there is no need to have a reception unit (reception function) for receiving an instruction to start the calibration process or end the calibration process from an external device. Moreover, it is not necessary to have a different reception unit (reception function) for each specification of the external device (the driving support device 14 or the display device 16). Thereby, the development cost and manufacturing cost of the camera 12 can be reduced. Moreover, the versatility of manufacture of the camera 12 can be improved.
  • an application program is provided for a control unit built in the camera. It is possible to cause the automatic calibration processing as in the present embodiment to be performed by adding a (control program) or the like. For this reason, the versatility of manufacture of the camera 12 can be improved.
  • the detection unit 26 may detect the image of the object as the first instruction image. Good. Further, when the detection unit 26 detects an object performing a predetermined second operation over a plurality of external images, the detection unit 26 may detect the image of the object as the second instruction image. In this case, the user can instruct the start and end of the calibration process of the camera 12 by a predetermined gesture, gesture, and hand gesture.
  • the first instruction image indicating the calibration start instruction and the second instruction image indicating the calibration end instruction are detected, but the present disclosure is not limited to this.
  • an instruction image for another process such as a calibration stop instruction for interrupting the calibration process during the calibration process of the camera 12 may be set and detected as the third instruction image.
  • the camera 12 and the driving support device 14 are configured separately, but the driving support device 14 may be built in the camera 12. In this case, the same effect can be enjoyed.
  • Embodiment 2 In the second embodiment, information of a blinking pattern (or blinking pattern) of light acquired from a time-series image captured by the camera 12 is used as predetermined instruction information for instructing activation of the camera calibration program.
  • the configuration of the vehicle 10, the camera 12, and the driving support device 14 is the same as the configuration described in the first embodiment with reference to FIGS. Hereinafter, differences from the first embodiment will be mainly described.
  • the light emitting device blinks, and the camera 12 detects the blinking pattern.
  • the light emitting device is a light source that does not blink during normal use, such as an incandescent light bulb.
  • the instruction information for starting the camera calibration program of the camera 12 is referred to as first instruction information.
  • the instruction information for ending the execution of the camera calibration program of the camera 12 is referred to as second instruction information. That is, the first instruction information instructs calibration start, and the second instruction information instructs calibration end.
  • the first instruction information corresponds to the first instruction image of the first embodiment
  • the second instruction information corresponds to the second instruction image of the first embodiment.
  • the detection unit 26 shown in FIG. 2 stores in advance a pattern of first instruction information and a pattern of second instruction information as light blinking pattern data.
  • the pattern of the first instruction information and the pattern of the second instruction information are different from each other in the light blinking pattern.
  • the first instruction information pattern and the second instruction information pattern have different blinking intervals and blinking numbers. A specific light blinking pattern will be described later.
  • the maintenance operator holds a flashlight in front of the camera 12 and starts a predetermined first instruction information pattern in order to start calibration processing of the camera 12. Flash with. Further, when ending the calibration process of the camera 12, the maintenance worker holds the flashlight in front of the camera 12 and blinks in a predetermined second instruction information pattern.
  • the detection unit 26 detects a blinking pattern of light from a plurality of time-series external images captured by the imaging unit 20. In addition, the detection unit 26 replaces the presence / absence of luminance at a certain level or higher in each pixel of the external image with the Hi / Lo signal, and specifies a pattern based on the Hi / Lo signal over a plurality of time-series external images.
  • the pattern based on the Hi / Lo signal includes a pattern portion indicating a specific signal and a pattern portion indicating a signal type.
  • the first instruction information pattern is, for example, “111000111000111000101100”, and the second instruction information pattern is “111000111000111000101111”.
  • “111000111000111000” in the first half of each pattern indicates a specific signal, and is common to the pattern of the first instruction information and the pattern of the second instruction information.
  • “101100” in the latter half of the pattern of the first instruction information and “101111” in the latter half of the pattern of the second instruction information indicate the signal type and identify the first instruction information and the second instruction information.
  • the detection unit 26 determines whether the pattern based on the Hi / Lo signal matches the pattern of the first instruction information or the pattern of the second instruction information. Thereby, the detection unit 26 can easily distinguish these patterns from the normal high-intensity video.
  • the pattern of the first instruction information may be a pattern in which blinking of light is repeated M times (for example, M ⁇ 2) at the first time interval.
  • the pattern of the second instruction information may be a pattern in which blinking of light is repeated N times (for example, N ⁇ 2 and N ⁇ M) at a second time interval that is the same as or different from the first time interval.
  • the detecting unit 26 notifies the calibration unit 30 of the detection fact of the first instruction information when detecting that the blinking pattern of the light over the plurality of time-series external images matches the pattern of the first instruction information. Further, when the detection unit 26 detects that the blinking pattern of the light over the plurality of time-series external images matches the pattern of the second instruction information, the detection unit 26 notifies the calibration unit 30 of the detection fact of the second instruction information. To do.
  • the calibration unit 30 shifts the camera 12 to the maintenance mode and activates the camera calibration program.
  • the calibration unit 30 ends the camera calibration program and shifts the camera 12 to the normal mode.
  • the detection unit 26 shown in FIG. 2 stores a predetermined reference marker pattern used in the calibration processing as pattern matching pattern data.
  • the reference marker pattern is characteristic data relating to the appearance of the reference marker, for example.
  • the detection unit 26 determines whether the image generated by the imaging unit 20 includes a predetermined reference marker image for calibration processing. When the image of the reference marker is included, the detection unit 26 notifies the calibration unit 30 of the detection fact of the reference marker.
  • the reference marker may be, for example, a black and white checkered calibration index provided on a vertical surface such as a partition.
  • the calibration unit 30 activates the camera calibration program and performs the calibration process. Start.
  • the detection fact of the first instruction information and the detection fact of the reference marker are notified from the detection section 26 at the same time, or when the difference between the notification timings of both is within a range that can be regarded as simultaneous. Start the calibration process.
  • the calibration unit 30 may end the calibration process when the second instruction information is detected from the image captured by the imaging unit 20 and the reference marker is further detected from the same image. Good.
  • the calibration unit 30 may calibrate the installation error of the camera 12 on the vehicle 10 using a reference marker as a calibration process.
  • the imaging unit 20 captures an image of the inside of the vehicle (for example, the vehicle interior). This is different from the first embodiment. Hereinafter, differences from the first embodiment will be mainly described.
  • FIG. 5 schematically shows the vehicle 10 according to the present embodiment.
  • the vehicle 10 according to the present embodiment also includes a camera 12, a driving support device 14, and a display device 16.
  • the camera 12 of the vehicle 10 according to the present embodiment is installed in the vehicle interior and images the vehicle interior.
  • the functional configuration of the camera 12 is the same as the configuration described with reference to FIG. 2 in the first embodiment.
  • the imaging unit 20 of the camera 12 generates an image showing the interior of the vehicle 10.
  • the detection unit 26 determines whether or not predetermined instruction information is included in the image captured by the imaging unit 20. When the predetermined first instruction information is included, the detection unit 26 notifies the calibration unit 30 of the detection fact of the first instruction information. When the detection unit 26 detects the first instruction information, the calibration unit 30 activates the camera calibration program and starts the calibration process.
  • the camera 12 is an in-vehicle camera for driver monitoring for detecting the driver's line of sight, facial expression, presence of sleep, etc.
  • a seat in which the front / rear position, the reclining angle, and the like are set in a predetermined state is used as a reference marker in the calibration process of the camera 12.
  • an outer frame of a seat back portion, an outer frame of a headrest, or the like is used as a reference marker.
  • FIG. 6 shows an example of a vehicle interior image generated by the camera 12 according to the present embodiment.
  • the passenger compartment image 50 includes an image of a reference marker 52 (here, a driver's seat) and an image of instruction information 54.
  • the reference marker 52 is an image of a driver's seat.
  • the instruction information 54 is a light source that repeats blinking of light as described in the second embodiment.
  • the detection unit 26 detects the presence of the reference marker 52 and the presence of the instruction information 54 from the passenger compartment image 50 as described in the third embodiment.
  • the calibration unit 30 starts calibration processing when both the reference marker 52 and the instruction information 54 are detected from the passenger compartment image 50.
  • the calibration unit 30 refers to the passenger compartment image 50 and extracts the outline, shape, pattern, and the like of the reference marker 52 from the image of the driver's seat, which is the reference marker 52, and performs calibration based on the extracted outline and the like Calculate the coordinates.
  • the detection unit 26 may detect that the second instruction information indicating the calibration end instruction is included in the passenger compartment image 50.
  • the calibration unit 30 ends the camera calibration program when the detection unit 26 detects the second instruction information.
  • the detection unit 26 may detect, as first instruction information indicating a calibration start instruction, an image of a seat reflected in the passenger compartment image 50, in which the front-rear position, the reclining angle, and the like are set to a predetermined first state. Good.
  • the detection unit 26 displays a seat image in which a front-rear position, a reclining angle, and the like, which are reflected in the passenger compartment image 50, are set in a predetermined second state different from the first state, and indicates a second calibration end instruction. It may be detected as instruction information. That is, in this case, the detection unit 26 detects predetermined first and second instruction images as first and second instruction information, respectively. Or you may detect the two blink patterns of the light source which repeat blink of light as 1st, 2nd instruction information, respectively.
  • FIG. 7 is a flowchart showing the operation of the camera 12 of the present embodiment.
  • the imaging unit 20 repeatedly generates external image data (S40). For example, the imaging unit 20 outputs a luminance image (grayscale image or the like) indicating the luminance value of the imaging target.
  • the detecting unit 26 detects whether or not data indicating a predetermined luminance or higher exists in the external image data (S42). That is, the detection unit 26 determines that information having a predetermined luminance or higher exists when a luminance value equal to or higher than a predetermined threshold is present in the luminance image output from the imaging unit 20. An appropriate value may be determined as the threshold luminance by a developer's knowledge or an experiment using the camera 12.
  • the detection unit 26 shifts to the instruction detection mode (S46). Thereafter, the instruction detection process and the calibration process described in the first embodiment are executed (S48). Specifically, the processes of S12 to S38 in the flowchart of FIG. 4 are executed.
  • the detection unit 26 ends the instruction detection mode (S50), and the flow ends. If there is no data indicating a predetermined luminance or higher in the external image data (N in S44), the processing of S46 to S50 is skipped, and the flow ends. Actually, the process returns to S40, and it is repeatedly determined whether or not there is data indicating a predetermined luminance or more in the newly generated external image data.
  • the detection unit 26 executes the instruction detection process depending on whether or not there is data indicating a predetermined luminance value or more in the cabin image data. The presence or absence may be switched.
  • a vehicle-mounted camera installed in a vehicle includes an imaging unit, a detection unit, and a calibration unit.
  • the imaging unit generates image data.
  • the detection unit stores predetermined first instruction information and detects whether or not the first instruction information is included in the image data generated by the imaging unit.
  • the calibration unit starts calibration processing of the in-vehicle camera.
  • the calibration process is automatically executed in accordance with information (such as an object) indicating a calibration start instruction existing in the imaging target space by the imaging unit.
  • the imaging unit may be installed so as to image the periphery of the vehicle.
  • an image or an object existing outside the vehicle can be used as the first instruction information.
  • the detection unit can further detect an object existing around the vehicle, and the in-vehicle camera further includes an output unit that outputs at least one of image data and detection information of the object detected by the detection unit to the outside. You may have.
  • information (data) output from the output unit can be used for driving assistance such as collision avoidance, for example.
  • a camera installed for driving assistance or the like can be used as an imaging unit.
  • the output unit may output information indicating the calibration status to the outside when the calibration unit starts the calibration process.
  • the expected time until the calibration process (maintenance) is completed can be known, and convenience is improved.
  • the imaging unit may be installed so as to image the inside of the vehicle. According to this configuration, the calibration process can be automatically started in accordance with the instruction information existing inside the vehicle (such as the passenger compartment).
  • the detection unit may detect a predetermined instruction image as the first instruction information.
  • a predetermined instruction image For example, a one-dimensional barcode or a two-dimensional barcode can be used as the instruction image. Thereby, it is possible to start calibration using a card or the like with a dedicated but simple configuration.
  • the detection unit may detect a blinking pattern of light as the first instruction information.
  • a calibration process can be automatically started by using a general-purpose light emitting device and treating the blinking pattern of the light as a signal without providing a dedicated image for instructing the start of calibration.
  • the detection unit can further detect whether or not the reference marker is included in the image data, and the detection unit detects that the reference marker is included in the image data in addition to the first instruction information. In such a case, the calibration process may be started.
  • the calibration process may be started.
  • the calibration unit may calibrate the installation error of the in-vehicle camera on the vehicle using the reference marker as a calibration process.
  • the detection unit may store predetermined second instruction information and may further detect whether or not the second instruction information is included in the image data.
  • the calibration unit may end the calibration process of the in-vehicle camera when the detection unit detects that the second instruction information is included in the image data. According to this configuration, the calibration program can be terminated without providing an accepting unit as in the calibration start.
  • calibration of the in-vehicle camera can be started with a simple configuration. Therefore, there is no need to provide a reception unit that receives instructions from the display device.
  • This in-vehicle camera can be applied to various vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車両に設置される車載カメラは、撮像部と、検出部と、校正部とを有する。撮像部は、画像データを生成する。検出部は、予め定められた第１指示情報を記憶するとともに、撮像部が生成した画像データに第１指示情報が含まれているか否かを検出する。画像データに第１指示情報が含まれていることを検出部が検出した場合、校正部は、車載カメラの校正処理を開始する。

Description

車載カメラ
　本開示は、車載カメラに関する。
　駐車時の運転支援のために、車両の後方を撮像し、撮像画像を車内の表示装置に表示する車載カメラが知られている。このような車載カメラのキャリブレーション方法として、基準マーカーとなる指標を車載カメラで撮像し、撮像画像内の指標を用いて、車載カメラの設置誤差を吸収する方法が提案されている（例えば、特許文献１参照）。
特開２０１１－１５５６８７号公報
　特許文献１における車載カメラを構成する校正装置は、接続された表示装置に対する利用者のタッチ操作を契機に、車載カメラのカメラ校正プログラムを起動させて自動的に車載カメラを校正する。校正装置は、車載カメラの校正完了後、表示装置に対する利用者のタッチ操作を契機に、カメラ校正プログラムを終了させて通常モードに戻る。特許文献１に記載の車載カメラは、表示装置からの指示を受けて校正処理を開始するため、車載カメラに、表示装置からの指示を受け付ける受付部を設ける必要がある。また、表示装置の仕様ごとに異なる受付部を設ける必要がある。このことは、車載カメラのコスト増加の要因になる。
　本開示は、簡易な構成により車載カメラの校正を開始させることで、車載カメラのコストを低減する技術を提供する。
　本開示の態様に係る車載カメラは、車両に設置される。この車載カメラは、撮像部と、検出部と、校正部とを有する。撮像部は、画像データを生成する。検出部は、予め定められた第１指示情報を記憶するとともに、撮像部が生成した画像データに第１指示情報が含まれているか否かを検出する。画像データに第１指示情報が含まれていることを検出部が検出した場合、校正部は、車載カメラの校正処理を開始する。
　なお、以上の構成要素の任意の組合せ、本開示の表現を、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、車載カメラのコストを低減することができる。
本開示の実施の形態１に係るカメラを搭載した車両を模式的に示す図 図１に示すカメラの機能構成を示すブロック図 図１に示す運転支援装置の機能構成を示すブロック図 図２に示すカメラの動作を示すフローチャート 本開示の実施の形態４に係るカメラを搭載した車両を模式的に示す図 図５に示すカメラにより生成された車室内画像の例を示す図 本開示の実施の形態５のカメラの動作を示すフローチャート
　以下、図面を参照しながら本開示の種々の実施の形態を説明する。なお、各実施の形態において、先行する実施の形態と同様の構成には同じ符号を付し、詳細な説明を省略する場合がある。
　（実施の形態１）
　図１は、本開示の実施の形態１に係る車両１０を模式的に示す図であり、車両１０を上方から俯瞰した図である。車両１０は、カメラ１２、運転支援装置１４、表示装置１６を有する。これらの装置は、公知のアダプタ、および／または、車載ネットワークを介して接続されてもよい。
　カメラ１２は、車両１０に搭載され、車両１０の周辺を繰り返し撮像する車載カメラである。カメラ１２は、車両１０の後部のバックドア等に取り付けられ、車両１０の後方空間の様子を示す外界画像を繰り返し生成する。カメラ１２は、リアガラスの上端近傍に設置されてもよい。この場合、たとえば、カメラ１２の光軸は、車両１０の後方斜め下向きに伸びている。後述するように、カメラ１２は、カメラ１２自身を自動的かつ自律的に校正する機能を有する。
　運転支援装置１４は、カメラ１２から出力された画像データに基づいて、車両１０の運転を支援するための運転支援情報を生成する。一例として、本実施の形態では、運転支援装置１４は駐車支援情報を生成する。表示装置１６は、運転者へ各種情報を提示するＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）装置である。表示装置１６は、カーナビゲーション装置であってもよく、ＩＶＩ（Ｉｎ－Ｖｅｈｉｃｌｅ　Ｉｎｆｏｔａｉｎｍｅｎｔ）装置であってもよい。表示装置１６は、運転支援装置１４より生成された運転支援情報である駐車支援情報をモニタに表示する。なお、表示装置１６は、車両１０外部の表示装置であってもよく、例えば、ＯＢＤ（Ｏｎ　Ｂｏａｒｄ　Ｄｉａｇｎｏｓｔｉｃｓ）アダプタを介して車両１０と接続されてもよい。
　図２は、カメラ１２の機能構成を示すブロック図である。カメラ１２は、撮像部２０、制御部２２、出力部２８、校正部３０を有する。制御部２２は、画像処理部２４と検出部２６とを含む。なお、カメラ１２は、動作状態として、外界画像に基づく画像データを出力する通常モードと、自装置の自動校正処理を実行する校正モードとを有する。
　図２に示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。図２は、それらの連携によって実現される機能ブロックを示している。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できること。例えば、図２の各ブロックに対応するモジュールを含むコンピュータプログラムがカメラ１２のメモリに格納されてもよい。カメラ１２のＣＰＵ（中央演算装置）は、そのコンピュータプログラムを適宜読み出して実行することにより、各ブロックの機能を発揮してもよい。また、カメラ１２は、自動校正処理を実行する校正ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）を有してもよい。
　撮像部２０は、車両の周辺を示す外界を撮像し、その画像データを生成する。すなわち、撮像部２０は、車両の周辺を撮像するように設置されている。具体的には、撮像部２０は、例えば、車両１０の後方空間を撮像し、後方空間の様子を示す外界画像を撮像する。制御部２２は、撮像部２０により生成された画像データに基づいて各種データ処理を実行する。
　画像処理部２４は、外界画像データに基づく画像データを生成する。本実施の形態では、画像処理部２４は、外界画像に対して歪み補正を行った補正画像を含む画像データを生成する。画像処理部２４は、生成した画像データを出力部２８へ出力する。なお、画像処理部２４は、撮像部２０から出力された外界画像を加工せずに、そのまま画像データとして出力部２８へ出力してもよい。
　検出部２６は、パターンマッチング（言い換えればテンプレートマッチング）、オプティカルフロー等の公知の手法により、外界画像内に含まれる種々の物体を検出する。すなわち、検出部２６は、撮像対象空間内に存在する物体を検出する。検知対象の物体は、歩行者、障害物、車止め、標識等を含んでもよい。検出部２６は、検出した物体を示す検出情報であり、例えば、パターンマッチングにより特定した物体の名称を示す検出情報を出力部２８および校正部３０へ出力する。
　検出部２６は、パターンマッチング用のパターンとして、第１指示画像のパターンと第２指示画像のパターンとを予め記憶している。第１指示画像は、予め定められた態様の画像であって、校正開始の指示を示す。第２指示画像は、第１指示画像とは異なる画像であり、予め定められた態様の画像であって、校正終了の指示を示す。このように、第１指示画像、第２指示画像はそれぞれ、校正開始を指示する第１指示情報、校正終了を指示する第２指示情報として機能する。第１指示画像および第２指示画像は、予め定められた形状・模様・色彩の組み合わせであってもよい。また、第１指示画像および第２指示画像は、一次元バーコードまたは二次元バーコードであってもよい。検出部２６は、外界画像データの中に第１指示画像が含まれているか否かを検出する。第１指示画像が含まれている場合、そのことをパターンマッチングにより検出する。また、検出部２６は、外界画像データの中に第２指示画像が含まれているか否かを検出する。第２指示画像が含まれている場合、そのことをパターンマッチングにより検出する。
　出力部２８は、画像処理部２４から受け付けた画像データと、検出部２６から受け付けた検出情報とを運転支援装置１４へ出力する。さらに、出力部２８は、カメラ１２の動作状態を示す情報を運転支援装置１４へ出力する。この情報は、例えば、校正状況を示す情報である。すなわち、校正部３０が校正処理を開始した場合、出力部２８は、校正状況を示す情報を外部へ出力する。
　検出部２６が第１指示画像を検出した場合、言い換えれば、検出部２６から出力された検出情報が第１指示画像の検出事実を示す場合、校正部３０は、カメラ１２をメンテナンスモードに移行させる。すなわち、校正部３０はカメラ１２の校正処理を開始する。メンテナンスモードへの移行に伴い、校正部３０は、予め記憶されたカメラ校正プログラムを起動する。これにより、校正部３０は、カメラ１２（例えば撮像部２０）の自動校正処理を実行させる。カメラ１２の自動校正処理には、公知の技術を採用してよく、例えば、上記特許文献１に記載の技術を適用してもよい。
　校正部３０は、カメラ１２の校正処理中に、校正状況を示す情報を定期的に出力部２８に出力する。出力部２８は、これらの情報を運転支援装置１４へ出力する。校正状況を示す情報は、校正処理の進行状況を含んでもよい。また、校正状況を示す情報は、校正処理全体の作業項目数に対する完了した作業項目数の割合を含んでもよく、校正処理が終了するまでの予想時間を含んでもよい。
　校正部３０は、検出部２６により第２指示画像が検出された場合、言い換えれば、検出部２６から出力された検出情報が第２指示画像の検出事実を示す場合、カメラ１２を通常モードに移行させる。校正部３０は、カメラ１２の校正処理が終了している状態において、検出部２６により第２指示画像が検出された場合、カメラ１２を通常モードに移行させる。通常モードへの移行に伴い、校正部３０は、カメラ校正プログラムを終了させる。それとともに、校正部３０は、通常モードであることを示す情報（またはカメラの校正が終了した旨の情報）を出力部２８に出力する。出力部２８は、この情報を運転支援装置１４へ送信する。
　図３は、運転支援装置１４の機能構成を示すブロック図である。運転支援装置１４は、画像取得部４０、ガイド線生成部４２、画像処理部４４、動作状況取得部４６、出力部４８を有する。画像取得部４０は、カメラ１２から出力された画像データおよび検出情報を取得する。
　ガイド線生成部４２は、記憶部（不図示）に記憶されたガイド生成基準に基づいて、車幅ガイド線のデータを生成する。例えば、ガイド線生成部４２は、ガイド生成基準が定める範囲・サイズ・形状・色彩を有する車幅ガイド線のデータを生成する。車幅ガイド線は、車両１０の車幅を示す車幅線、および／または、車両１０の走行予定軌跡線を含む。
　画像処理部４４は、画像取得部４０により取得された画像データが示す補正画像と、画像取得部４０により取得された検出情報が示す障害物等の情報と、ガイド線生成部４２により生成された車幅ガイド線とに基づいて、駐車支援情報を生成する。例えば、画像処理部４４は、補正画像と、障害物等を示す画像と、車幅ガイド線とを合成した合成画像であるリアビュー画像もしくはトップビュー画像を駐車支援情報として生成してもよい。画像処理部４４は、生成した駐車支援情報を出力部４８へ出力する。
　動作状況取得部４６は、カメラ１２から出力されたカメラ１２の動作状態を示す情報を取得し、出力部４８へ出力する。出力部４８は、画像処理部４４から出力された駐車支援情報と、動作状況取得部４６から出力されたカメラ１２の動作状態を示す情報とを表示装置１６へ出力する。表示装置１６は、運転支援装置１４から取得した駐車支援情報（例えばリアビュー画像）と、カメラ１２の動作状態を示す情報とを画面に表示させる。
　次に図４も参照しながら、以上の構成によるカメラ１２の動作を説明する。図４は、カメラ１２の動作を示すフローチャートである。車両１０のギアがリバースに設定されると、図４の処理を開始すると、撮像部２０は、車両１０の後方空間の様子を示す外界画像を繰り返し生成する（Ｓ１０）。検出部２６は、外界画像に基づいて撮像対象空間内に存在する物体を検出する（Ｓ１２）。
　検出された物体の中に、第１指示画像が存在せず（Ｓ１４のＮ）、第２指示画像も存在せず（Ｓ１６のＮ）、カメラ１２が通常モードであれば（Ｓ１８のＹ）、画像処理部２４は、外界画像に基づいて画像データを生成する（Ｓ２０）。出力部２８は、画像処理部２４により生成された画像データと、検出部２６により生成された物体の検出情報とを、カメラ１２の外部の運転支援装置１４へ出力する（Ｓ２２）。運転支援装置１４は、これらの情報に基づいて駐車支援情報を生成し、駐車支援情報を表示装置１６に表示させる。なお、出力部２８は、画像データと、検出部２６により検出された物体の検出情報といずれかを出力してもよい。
　カメラ１２が通常モードでなくメンテナンスモードであれば（Ｓ１８のＮ）、処理はＳ２０とＳ２２とをスキップする。所定の終了条件が満たされた場合（Ｓ２４のＹ）、カメラ１２は図４に示す処理を終了する。例えば、車両１０のギアがリバース以外に変更された場合、または、車両１０の電源がオフになった場合、カメラ１２は図４に示す処理を終了する。所定の終了条件が満たされなければ（Ｓ２４のＮ）、Ｓ１０に戻る。
　図３には不図示だが、例えば、カーディーラー等におけるカメラ１２のメンテナンス時に、メンテナンス作業者は、カメラ１２の校正処理を開始させるために、第１指示画像を示すカード等をカメラ１２の前にかざす。また、メンテナンス作業者は、カメラ１２の校正処理を終了させる場合、第２指示画像を示すカード等をカメラ１２の前にかざす。
　検出部２６が第１指示画像を検出した場合（Ｓ１４のＹ）、校正部３０は、カメラ１２をメンテナンスモードへ移行させ（Ｓ２６）、予め定められたカメラ校正プログラムを起動して、自動校正処理を開始する（Ｓ２８）。校正部３０は、校正処理の進行状況を、出力部２８を介して運転支援装置１４へ出力する（Ｓ３０）。運転支援装置１４は、カメラ１２における校正処理の進行状況を表示装置１６へ出力し、表示装置１６の画面に表示させる。メンテナンス作業者は、表示装置１６を見て校正処理の進行状況を確認できる。校正処理が実行中であれば（Ｓ３２のＮ）、処理はＳ３０に戻り、校正処理が終了すると（Ｓ３２のＹ）、処理はＳ１０に戻る。
　検出部２６により第２指示画像が検出された場合（Ｓ１６のＹ）、校正部３０は、Ｓ２８で起動したカメラ校正プログラムを終了させ（Ｓ３４）、通常モードへ移行させる（Ｓ３６）。校正部３０は、通常モードであることを示す情報、または、カメラ校正処理が終了したことを示す情報を、出力部２８を介して運転支援装置１４へ出力し（Ｓ３８）、処理はＳ１０に戻る。運転支援装置１４は、これらの情報を表示装置１６へ出力し、表示装置１６の画面に表示させる。メンテナンス作業者は、表示装置１６を見て校正処理の終了を確認できる。
　本実施の形態のカメラ１２によると、校正処理を開始させ、または校正処理を終了させる指示を外部装置から受け付けるための受付部（受付機能）を有する必要がない。また、外部装置（運転支援装置１４または表示装置１６）の仕様ごとに異なる受付部（受付機能）を有する必要がない。これにより、カメラ１２の開発コストおよび製造コストを低減することができる。また、カメラ１２の製造の汎用性を高めることができる。
　また、所定の空間の外界画像を生成する撮像部２０と、撮像対象空間内に存在する物体を検出する検出部２６とを有していれば、カメラに内蔵される制御ユニットに対してアプリケーションプログラム（制御プログラム）の追加等の対応で本実施の形態のような自動校正処理を行わせることが可能である。このため、カメラ１２の製造の汎用性を高めることができる。
　なお、検出部２６は、オプティカルフローにより、複数枚の外界画像に亘って予め定められた第１の動作を行う物体を検出した場合に、その物体の画像を第１指示画像として検出してもよい。また、検出部２６は、複数枚の外界画像に亘って予め定められた第２の動作を行う物体を検出した場合に、その物体の画像を第２指示画像として検出してもよい。この場合、利用者は、所定のジェスチャー、身振り、手振りにより、カメラ１２の校正処理の開始、終了を指示することができる。
　以上の説明では、校正開始の指示を示す第１指示画像と、校正終了の指示を示す第２指示画像とが検出されるが、本開示はこれに限定されない。例えば、第３指示画像として、カメラ１２の校正処理中に校正処理を中断させる校正中止の指示など別処理の指示画像を設定し、検出するように構成してもよい。これにより、メンテナンス作業者によるメンテナンス性（操作性）が向上する。
　本実施の形態では、カメラ１２と運転支援装置１４とを別々の構成としたが、カメラ１２に運転支援装置１４を内蔵させる構成としてもよい。この場合にも同様の効果を享受することができる。
　（実施の形態２）
　実施の形態２では、カメラ校正プログラムの起動を指示する所定の指示情報として、カメラ１２により撮像された時系列の画像から取得される光の点滅パターン（あるいは明滅パターン）の情報を用いる。この点で実施の形態１と異なる。本実施の形態において、車両１０、カメラ１２、運転支援装置１４の構成は、実施の形態１で図１～図３を参照して説明した構成と同様である。以下、実施の形態１と異なる点を主に説明する。
　本実施の形態では、発光装置（あるいは光源）を点滅させ、その点滅パターンをカメラ１２が検出する。発光装置は、白熱電球などの通常の使用時には点滅しない光源である。本実施の形態では、カメラ１２のカメラ校正プログラムを起動させる指示情報を第１指示情報と呼ぶ。また、カメラ１２のカメラ校正プログラムの実行を終了させる指示情報を第２指示情報と呼ぶ。すなわち、第１指示情報は校正開始を指示し、第２指示情報は校正終了を指示する。第１指示情報は、実施の形態１の第１指示画像に対応し、第２指示情報は、実施の形態１の第２指示画像に対応する。
　図２に示す検出部２６は、光の点滅パターンデータとして、第１指示情報のパターンと、第２指示情報のパターンとを予め記憶している。第１指示情報のパターンと第２指示情報のパターンとは、光の点滅パターンが互いに異なる。例えば、第１指示情報のパターンと第２指示情報のパターンとでは、点滅間隔および点滅回数が互いに異なる。具体的な光の点滅パターンについては後述する。
　図示しないが、例えば、カーディーラー等におけるカメラ１２のメンテナンス時に、メンテナンス作業者は、カメラ１２の校正処理を開始させるために、懐中電灯をカメラ１２の前にかざして所定の第１指示情報のパターンで点滅させる。また、メンテナンス作業者は、カメラ１２の校正処理を終了させる場合、懐中電灯をカメラ１２の前にかざして所定の第２指示情報のパターンで点滅させる。
　検出部２６は、撮像部２０により撮像された時系列の複数の外界画像から、光の点滅パターンを検出する。また、検出部２６は、外界画像の各画素における一定以上の輝度の有無をＨｉ／Ｌｏ信号に置き換え、時系列の複数の外界画像に亘るＨｉ／Ｌｏ信号によるパターンを特定する。Ｈｉ／Ｌｏ信号によるパターンは、特定信号を示すパターン部分と、信号種類を示すパターン部分とで構成される。
　具体的には、Ｈｉ／Ｌｏ信号において、Ｈｉ＝１、Ｌｏ＝０とした場合、第１指示情報のパターンは、例えば、「１１１０００１１１０００１１１０００１０１１００」であり、第２指示情報のパターンは「１１１０００１１１０００１１１０００１０１１１１」である。各パターンの前半部分の「１１１０００１１１０００１１１０００」は、特定信号を示し、第１指示情報のパターンと第２指示情報のパターンとで共通している。第１指示情報のパターンの後半部分の「１０１１００」と、第２指示情報のパターンの後半部分の「１０１１１１」とは、信号種類を示し、第１指示情報と第２指示情報とを特定するためのパターンである。検出部２６は、Ｈｉ／Ｌｏ信号によるパターンが第１指示情報のパターンまたは第２指示情報のパターンに一致するか否かを判定する。これにより検出部２６は、これらのパターンを通常の高輝度映像と容易に区別できる。
　なお、第１指示情報のパターンは、第１の時間間隔で光の点滅がＭ回（例えばＭ≧２）繰り返されることを定めたパターンでもよい。第２指示情報のパターンは、第１の時間間隔と同じまたは異なる第２の時間間隔で光の点滅がＮ回（例えばＮ≧２かつＮ≠Ｍ）繰り返されることを定めたパターンでもよい。
　検出部２６は、時系列の複数の外界画像に亘る光の点滅パターンが、第１指示情報のパターンに一致することを検出した場合、第１指示情報の検出事実を校正部３０へ通知する。また、検出部２６は、時系列の複数の外界画像に亘る光の点滅パターンが、第２指示情報のパターンに一致することを検出した場合、第２指示情報の検出事実を校正部３０へ通知する。
　検出部２６が第１指示情報を検出した場合、校正部３０は、カメラ１２をメンテナンスモードへ移行させ、カメラ校正プログラムを起動させる。また、検出部２６が第２指示情報を検出した場合、校正部３０は、カメラ校正プログラムを終了させ、カメラ１２を通常モードへ移行させる。
　（実施の形態３）
　実施の形態３では、カメラ校正プログラムを起動させる所定の指示情報が、校正処理で用いられる基準マーカーと同時に検出された場合、カメラ校正プログラムを起動させる。すなわち、基準マーカーが所定の指示情報と同じ画像に映りこんでいる場合にカメラ校正プログラムを起動させる。この点で実施の形態１と異なる。本実施の形態において、車両１０、カメラ１２、運転支援装置１４の構成は、実施の形態１で図１～図３を参照して説明した構成と同様である。以下、実施の形態１と異なる点を主に説明する。
　図２に示す検出部２６は、パターンマッチング用のパターンデータとして、校正処理で用いられる予め定められた基準マーカーのパターンを記憶している。基準マーカーのパターンとは、例えば基準マーカーの外観に関する特徴データである。検出部２６は、撮像部２０により生成された画像の中に校正処理のための予め定められた基準マーカーの像が含まれるか否かを判定する。基準マーカーの像が含まれる場合、検出部２６は、基準マーカーの検出事実を校正部３０へ通知する。基準マーカーは、例えば、衝立などの垂直面状に設けられた白黒の市松模様の校正指標であってもよい。
　撮像部２０により撮像された画像の中から第１指示情報が検出され、かつ、同じ画像の中から基準マーカーがさらに検出された場合、校正部３０は、カメラ校正プログラムを起動して校正処理を開始する。校正部３０は、第１指示情報の検出事実と、基準マーカーの検出事実とが検出部２６から同時に通知された場合、または、両者の通知タイミングの差異が、同時と見なせる範囲内である場合に、校正処理を開始する。
　なお、校正部３０は、撮像部２０により撮像された画像の中から第２指示情報が検出され、かつ、同じ画像の中から基準マーカーがさらに検出された場合に、校正処理を終了させてもよい。
　なお、校正部３０は、校正処理として、基準マーカーを用いてカメラ１２の車両１０への設置誤差を校正してもよい。
　（実施の形態４）
　実施の形態４では、撮像部２０が、車両内部（例えば車室内）の様子を撮像する。この点で実施の形態１と異なる。以下、実施の形態１と異なる点を主に説明する。
　図５は、本実施の形態に係る車両１０を模式的に示す。本実施の形態に係る車両１０も、実施の形態１の車両１０と同様に、カメラ１２と、運転支援装置１４と、表示装置１６とを有する。ただし、本実施の形態に係る車両１０のカメラ１２は、車室内に設置され、車室内を撮像する。
　本実施の形態において、カメラ１２の機能構成は、実施の形態１で図２を参照して説明した構成と同様である。カメラ１２の撮像部２０は、車両１０の車室内を示す画像を生成する。検出部２６は、撮像部２０により撮像された画像の中に所定の指示情報が含まれるか否かを判定する。所定の第１指示情報が含まれる場合、検出部２６は、第１指示情報の検出事実を校正部３０へ通知する。検出部２６が第１指示情報を検出した場合、校正部３０は、カメラ校正プログラムを起動して校正処理を開始する。
　本実施の形態において、カメラ１２は、ドライバーの視線、表情、居眠りの有無等を検知するためのドライバーモニタリング用の車載カメラである。また、前後位置やリクライニング角度等を所定の状態に設定した座席が、カメラ１２の校正処理における基準マーカーとして使用される。例えば、座席の背もたれ部の外枠や、ヘッドレストの外枠等が、基準マーカーとして使用される。
　図６は、本実施の形態に係るカメラ１２により生成された車室内画像の例を示す。車室画像５０は、基準マーカー５２（ここではドライバーの座席）の像と、指示情報５４の像を含む。基準マーカー５２は、ここではドライバーの座席の像である。指示情報５４は、実施の形態２で説明したように、光の点滅を繰り返す光源である。
　検出部２６は、実施の形態３で説明したように、車室画像５０から基準マーカー５２の存在と、指示情報５４の存在を検出する。校正部３０は、車室画像５０から基準マーカー５２と指示情報５４の両方が検出された場合に、校正処理を開始する。例えば、校正部３０は、車室画像５０を参照して、基準マーカー５２であるドライバーの座席の像から基準マーカー５２の輪郭、形状、模様等を抽出し、抽出した輪郭等に基づいて、校正座標を算出する。
　本実施の形態においても、検出部２６は、校正終了の指示を示す第２指示情報が車室画像５０に含まれる場合、そのことを検出してもよい。校正部３０は、検出部２６により第２指示情報が検出された場合、カメラ校正プログラムを終了させる。
　なお、検出部２６は、車室画像５０に映る、前後位置やリクライニング角度等を所定の第１の状態に設定した座席の像を、校正開始の指示を示す第１指示情報として検出してもよい。また、検出部２６は、車室画像５０に映る、前後位置やリクライニング角度等を第１の状態とは異なる所定の第２の状態に設定した座席の像を、校正終了の指示を示す第２指示情報として検出してもよい。すなわち、この場合、検出部２６は、所定の第１、第２指示画像をそれぞれ第１、第２指示情報として検出する。あるいは、光の点滅を繰り返す光源の２通りの点滅パターンをそれぞれ第１、第２指示情報として検出してもよい。
　（実施の形態５）
　実施の形態５の車両１０、カメラ１２、運転支援装置１４の構成は、実施の形態１と同様であるが、カメラ１２の動作の一部が実施の形態１と異なる。以下、実施の形態１と異なる点を主に説明する。
　図７は、本実施の形態のカメラ１２の動作を示すフローチャートである。撮像部２０は、外界画像データを繰り返し生成する（Ｓ４０）。例えば、撮像部２０は、撮像対象の輝度値を示す輝度画像（グレースケール画像等）を出力する。検出部２６は、外界画像データの中に所定の輝度以上を示すデータが存在するか否かを検出する（Ｓ４２）。すなわち、検出部２６は、撮像部２０から出力された輝度画像内に、予め定められた閾値以上の輝度値が存在する場合、所定の輝度以上の情報が存在すると判定する。閾値となる輝度は、開発者の知見や、カメラ１２を用いた実験により適切な値が決められてよい。
　外界画像データの中に所定の輝度以上を示すデータが存在する場合（Ｓ４４のＹ）、検出部２６は、指示検出モードへ移行する（Ｓ４６）。以降、実施の形態１で説明した指示検出処理および校正処理を実行する（Ｓ４８）。具体的には、図４のフローチャートのＳ１２～Ｓ３８の処理を実行する。校正部３０による校正処理が終了すると、検出部２６は、指示検出モードを終了させ（Ｓ５０）、フローが終了する。外界画像データの中に所定の輝度以上を示すデータが存在しなければ（Ｓ４４のＮ）、Ｓ４６～Ｓ５０の処理をスキップして、フローが終了する。実際には、Ｓ４０へ戻り、新たに生成された外界画像データにおける所定の輝度以上を示すデータの有無を判定することを繰り返す。
　この制御によると、新たな外界画像データが生成された場合に、その外界画像に所定の輝度値以上を示すデータが含まれなければ、その外界画像内に指示情報が存在するか否かを判定する処理（パターンマッチング等）をスキップする。これにより、カメラ１２における画像処理の負荷を低減することができる。なお、実施の形態４と実施の形態５との組み合わせも可能である。すなわち、撮像部２０が、外界でなく車室内を撮像する場合も、検出部２６は、車室画像データに所定の輝度値以上を示すデータがあるか否かに応じて、指示検出処理の実行有無を切り替えてもよい。
　以上、本開示を実施の形態１～５をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
　実施の形態および変形例に記載の技術は、以下の項目によって特定されてもよい。
　［項目１］
　車両に設置される車載カメラは、撮像部と、検出部と、校正部とを有する。撮像部は、画像データを生成する。検出部は、予め定められた第１指示情報を記憶するとともに、撮像部が生成した画像データに第１指示情報が含まれているか否かを検出する。校正部は、この画像データに第１指示情報が含まれることを検出部が検出した場合、車載カメラの校正処理を開始する。
　この構成によると、撮像部による撮像対象の空間内に存在する校正開始の指示を示す情報（物体等）に応じて校正処理を自動的に実行する。これにより、外部機器（ＨＭＩ装置等）から校正開始の指示を受け付ける受付部を車載カメラに設ける必要がなくなり、車載カメラのコストを低減することができる。
　［項目２］
　撮像部は、車両の周辺を撮像するように設置されていてもよい。この場合、車両の外部に存在する画像や物体等を第１指示情報とすることができる。
　［項目３］
　検出部は、車両の周辺に存在する物体をさらに検出可能であり、車載カメラは、画像データと、検出部により検出された物体の検出情報との少なくともいずれかを外部へ出力する出力部をさらに有してもよい。この構成において出力部から出力される情報（データ）を、例えば、衝突回避などの運転支援に利用できる。言い換えれば、運転支援等のために設置されているカメラを撮像部として併用することができる。
　［項目４］
　出力部は、校正部が校正処理を開始した場合に、校正状況を示す情報を外部へ出力してもよい。この構成により、例えば、校正処理（メンテナンス）が終了するまでの予想時間を知ることができ、利便性が向上する。
　［項目５］
　撮像部は、車両の内部を撮像するように設置されていてもよい。この構成によると、車両内部（車室内等）に存在する指示情報に応じて、校正処理を自動的に開始することができる。
　［項目６］
　検出部は、所定の指示画像を第１指示情報として検出してもよい。例えば、一次元バーコードまたは二次元バーコードを指示画像として用いることができる。これにより、カードなどを用いて、専用でありながら簡易な構成により、校正を開始することができる。
　［項目７］
　検出部は、光の点滅パターンを第１指示情報として検出してもよい。この構成によると、校正開始を指示する専用の画像を設けなくても、汎用的な発光装置を用い、その光の明滅パターンを信号として扱って、校正処理を自動的に開始することができる。
　［項目８］
　検出部は、画像データに基準マーカーが含まれているか否かをさらに検出可能であり、校正部は、第１指示情報に加えて基準マーカーが画像データに含まれていることを検出部が検出した場合に、校正処理を開始してもよい。このように、第１指示情報と基準マーカーの両方を校正処理開始の条件とすることにより、誤って校正処理を開始してしまうことを抑制できる。また、撮像部により基準マーカーが撮像可能であることが担保されるため、校正処理を確実に実行することができる。
　［項目９］
　校正部は、校正処理として、基準マーカーを用いて車載カメラの車両への設置誤差を校正してもよい。
　［項目１０］
　検出部は、予め定められた第２指示情報を記憶するとともに、画像データに第２指示情報が含まれているか否かをさらに検出可能であってもよい。この場合さらに、校正部は、画像データに第２指示情報が含まれていることを検出部が検出した場合、車載カメラの校正処理を終了してもよい。この構成によると、校正開始時と同様に、受付部を設けることなく、校正プログラムを終了させることができる。
　上述した実施の形態および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
　本開示によれば、簡易な構成により車載カメラの校正を開始させることができる。そのため、表示装置からの指示を受け付ける受付部を設ける必要がない。この車載カメラは種々の車両に適用可能である。
１０　　車両
１２　　カメラ
１４　　運転支援装置
１６　　表示装置
２０　　撮像部
２２　　制御部
２４　　画像処理部
２６　　検出部
２８　　出力部
３０　　校正部
４０　　画像取得部
４２　　ガイド線生成部
４４　　画像処理部
４６　　動作状況取得部
４８　　出力部

Claims (10)

  1. 車両に設置される車載カメラであって、
    画像データを生成する撮像部と、
    予め定められた第１指示情報を記憶するとともに、前記画像データに前記第１指示情報が含まれているか否かを検出する検出部と、
    前記画像データに前記第１指示情報が含まれることを前記検出部が検出した場合、前記車載カメラの校正処理を開始する校正部と、を備えた、
    車載カメラ。
  2. 前記撮像部は、前記車両の周辺を撮像するように設置された、
    請求項１に記載の車載カメラ。
  3. 前記検出部は、前記車両の周辺に存在する物体をさらに検出可能であり、
    前記車載カメラは、前記画像データと、前記検出部により検出された前記物体の検出情報との少なくともいずれかを外部へ出力する出力部をさらに備えた、
    請求項２に記載の車載カメラ。
  4. 前記出力部は、前記校正部が前記校正処理を開始した場合、校正状況を示す情報を前記外部へ出力する、
    請求項３に記載の車載カメラ。
  5. 前記撮像部は、前記車両の内部を撮像するように設置された、
    請求項１に記載の車載カメラ。
  6. 前記検出部は、所定の指示画像を前記第１指示情報として検出する、
    請求項１～５のいずれか一項に記載の車載カメラ。
  7. 前記検出部は、光の点滅パターンを前記第１指示情報として検出する、
    請求項１～５のいずれか一項に記載の車載カメラ。
  8. 前記検出部は、前記画像データに基準マーカーが含まれているか否かをさらに検出可能であり、
    前記校正部は、前記第１指示情報に加えて前記基準マーカーが前記画像データに含まれていることを前記検出部が検出した場合、前記車載カメラの前記校正処理を開始する、
    請求項１～５のいずれか一項に記載の車載カメラ。
  9. 前記校正部は、前記校正処理として、前記基準マーカーを用いて前記車載カメラの前記車両への設置誤差を校正する、
    請求項８に記載の車載カメラ。
  10. 前記検出部は、予め定められた第２指示情報を記憶するとともに、前記画像データに前記第２指示情報が含まれているか否かをさらに検出可能であり、
    前記校正部は、前記画像データに前記第２指示情報が含まれていることを前記検出部が検出した場合、前記車載カメラの前記校正処理を終了する、
    請求項１～９のいずれか一項に記載の車載カメラ。
PCT/JP2018/002395 2017-01-31 2018-01-26 車載カメラ WO2018143064A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/519,047 US20190347829A1 (en) 2017-01-31 2019-07-23 In-vehicle camera

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-016017 2017-01-31
JP2017016017A JP6252881B1 (ja) 2017-01-31 2017-01-31 車載カメラ
JP2017225166A JP6643685B2 (ja) 2017-11-22 2017-11-22 車載カメラ
JP2017-225166 2017-11-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/519,047 Continuation US20190347829A1 (en) 2017-01-31 2019-07-23 In-vehicle camera

Publications (1)

Publication Number Publication Date
WO2018143064A1 true WO2018143064A1 (ja) 2018-08-09

Family

ID=63040694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002395 WO2018143064A1 (ja) 2017-01-31 2018-01-26 車載カメラ

Country Status (2)

Country Link
US (1) US20190347829A1 (ja)
WO (1) WO2018143064A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6745465B1 (ja) 2019-03-06 2020-08-26 パナソニックＩｐマネジメント株式会社 車両及びカメラモジュール
DE102020118583B4 (de) 2020-07-14 2022-12-08 Audi Aktiengesellschaft Anzeigesystem zur Anzeige von Kalibrierfortschritt und Justieranweisungen einer Fahrzeugsensorik im Produktions- und Kundendienstfall
DE102021127459B4 (de) * 2021-10-22 2023-08-31 Audi Aktiengesellschaft Verfahren und Prozessorschaltung zum Steuern eines Konfigurationszustands eines Fahrzeuggeräts eines Kraftfahrzeugs in Abhängigkeit von einem Kalibierzustand des jeweiligen Fahrzeuggeräts sowie entsprechend betreibbares Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010260494A (ja) * 2009-05-11 2010-11-18 Suzuki Motor Corp 車両用駐車支援装置
JP2011155687A (ja) * 2011-04-06 2011-08-11 Aisin Seiki Co Ltd 車載カメラの校正装置
JP2012504889A (ja) * 2008-10-01 2012-02-23 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
JP2016001378A (ja) * 2014-06-11 2016-01-07 株式会社デンソー 車載カメラの校正装置
JP2016107897A (ja) * 2014-12-09 2016-06-20 アルパイン株式会社 車載装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004062275A1 (de) * 2004-12-23 2006-07-13 Aglaia Gmbh Verfahren und Vorrichtung zum Ermitteln eines Kalibrierparameters einer Stereokamera
JP5387580B2 (ja) * 2008-11-05 2014-01-15 富士通株式会社 カメラ角度算出装置およびカメラ角度算出方法
US8836784B2 (en) * 2010-10-27 2014-09-16 Intellectual Ventures Fund 83 Llc Automotive imaging system for recording exception events

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012504889A (ja) * 2008-10-01 2012-02-23 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
JP2010260494A (ja) * 2009-05-11 2010-11-18 Suzuki Motor Corp 車両用駐車支援装置
JP2011155687A (ja) * 2011-04-06 2011-08-11 Aisin Seiki Co Ltd 車載カメラの校正装置
JP2016001378A (ja) * 2014-06-11 2016-01-07 株式会社デンソー 車載カメラの校正装置
JP2016107897A (ja) * 2014-12-09 2016-06-20 アルパイン株式会社 車載装置

Also Published As

Publication number Publication date
US20190347829A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US10308283B2 (en) Parking assist apparatus
JP5045212B2 (ja) 顔画像撮像装置
WO2018143064A1 (ja) 車載カメラ
JP4232794B2 (ja) 運転支援方法及び運転支援装置
JP6828501B2 (ja) 駐車支援装置
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
JP2014089513A (ja) 画像生成装置、および画像生成プログラム
CN103786644B (zh) 用于追踪外围车辆位置的装置和方法
JP2010085186A (ja) 車載カメラの校正装置
WO2018092709A1 (ja) 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
CN104424477A (zh) 用于检测障碍物的装置和方法
US20200380275A1 (en) Parking assist apparatus
EP3618420B1 (en) Image display apparatus and image display
JP6729409B2 (ja) 周辺監視装置
US10861192B2 (en) Vehicle device, calibration result determination method, and non-transitory storage medium
JP2017058600A (ja) 表示制御装置、画像表示システム、及び、表示制御方法
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US20210103748A1 (en) Vehicle occupant monitoring apparatus and vehicle occupant protecting system
JP6252881B1 (ja) 車載カメラ
JP6643685B2 (ja) 車載カメラ
JP2007028540A (ja) 車両外状況提示システム及び車両外状況提示方法
JP6765065B2 (ja) 車載カメラ装置
JP2008128867A (ja) タイヤ向き特定装置
JP2006287513A (ja) 車両外状況提示システム
JP2012147308A (ja) 画像処理装置、画像表示システム、及び、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18747225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18747225

Country of ref document: EP

Kind code of ref document: A1