WO2019138771A1 - 車両用画像合成装置 - Google Patents

車両用画像合成装置 Download PDF

Info

Publication number
WO2019138771A1
WO2019138771A1 PCT/JP2018/045894 JP2018045894W WO2019138771A1 WO 2019138771 A1 WO2019138771 A1 WO 2019138771A1 JP 2018045894 W JP2018045894 W JP 2018045894W WO 2019138771 A1 WO2019138771 A1 WO 2019138771A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
boundary
similarity
camera
driver
Prior art date
Application number
PCT/JP2018/045894
Other languages
English (en)
French (fr)
Inventor
洋介 酒井
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201880085804.2A priority Critical patent/CN111566698A/zh
Priority to DE112018006812.9T priority patent/DE112018006812T5/de
Publication of WO2019138771A1 publication Critical patent/WO2019138771A1/ja
Priority to US16/921,311 priority patent/US11270440B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the present disclosure relates to an image synthesizing device for a vehicle.
  • An object of the present disclosure is to provide a vehicular image synthesizing device capable of obtaining an image obtained by photographing a driver's face favorably when the driver's face is photographed by a camera.
  • a plurality of cameras mounted on a vehicle for photographing a driver, and a boundary detection unit for comparing a plurality of images photographed by the plurality of cameras and detecting a boundary suitable for synthesis And a combining unit configured to combine the plurality of images at the boundary.
  • FIG. 1 is a block diagram of a vehicular image synthesis apparatus showing a first embodiment
  • Fig. 2 is a diagram showing steering, a meter, a camera, etc.
  • Fig. 3 is a longitudinal side view showing a steering, a meter, a camera, a driver, etc.
  • FIG. 4 is a diagram showing an upper camera image
  • FIG. 5 is a diagram showing a lower camera image
  • FIG. 6 is a diagram showing a composite image
  • FIG. 7 is a diagram for explaining a row area image of the upper camera image
  • FIG. 8 is a diagram for explaining a row area image of the lower camera image
  • FIG. 1 is a block diagram of a vehicular image synthesis apparatus showing a first embodiment
  • Fig. 2 is a diagram showing steering, a meter, a camera, etc.
  • Fig. 3 is a longitudinal side view showing a steering, a meter, a camera, a driver, etc.
  • FIG. 4 is a diagram showing an
  • FIG. 9 is a diagram showing a synthesized image synthesized with the line area image having the highest degree of similarity;
  • FIG. 10 is a flowchart of image synthesis control;
  • FIG. 11 is a flowchart of combination determination control;
  • FIG. 12 is a flowchart of synthesis condition search control;
  • FIG. 13 shows a second embodiment and is a diagram showing steering, a meter, a camera and the like.
  • FIG. 14 is a top view showing a camera, a driver, etc.
  • FIG. 15 is a diagram showing an upper camera image
  • FIG. 16 is a diagram showing a lower camera image
  • FIG. 17 is a diagram showing an image obtained by rotating the lower camera image
  • FIG. 18 is a diagram showing a composite image;
  • FIG. 19 shows a third embodiment and is a view showing a composite image;
  • FIG. 20 is a flowchart of synthesis condition search control according to the fourth embodiment.
  • FIG. 1 shows the electrical configuration of a vehicular image synthesis apparatus 1.
  • the vehicle image synthesizing device 1 includes an upper camera 2, a lower camera 3, a tilt position sensor 4, a steering angle sensor 5, and a control device 6.
  • the upper camera 2 constitutes a first camera, and as shown in FIG. 2 and FIG. 3, is disposed at the center of the upper side of the meter 7 provided on the instrument panel of the vehicle.
  • the upper camera 2 continuously captures the driver's face and transmits the captured image data to the control device 6.
  • the upper camera 2 has a function of continuously shooting at, for example, about 30 frames / s.
  • the lower camera 3 constitutes a second camera, and as shown in FIGS. 2 and 3, is disposed at the center of the lower side of the meter 7 of the vehicle.
  • the upper camera 2 and the lower camera 3 are disposed in the vertical direction, that is, in the vertical direction, at a set distance.
  • the upper camera 2 and the lower camera 3 are disposed to face the front of the driver's face.
  • the lower camera 3 continuously captures the driver's face and transmits the captured image data to the control device 6.
  • the lower camera 3 has a function of continuously shooting at a speed of, for example, about 30 frames / s.
  • the upper camera 2 takes an image of an area shown by a solid line and a broken line, and the taken upper camera image becomes an image as shown in FIG. 4 and the upper part of the driver's face is the steering wheel Hiding in 8
  • the upper camera 2 can shoot well without being hidden by the steering wheel 8 from the central part to the lower part of the driver's face, that is, the area shown by the solid line.
  • the lower camera 3 takes an image of an area shown by the solid line and the broken line, and the taken lower camera image becomes an image as shown in FIG. 5 and the lower part of the driver's face is hidden by the steering column 9 .
  • the lower camera 3 can shoot well without being hidden by the steering column 9 from the central portion to the upper side of the driver's face, that is, the area shown by the solid line.
  • the tilt position sensor 4 detects the position of the steering wheel 8 when the steering wheel 8 is moved by the tilt mechanism of the steering column 9, and transmits a detection signal of the position of the steering wheel 8 to the control device 6.
  • the steering angle sensor 5 detects the rotation angle of the steering wheel 8 when the steering wheel 8 is rotated, and transmits a detection signal of the rotation angle of the steering wheel 8 to the control device 6.
  • the control device 6 has a function of controlling the entire vehicle image combining device 1, and includes an image combining processing unit 10 and an image recognition processing unit 11.
  • the image synthesis processing unit 10 includes a boundary detection unit 12 and a synthesis unit 13.
  • the image synthesis processing unit 10 inputs image data from the upper camera 2 and the lower camera 3, detection signals from the tilt position sensor 4 and the steering angle sensor 5, and vehicle information from the vehicle.
  • the boundary detection unit 12 of the image synthesis processing unit 10 receives the upper camera image (see FIG. 4) photographed by the upper camera 2 and the lower camera image (see FIG. 5) photographed by the lower camera 3; It has a function of detecting a boundary suitable for synthesizing one image so that there is no part hidden by the steering wheel 8 or the steering column 9 or the like. Then, the combining unit 13 of the image combining processing unit 10 has a function of creating a combined image as shown in FIG. 6 by combining the upper camera image and the lower camera image at the detected boundary.
  • the image recognition processing unit 11 receives a composite image synthesized by the image synthesis processing unit 10 or a camera image captured by the cameras 2 and 3 and performs image recognition processing on the input image, that is, the face image of the driver. It has a function.
  • the image recognition processing unit 11 has a function of determining, for example, a nap or looking aside as a driver's state by image recognition processing, and determining whether a safe driving can be performed.
  • the upper camera image is divided into a plurality of line area images 15 in line units in the vertical direction as shown in FIG. 7, and the lower camera images are shown in FIG. 8 as a plurality of lines in line units in the vertical direction. It is divided into area images 16. Then, the line area image 15 obtained by dividing the upper camera image is compared with the line area image 16 obtained by dividing the lower camera image to calculate the similarity. The calculation of the degree of similarity is configured to be performed for all the row region images 15 of the upper camera image and for all the row region images 16 of the lower camera image.
  • the boundary is detected by setting the line area images 15 and 16 having the highest degree of similarity as the boundary, that is, the boundary area or the boundary line. Subsequently, the upper camera image and the upper camera image are synthesized at the boundary. In this case, for the upper camera image, an image portion 17 below the row region image 15 having the highest degree of similarity, and for the lower camera image, an image portion above the row region image 16 having the highest degree of similarity. And 18 are synthesized. Thus, the composite image shown in FIG. 9 is created. One of the row region images 15 and 16 having the highest degree of similarity is adopted.
  • 10 to 12 show the contents of control of the control device 6, that is, the image combining processing unit 10 and the image recognition processing unit 11.
  • step S10 in FIG. 10 the driver's face is photographed by the upper camera 2 and the lower camera 3, and the image synthesis processing unit 10 detects the upper camera image and the lower camera photographed by the upper camera 2 and the lower camera 3. Enter an image. Subsequently, the process proceeds to step S20, and the image synthesis processing unit 10 executes a synthesis determination process of determining whether or not the input upper camera image and lower camera image are to be synthesized. The combination determination process will be described later.
  • step S30 it is determined whether the combination determination is OK.
  • the process returns to step S10.
  • step S30 when the composition determination is OK (YES), the process proceeds to step S40 to set the composition condition of the image. Specifically, for example, the composition condition searched in the composition determination process of step S20. Line area images 15 and 16 of the detected boundary area are set.
  • step S50 the driver's face is photographed by the upper camera 2 and the lower camera 3, and the image synthesis processing unit 10 inputs the upper camera image and the lower camera image photographed by the upper camera 2 and the lower camera 3. Do.
  • the composition of the image photographed in step S10 is not performed, it is preferable to skip the photographing in step S50 once.
  • step S60 the process proceeds to step S60, and the upper camera image and the lower camera image are combined by the combining unit 13 of the image combining processing unit 10 with the line region images 15 and 16 of the set boundary region as boundaries.
  • step S70 the image recognition processing unit 11 executes an image recognition process on the face image of the driver appearing in the composite image, and determines the state of the driver. It is preferable to use image recognition processing of a known configuration for this face image recognition processing.
  • step S80 a process of determining whether to reset the combination condition is performed.
  • a process of determining whether to reset the combination condition is performed.
  • it is detected from the tilt position sensor 4 or the steering angle sensor 5 that the steering wheel 8 has moved or rotated it is determined that resetting is necessary.
  • step S90 it is determined whether the composition condition is to be reset.
  • the process returns to step S50, and the above-described processing, that is, the photographing process by the upper camera 2 and the lower camera 3 and the image combining process are repeatedly executed.
  • step S90 when setting the composition condition again (YES), the process returns to step S10, and the above-described processing, that is, the photographing processing by the upper camera 2 and the lower camera 3, the composition determination process, the composition condition again Setting processing, image combining processing, and the like are repeatedly performed.
  • step S110 of FIG. 11 it is determined whether the upper camera image has no hidden portion due to the steering wheel 8 or the like.
  • the process proceeds to step S120, and only the upper camera image is set as the combination condition.
  • step S130 the combination determination is set as OK.
  • the control of FIG. 11 is ended, the process returns to the control of FIG. 10, and the process proceeds to step S30.
  • step S110 when there is a hidden portion in the upper camera image (NO), the process proceeds to step S140 to determine whether there is a hidden portion due to the steering wheel 8 or the like in the lower camera image.
  • step S140 determines whether there is a hidden portion due to the steering wheel 8 or the like in the lower camera image.
  • step S150 if there is no hidden portion in the lower camera image (YES), the process proceeds to step S150, and only the lower camera image is set as the combination condition. Subsequently, the process proceeds to step S160, and the combination determination is set as OK.
  • the control of FIG. 11 is ended, the process returns to the control of FIG. 10, and the process proceeds to step S30.
  • step S140 when there is a hidden portion in the lower camera image (NO), the process proceeds to step S170, and a process of searching for a combination condition is performed.
  • the synthesis condition search process will be described later.
  • the control of FIG. 11 is ended, the process returns to the control of FIG. 10, and the process proceeds to step S30.
  • step S170 The combination condition search process of step S170 will be described with reference to the flowchart of FIG.
  • the synthesis condition search processing is executed by the boundary detection unit 12 of the image synthesis processing unit 10.
  • an outline of the synthesis condition search process will be described. First, one camera image, for example, the first line area image of the upper camera image, is cut out, and this line area image is compared with the other camera image, for example, the first line area image of the lower camera image That is, the similarity score is calculated. Then, this comparison and similarity calculation are all performed from the first line area image of the lower camera image to the last line area image.
  • the next line area image of the upper camera image is cut out, and the line area image is also compared with all line area images of the lower camera image to calculate the similarity.
  • comparison and similarity calculation are sequentially performed up to the last line area image of the upper camera image.
  • the line area image in which the similarity of the maximum value among the calculated similarity is obtained is selected as the boundary.
  • variable INIT_i is the initial value of the cropping area of the upper camera image
  • STEP_i is the update value of the cropping area of the upper camera image
  • max_i is the end value of the cropping area of the upper camera image j is lower
  • the variable INIT_j of the comparison line area of the camera image is an initial value of the comparison line area of the lower camera image
  • STEP_j is an update value of the comparison line area of the lower camera image max_j is an end value of the comparison line area of the lower camera image.
  • step S210 of FIG. 12 an initial value INIT_i is input to the variable i of the cutout area of the upper camera image.
  • step S220 the i-line area image of the upper camera image is cut out, that is, read out and acquired.
  • the process proceeds to step S230, and the initial value INIT_j is input to the variable j of the comparison line area of the lower camera image.
  • step S240 the i-line area image of the upper camera image and the j-line area image of the lower camera image are compared to calculate the similarity.
  • step S250 the calculated similarity is stored in the memory in the control device 6. In this case, a variable i of the i-line area image of the upper camera image and a variable j of the j-line area image of the lower camera image are added and stored as the similarity.
  • step S260 the process proceeds to step S260, and the variable j is updated by the update value STEP_j. Then, the process proceeds to step S270, and it is determined whether the variable j has become larger than the end value max_j.
  • j is not larger than max_j (NO)
  • the process returns to step S240, and the above-described processing is repeatedly executed.
  • step S270 when j becomes larger than max_j (YES), the process proceeds to step S280, and the variable i is updated by the update value STEP_i. Then, the process proceeds to step S290, and it is determined whether the variable i has become larger than the end value max_i.
  • i is not larger than max_i (NO)
  • the process returns to step S220, and the above-described processing is repeatedly executed.
  • step S290 when i becomes larger than max_i (YES), the process proceeds to step S300, and it is determined whether the calculated maximum value of similarity is equal to or more than a preset threshold for combination determination. To judge.
  • the process proceeds to step S310, and the line region image of the upper camera image and the lower camera image of the similarity maximum value Select and set the combination of line area image of. Then, the process proceeds to step S320, and the combination determination is set as OK. As a result, the present control is ended, and the control of FIG. 11 and finally the control of FIG. 10 are returned.
  • step S300 when the maximum value of the degree of similarity is not equal to or larger than the threshold value for combination determination (NO), the process proceeds to step S330, and the combination determination is set as NG. In this way, the present control is ended, and the control of FIG. 11 and the control of FIG. 10 are subsequently returned, and the photographing is performed again, and the composition determination is performed again.
  • two camera images captured by cameras 2 and 3 are compared to detect a boundary suitable for combining, that is, a row region image 15 or 16 having the highest similarity.
  • the two camera images are configured to be combined in the row region image 15 or 16 having the highest degree of similarity.
  • two images captured by two cameras can be favorably combined into one image. Therefore, when the driver's face is photographed by the cameras 2 and 3, an image in which the driver's face is photographed well, that is, a favorable composite image can be obtained.
  • the line area image 15 obtained by dividing the upper camera image taken by the upper camera 2 into a plurality of line areas and the line obtained by dividing the lower camera image taken by the lower camera 3 into a plurality of line areas The similarity to the area image 16 is calculated, and the line area image having the highest similarity is detected as the boundary. According to this configuration, the boundary of image composition can be detected easily and reliably with a simple configuration.
  • the boundary detection unit detects the boundary when the steering wheel is moved by the tilt mechanism or when the set time has elapsed since the image combining process or the image recognition process is performed. I configured it to run again. According to this configuration, the process of detecting the boundary of the image synthesis is executed only at the minimum necessary, and is not performed each time at the time of the image synthesis process, that is, the boundary condition is fixed at the image synthesis process for about the set time. Therefore, when combining a large number of composite images, the time required for combining can be significantly reduced.
  • the range of similarity calculation in the upper camera image or the lower camera image may be changed according to the position or angle of the steering wheel 8 or the like.
  • the update values STEP_i and STEP_j of the row area image may be changed as appropriate.
  • Second Embodiment 13 to 18 show a second embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals.
  • two cameras 2 and 3 are disposed offset in the horizontal direction.
  • the lower camera 3 is disposed at a predetermined distance from the upper camera 2 in the horizontal direction.
  • the upper camera 2 is disposed to face the front of the driver's face. In the case of this configuration, it is configured to generate an image in which the lower camera image is rotationally moved so as to eliminate the deviation, and then to combine the two images.
  • the image synthesis processing unit 10 of the control device 6 has a function as an image generation unit.
  • the upper camera image captured by the upper camera 2 is an image as shown in FIG.
  • the lower camera image photographed by the lower camera 3 is an image as shown in FIG.
  • the driver's face of the upper camera image faces the front, but the driver's face of the lower camera image faces a little diagonally. If this is the case, combining the two images results in an unnatural face.
  • the control device 6 rotationally moves the lower camera image, for example, by performing affine transformation, creates a rotational movement image as shown in FIG. 17, and stores the rotational movement image in the memory.
  • the control apparatus 6 is comprised so that the said rotational movement image and lower camera image of a lower camera image may be synthesize
  • a good composite image as shown in FIG. 18 can be obtained.
  • the configuration of the second embodiment other than that described above is the same as the configuration of the first embodiment. Therefore, also in the second embodiment, substantially the same effect as that of the first embodiment can be obtained.
  • the second embodiment in the case where two cameras 2 and 3 are arranged to be shifted in the horizontal direction, an image in which a camera image is rotationally moved so as to eliminate the shift is generated. Since two images are configured to be combined, a good combined image can be combined.
  • FIG. 19 shows a third embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals.
  • the image combining processing unit 10 of the control device 6 has a function as an image reducing unit.
  • the upper camera image and the lower camera image are combined using the image combining control of the first embodiment, and a combined image 21 as shown in FIG. 19 is created.
  • the size and position of the face image are detected by performing image recognition processing of the driver's face on the composite image 21. Then, based on the information of the size and position of the detected face image, the size of the image necessary for the image synthesis and the image recognition process is set as shown by a dashed rectangular area in FIG. Make it smaller than 21.
  • the size of the partial image corresponding to the portion indicated by the rectangular area of the broken line or the size slightly larger than this partial image for each of the upper camera image and the lower camera image Using the partial image of (1), a composition process substantially similar to the image composition control of the first embodiment is executed. And when performing an image recognition process with respect to the synthesize
  • the configuration of the third embodiment other than that described above is the same as the configuration of the first embodiment. Therefore, also in the third embodiment, substantially the same effect as that of the first embodiment can be obtained.
  • the processing load of the control device 6 can be reduced because the image data used for the image synthesis and the image recognition processing is reduced.
  • FIG. 20 shows a fourth embodiment.
  • the same components as those in the first embodiment are denoted by the same reference numerals.
  • the similarity is equal to or more than the threshold for boundary determination set in advance.
  • the line area image in which the degree of similarity is equal to or higher than the threshold for boundary determination is detected as the boundary.
  • steps S210 to S250 in FIG. 20 are performed as in the first embodiment, and after step S250, the process proceeds to step S410.
  • step S410 it is determined whether the calculated similarity is equal to or more than the threshold for boundary determination.
  • the process proceeds to step S260, and thereafter, the process up to step S330 is performed as in the first embodiment.
  • step S410 when the similarity is equal to or higher than the threshold for boundary determination (YES), the process proceeds to step S420, and the upper camera image of the similarity which is equal to or higher than the threshold for boundary determination as a boundary area of the combination condition.
  • the combination of the line area image of and the line area image of the lower camera image is selected and set.
  • step S320 the combination determination is set as OK, and the present control ends.
  • the configuration of the fourth embodiment other than that described above is the same as the configuration of the first embodiment. Therefore, also in the fourth embodiment, substantially the same effect as that of the first embodiment can be obtained.
  • the fourth embodiment when the similarity becomes equal to or higher than the threshold for boundary determination during calculation of the similarity, the calculation of the similarity is stopped and the similarity is for boundary determination. Since the line area image having the threshold value or more is detected as the boundary, the time required for the boundary detection process, and hence the time required for the image synthesis can be shortened.
  • the line area image of the upper camera image and the line area image of the lower camera image are compared to calculate the similarity, but the present invention is not limited to this.
  • the row region images may be compared.
  • the row region image is a region obtained by dividing the camera image into a plurality of row units in the horizontal direction.
  • the upper camera image and the lower camera image may be divided into a plurality of rectangular image areas of a predetermined size, and the divided rectangular image areas may be compared.
  • the present invention is applied to a configuration in which two cameras 2 and 3 are disposed, but the present invention is not limited to this. Three or more cameras are disposed, and photographing is performed by three or more cameras The present invention may be applied to a configuration for combining three or more camera images.
  • the similarity is calculated and the row region images 15 and 16 having the highest similarity are set as the boundaries, but the present invention is not limited to this.
  • the tilt position of the steering wheel In order to detect boundaries using steering angles, vehicle parameters included in vehicle information, for example, various vehicle parameters such as camera installation conditions, steering shapes, driver positions, etc., information of face recognition results of the image recognition processing unit 11, etc.
  • vehicle parameters included in vehicle information for example, various vehicle parameters such as camera installation conditions, steering shapes, driver positions, etc., information of face recognition results of the image recognition processing unit 11, etc.
  • the image areas of the upper camera image and the lower camera image for calculating the degree of similarity may be narrowed. With this configuration, the detection time of the boundary and the processing load of the control device 6 can be reduced.
  • stop calculation of the degree of similarity and detect and set boundaries suitable for synthesis by calculation based on the tilt position of the steering wheel, steering angle, and vehicle parameters, that is, line region images that become boundaries suitable for synthesis It may be configured as follows. According to this configuration, since the similarity is not calculated, the time required to detect the boundary can be significantly reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

車両用画像合成装置は、車両に搭載され運転者を撮影する複数のカメラ（２、３）と、前記複数のカメラで撮影された複数の画像を比較して合成に適した境界を検出する境界検出部（１２）と、前記複数の画像を、前記境界において合成する合成部（１３）とを備えたものである。

Description

車両用画像合成装置 関連出願の相互参照
　本出願は、２０１８年　１月１０日に出願された日本出願番号２０１８－１８８３号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両用画像合成装置に関する。
　近年、車両の運転中に、運転者の顔をカメラで撮影し、撮影した顔画像に基づいて運転者の状態として例えば居眠りや脇見などを検出し、安全運転ができる状態ではないと判断したときに、警報を行う装置が知られている。運転中、運転者は車両のインストルメントパネルのメータを視認することから、運転者の顔を撮影するカメラは、車両のメータ付近に設置されている。しかし、メータと運転者の間にはステアリングホイールが配設されており、特に、チルト機構によりステアリングホイールの位置を動かせる車両では、ステアリングホイールが運転者の顔を隠すため、カメラで運転者の顔を良好に撮影できないおそれがあった。
特開２００７－０６９６８０号公報 特許第４９８９７６２号公報
　本開示の目的は、カメラで運転者の顔を撮影したときに、運転者の顔を良好に撮影した画像を得ることができる車両用画像合成装置を提供することにある。
　本開示の第一の態様において、車両に搭載され運転者を撮影する複数のカメラと、前記複数のカメラで撮影された複数の画像を比較して合成に適した境界を検出する境界検出部と、前記複数の画像を、前記境界において合成する合成部とを備えた。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態を示す車両用画像合成装置のブロック図であり、 図２は、ステアリング、メータ及びカメラ等を示す図であり、 図３は、ステアリング、メータ、カメラ及びドライバ等を示す縦断側面図であり、 図４は、上カメラ画像を示す図であり、 図５は、下カメラ画像を示す図であり、 図６は、合成画像を示す図であり、 図７は、上カメラ画像の行領域画像を説明する図であり、 図８は、下カメラ画像の行領域画像を説明する図であり、 図９は、類似度が一番高い行領域画像で合成した合成画像を示す図であり、 図１０は、画像合成制御のフローチャートであり、 図１１は、合成判定制御のフローチャートであり、 図１２は、合成条件探索制御のフローチャートであり、 図１３は、第２実施形態を示すものであり、ステアリング、メータ及びカメラ等を示す図であり、 図１４は、カメラ及びドライバ等を示す上面図であり、 図１５は、上カメラ画像を示す図であり、 図１６は、下カメラ画像を示す図であり、 図１７は、下カメラ画像を回転移動させた画像を示す図であり、 図１８は、合成画像を示す図であり、 図１９は、第３実施形態を示すものであり、合成画像を示す図であり、 図２０は、第４実施形態を示す合成条件探索制御のフローチャートである。
　（第１実施形態）
　以下、第１実施形態の車両用画像合成装置について、図１ないし図１２を参照して説明する。図１は、車両用画像合成装置１の電気的構成を示す。車両用画像合成装置１は、図１に示すように、上カメラ２と、下カメラ３と、チルト位置センサ４と、ステアリング角度センサ５と、制御装置６とを備えて構成されている。
　上カメラ２は、第１カメラを構成するものであり、図２及び図３に示すように、車両のインストルメントパネルに設けられたメータ７における上辺部の中央部に配設されている。上カメラ２は、運転者の顔を連続的に撮影し、撮影した画像データを制御装置６に送信する。上カメラ２は、例えば３０フレーム／ｓ程度の速度で連続撮影する機能を有する。
　下カメラ３は、第２カメラを構成するものであり、図２及び図３に示すように、車両のメータ７における下辺部の中央部に配設されている。上カメラ２と下カメラ３は、上下方向に、即ち、鉛直方向に設定距離離れて配設されている。上カメラ２及び下カメラ３は、運転者の顔の正面に対向するように配設されている。下カメラ３は、運転者の顔を連続的に撮影し、撮影した画像データを制御装置６に送信する。下カメラ３は、例えば３０フレーム／ｓ程度の速度で連続撮影する機能を有する。
　図３に示すように、上カメラ２は、実線と破線で示す範囲の領域を撮影し、撮影された上カメラ画像は、図４に示すような画像となり、運転者の顔の上部がステアリングホイール８で隠れている。上カメラ２は、運転者の顔の中央部分から下部側を、即ち、実線で示す範囲の領域をステアリングホイール８で隠されることなく良好に撮影することが可能である。
　そして、下カメラ３は、実線と破線で示す範囲の領域を撮影し、撮影された下カメラ画像は、図５に示すような画像となり、運転者の顔の下部がステアリングコラム９で隠れている。下カメラ３は、運転者の顔の中央部分から上部側を、即ち、実線で示す範囲の領域をステアリングコラム９で隠されることなく良好に撮影することが可能である。
　チルト位置センサ４は、ステアリングコラム９のチルト機構によりステアリングホイール８が移動されたときに、ステアリングホイール８の位置を検出し、ステアリングホイール８の位置の検出信号を制御装置６に送信する。ステアリング角度センサ５は、ステアリングホイール８が回転操作されたときに、ステアリングホイール８の回転角度を検出し、ステアリングホイール８の回転角度の検出信号を制御装置６に送信する。
　制御装置６は、車両用画像合成装置１全体を制御する機能を有しており、画像合成処理部１０と、画像認識処理部１１とを備えている。画像合成処理部１０は、境界検出部１２及び合成部１３を備えている。画像合成処理部１０は、上カメラ２及び下カメラ３からの画像データ、チルト位置センサ４及びステアリング角度センサ５からの検出信号、車両からの車両情報を入力する。
　画像合成処理部１０の境界検出部１２は、上カメラ２で撮影された上カメラ画像（図４参照）と、下カメラ３で撮影された下カメラ画像（図５参照）を入力し、これら２つの画像をステアリングホイール８やステアリングコラム９等で隠される部分がなくなるように合成するのに適した境界を検出する機能を有する。そして、画像合成処理部１０の合成部１３は、上記検出された境界において上カメラ画像と下カメラ画像を合成することにより、図６に示すような合成画像を作成する機能を有する。
　画像認識処理部１１は、画像合成処理部１０で合成された合成画像や、カメラ２、３で撮影されたカメラ画像を入力し、入力した画像、即ち、運転者の顔画像を画像認識処理する機能を有する。画像認識処理部１１は、画像認識処理によって、運転者の状態として例えば居眠りや脇見などを判定したり、安全運転ができる状態であるかどうかなどを判定したりする機能を有する。
　次に、上記構成の作用、即ち、上カメラ画像と下カメラ画像を合成する制御について、図７ないし図１２を参照して説明する。まず、本合成制御の概略について述べる。上カメラ画像を、図７に示すように、上下方向に行単位で複数の行領域画像１５に分割すると共に、下カメラ画像を、図８に示すように、上下方向に行単位で複数の行領域画像１６に分割する。そして、上カメラ画像を分割した行領域画像１５と、下カメラ画像を分割した行領域画像１６を比較し、類似度を算出する。この類似度の算出は、上カメラ画像の全ての行領域画像１５と、下カメラ画像の全ての行領域画像１６とについて、それぞれ実行するように構成されている。
　そして、類似度が一番高い行領域画像１５、１６を境界、即ち、境界領域または境界線とすることにより、境界を検出する構成となっている。続いて、上カメラ画像と上カメラ画像を上記境界において合成する。この場合、上カメラ画像については、類似度が一番高い行領域画像１５よりも下の画像部分１７と、下カメラ画像については、類似度が一番高い行領域画像１６よりも上の画像部分１８とを合成する。これにより、図９に示す合成画像が作成されるように構成されている。尚、類似度が一番高い行領域画像１５、１６については、いずれか一方を採用するようになっている。
　次に、本合成制御の具体的内容について、図１０ないし図１２のフローチャートを参照して説明する。尚、図１０ないし図１２のフローチャートは、制御装置６、即ち、画像合成処理部１０及び画像認識処理部１１の制御の内容を示す。
　まず、図１０のステップＳ１０においては、上カメラ２と下カメラ３により運転者の顔が撮影され、画像合成処理部１０は、上カメラ２と下カメラ３で撮影された上カメラ画像と下カメラ画像を入力する。続いて、ステップＳ２０へ進み、画像合成処理部１０は、入力した上カメラ画像と下カメラ画像を合成するか否かを判定する合成判定処理を実行する。この合成判定処理については、後述する。
　そして、ステップＳ３０へ進み、合成判定がＯＫであるか否かを判断する。ここで、合成判定がＯＫでないときには（ＮＯ）、ステップＳ１０へ戻るようになっている。また、上記ステップＳ３０において、合成判定がＯＫであるときには（ＹＥＳ）、ステップＳ４０へ進み、画像の合成条件を設定する、具体的には、上記ステップＳ２０の合成判定処理において探索された合成条件例えば検出された境界領域の行領域画像１５、１６を設定する。
　次いで、ステップＳ５０へ進み、上カメラ２と下カメラ３により運転者の顔が撮影され、画像合成処理部１０は、上カメラ２と下カメラ３で撮影された上カメラ画像と下カメラ画像を入力する。尚、ステップＳ１０で撮影された画像の合成が行われていないときには、このステップＳ５０の撮影は、１回飛ばすことが好ましい。
　続いて、ステップＳ６０へ進み、画像合成処理部１０の合成部１３により、上カメラ画像と下カメラ画像が、設定された境界領域の行領域画像１５、１６を境界にして合成される。これにより、図９に示す合成画像が作成され、作成された合成画像は制御装置６の内部のメモリに記憶される。そして、ステップＳ７０へ進み、画像認識処理部１１は、上記合成画像に写っている運転者の顔画像について、画像認識処理を実行し、運転者の状態を判断する。この顔画像認識処理については、周知構成の画像認識処理を用いることが好ましい。
　次いで、ステップＳ８０へ進み、合成条件を再設定するかどうかを判定する処理を実行する。この場合、チルト位置センサ４やステアリング角度センサ５からの検出信号により、ステアリングホイール８が移動したり、回転したりしたことが検知された場合、再設定が必要と判定される。また、合成条件が設定されてから、予め決められた設定時間が経過したときにも、再設定が必要と判定される。
　続いて、ステップＳ９０へ進み、合成条件を再設定するか否かを判断する。ここで、合成条件を再設定しないときには（ＮＯ）、ステップＳ５０へ戻り、上述した処理、即ち、上カメラ２及び下カメラ３による撮影処理や、画像の合成処理等が繰り返し実行される。また、上記ステップＳ９０において、合成条件を再設定するときには（ＹＥＳ）、ステップＳ１０へ戻り、上述した処理、即ち、上カメラ２及び下カメラ３による撮影処理や、合成判定処理や、合成条件の再設定処理や、画像の合成処理等が繰り返し実行される。
　次に、前記ステップＳ２０の合成判定処理について、図１１のフローチャートを参照して説明する。まず、図１１のステップＳ１１０においては、上カメラ画像にステアリングホイール８等による隠れ部分がないかどうかを判断する。ここで、上カメラ画像に隠れ部分がないときには（ＹＥＳ）、ステップＳ１２０へ進み、合成条件として上カメラ画像のみと設定する。続いて、ステップＳ１３０へ進み、合成判定はＯＫと設定する。これにより、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。
　また、上記ステップＳ１１０において、上カメラ画像に隠れ部分があるときには（ＮＯ）、ステップＳ１４０へ進み、下カメラ画像にステアリングホイール８等による隠れ部分がないかどうかを判断する。ここで、下カメラ画像に隠れ部分がないときには（ＹＥＳ）、ステップＳ１５０へ進み、合成条件として下カメラ画像のみと設定する。続いて、ステップＳ１６０へ進み、合成判定はＯＫと設定する。これにより、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。
　また、上記ステップＳ１４０において、下カメラ画像に隠れ部分があるときには（ＮＯ）、ステップＳ１７０へ進み、合成条件を探索する処理を実行する。この合成条件探索処理については、後述する。そして、合成条件探索処理を完了すると、図１１の制御を終了し、図１０の制御へ戻り、ステップＳ３０へ進む。
　次に、上記ステップＳ１７０の合成条件探索処理について、図１２のフローチャートを参照して説明する。この合成条件探索処理は、画像合成処理部１０の境界検出部１２によって実行される。ここで、合成条件探索処理の概略について述べる。まず、一方のカメラ画像である例えば上カメラ画像の最初の行領域画像を切り出し、この行領域画像と、他方のカメラ画像である例えば下カメラ画像の最初の行領域画像とを比較して類似度、即ち、類似スコアを算出する。そして、この比較及び類似度算出を、下カメラ画像の上記最初の行領域画像から最後の行領域画像まで全て実行する。その後、上カメラ画像の次の行領域画像を切り出し、この行領域画像についても、下カメラ画像の全ての行領域画像と比較して類似度を算出する。以下、このような比較及び類似度算出を、上カメラ画像の最後の行領域画像まで、順次実行する。そして、算出した類似度の中の最大値の類似度となった行領域画像を境界として選択する。尚、図１２のフローチャートにおける変数や定数は、次のように定義されている。
　ｉは上カメラ画像の切出行領域の変数
　ＩＮＩＴ＿ｉは上カメラ画像の切出行領域の初期値
　ＳＴＥＰ＿ｉは上カメラ画像の切出行領域の更新値
　ｍａｘ＿ｉは上カメラ画像の切出行領域の終了値
　ｊは下カメラ画像の比較行領域の変数
　ＩＮＩＴ＿ｊは下カメラ画像の比較行領域の初期値
　ＳＴＥＰ＿ｊは下カメラ画像の比較行領域の更新値
　ｍａｘ＿ｊは下カメラ画像の比較行領域の終了値
である。
　次に、合成条件探索処理について、具体的に説明する。まず、図１２のステップＳ２１０においては、上カメラ画像の切出行領域の変数ｉに初期値ＩＮＩＴ＿ｉを入力する。続いて、ステップＳ２２０へ進み、上カメラ画像のｉ行領域画像を切り出す、即ち、読み出して取得する。そして、ステップＳ２３０へ進み、下カメラ画像の比較行領域の変数ｊに初期値ＩＮＩＴ＿ｊを入力する。続いて、ステップＳ２４０へ進み、上カメラ画像のｉ行領域画像と、下カメラ画像のｊ行領域画像とを比較し、類似度を算出する。次いで、ステップＳ２５０へ進み、算出された類似度を制御装置６内のメモリに保存する。この場合、類似度に、上カメラ画像のｉ行領域画像の変数ｉと下カメラ画像のｊ行領域画像の変数ｊを付加して保存する。
　続いて、ステップＳ２６０へ進み、変数ｊを更新値ＳＴＥＰ＿ｊだけ更新する。そして、ステップＳ２７０へ進み、変数ｊが終了値ｍａｘ＿ｊよりも大きくなったか否かを判断する。ここで、ｊがｍａｘ＿ｊよりも大きくないときには（ＮＯ）、ステップＳ２４０へ戻り、上述した処理を繰り返し実行する。
　また、上記ステップＳ２７０において、ｊがｍａｘ＿ｊよりも大きくなったときには（ＹＥＳ）、ステップＳ２８０へ進み、変数ｉを更新値ＳＴＥＰ＿ｉだけ更新する。そして、ステップＳ２９０へ進み、変数ｉが終了値ｍａｘ＿ｉよりも大きくなったか否かを判断する。ここで、ｉがｍａｘ＿ｉよりも大きくないときには（ＮＯ）、ステップＳ２２０へ戻り、上述した処理を繰り返し実行する。
　また、上記ステップＳ２９０において、ｉがｍａｘ＿ｉよりも大きくなったときには（ＹＥＳ）、ステップＳ３００へ進み、算出された類似度の最大値が、予め設定された合成判定用の閾値以上であるか否かを判断する。ここで、類似度の最大値が合成判定用の閾値以上であるときには（ＹＥＳ）、ステップＳ３１０へ進み、合成条件の境界領域として、類似度最大値の上カメラ画像の行領域画像と下カメラ画像の行領域画像の組み合わせを選択して設定する。そして、ステップＳ３２０へ進み、合成判定をＯＫと設定する。これにより、本制御を終了し、図１１の制御ひいては図１０の制御へ戻る。
　また、上記ステップＳ３００において、類似度の最大値が合成判定用の閾値以上でないときには（ＮＯ）、ステップＳ３３０へ進み、合成判定をＮＧと設定する。これにより、本制御を終了し、図１１の制御ひいては図１０の制御へ戻り、再度撮影し、再度合成判定を行うようになっている。
　このような構成の本実施形態においては、カメラ２、３で撮影された２つのカメラ画像を比較して合成に適した境界、即ち、類似度が一番高い行領域画像１５、１６を検出し、前記２つのカメラ画像を、前記類似度が一番高い行領域画像１５、１６において合成するように構成した。この構成によれば、２つのカメラで撮影した２つの画像を、１つの画像に良好に合成することができる。従って、カメラ２、３で運転者の顔を撮影したときに、運転者の顔を良好に撮影した画像、即ち、良好な合成画像を得ることができる。
　また、上記実施形態では、上カメラ２で撮影された上カメラ画像を複数の行領域に分割した行領域画像１５と、下カメラ３で撮影された下カメラ画像を複数の行領域に分割した行領域画像１６との類似度を算出し、類似度が一番高い行領域画像を前記境界として検出するように構成した。この構成によれば、画像合成の境界を、簡単な構成にて容易且つ確実に検出することができる。
　また、上記実施形態では、上カメラ画像または下カメラ画像に、隠れた部分がない運転者が写っている場合、隠れた部分がない運転者が写っているカメラ画像を用いることにより、画像の合成を行なわないように構成した。この構成によれば、画像の合成を行なわないので、画像合成する場合に比べて、画像認識処理全体に要する時間を短くすることができる。
　また、上記実施形態では、チルト機構によりステアリングホイールが移動されたとき、または、画像合成処理や画像認識処理が実行されてから設定時間が経過したときには、前記境界検出部により境界を検出する処理を再度実行するように構成した。この構成によれば、画像合成の境界を検出する処理を、必要最小限しか実行せず、画像合成処理時に毎回実行しない、即ち、設定時間程度の間は、画像合成処理時に境界の条件を固定しているので、多数の合成画像を合成する際に、合成に要する時間を大幅に短縮することができる。
　尚、上記実施形態においては、上カメラ画像または下カメラ画像における類似度算出の範囲、即ち、ＩＮＩＴ＿ｉ、ｍａｘ＿ｉ、ＩＮＩＴ＿ｊ、ｍａｘ＿ｊを、ステアリングホイール８の位置や角度等に応じて変更しても良いし、行領域画像の更新値ＳＴＥＰ＿ｉ、ＳＴＥＰ＿ｊを適宜変更しても良い。このように構成すると、計算対象の画像が小さくなって、計算量を少なくすることが可能となるから、制御装置６の処理負荷を軽減することができる。
　（第２実施形態）
　図１３ないし図１８は、第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第２実施形態では、図１３及び図１４に示すように、２台のカメラ２、３が水平方向にずれて配設されている。具体的には、下カメラ３が、上カメラ２に対して水平方向に所定距離離れて配設されている。尚、上カメラ２は、ドライバの顔の正面に対向するように配設されている。この構成の場合、ずれをなくすように下カメラ画像を回転移動させた画像を生成してから、２つの画像を合成するように構成されている。制御装置６の画像合成処理部１０は、画像生成部としての機能を有している。
　第２実施形態において、上カメラ２により撮影された上カメラ画像は、図１５に示すような画像となる。そして、下カメラ３により撮影された下カメラ画像は、図１６に示すような画像となる。上カメラ画像の運転者の顔は正面を向いているが、下カメラ画像の運転者の顔はやや斜めを向いており、このままでは、両画像を合成すると、不自然な顔になってしまう。
　そこで、第２実施形態では、制御装置６は、下カメラ画像を例えばアフィン変換等を行なうことにより回転移動させ、図１７に示すような回転移動画像を作成し、この回転移動画像をメモリに記憶する。そして、制御装置６は、下カメラ画像の上記回転移動画像と上カメラ画像を第１実施形態の画像合成制御を用いて合成するように構成されている。これにより、図１８に示すような良好な合成画像を得ることができる。
　上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、２台のカメラ２、３が水平方向にずれて配設されている場合に、ずれをなくすようにカメラ画像を回転移動させた画像を生成してから、２つの画像を合成するように構成したので、良好な合成画像を合成することができる。
　（第３実施形態）
　図１９は、第３実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第３実施形態では、図１９において破線の矩形領域で示すように、画像合成や画像認識処理に使用する画像データの大きさを小さくするように構成した。この構成の場合、制御装置６の画像合成処理部１０は、画像縮小部としての機能を有する。
　具体的には、最初に、第１実施形態の画像合成制御を用いて、上カメラ画像と下カメラ画像を合成し、図１９に示すような合成画像２１を作成する。この合成画像２１について、運転者の顔の画像認識処理を行なうことにより、顔画像の大きさと位置を検出する。そして、この検出した顔画像の大きさと位置の情報に基づいて、画像合成や画像認識処理に必要な画像の大きさを、図１９にて破線の矩形領域で示すように設定して、合成画像２１よりも小さくする。
　この後、上カメラ画像と下カメラ画像を合成する場合、上カメラ画像及び下カメラ画像それぞれについて、上記破線の矩形領域で示す部分に対応する部分画像またはこの部分画像よりも少し大きい程度の大きさの部分画像を用いて、第１実施形態の画像合成制御とほぼ同様の合成処理を実行する。そして、合成した画像に対して、画像認識処理を行なう場合も、上記破線の矩形領域で示す部分を用いて画像認識処理を実行するように構成されている。
　上述した以外の第３実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第３実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第３実施形態によれば、画像合成や画像認識処理に使用する画像データを小さくするように構成したので、制御装置６の処理負荷を低減することができる。
　（第４実施形態）
　図２０は、第４実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。第４実施形態では、上カメラ画像の行領域画像と、下カメラ画像の行領域画像との類似度を算出しているときに、類似度が予め設定された境界判定用の閾値以上になったとき、類似度の算出を止めて、類似度が境界判定用の閾値以上になった行領域画像を境界として検出するように構成した。
　具体的には、図２０のステップＳ２１０～Ｓ２５０は、第１実施形態と同様に実行し、ステップＳ２５０の後、ステップＳ４１０に進む。このステップＳ４１０では、算出された類似度が境界判定用の閾値以上であるか否かを判断する。ここで、類似度が境界判定用の閾値以上でないときには（ＮＯ）、ステップＳ２６０へ進み、これ以降ステップＳ３３０まで、第１実施形態と同様に実行する。
　また、上記ステップＳ４１０において、類似度が境界判定用の閾値以上であるときには（ＹＥＳ）、ステップＳ４２０へ進み、合成条件の境界領域として、境界判定用の閾値以上となった類似度の上カメラ画像の行領域画像と下カメラ画像の行領域画像の組み合わせを選択して設定する。そして、ステップＳ３２０へ進み、合成判定をＯＫと設定し、本制御を終了する。
　上述した以外の第４実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第４実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第４実施形態によれば、類似度を算出している途中で、類似度が境界判定用の閾値以上になったときに、類似度の算出を止めて、類似度が境界判定用の閾値以上になった行領域画像を境界として検出するように構成したので、境界検出処理に要する時間、ひいては、画像合成に要する時間を短縮することができる。
　尚、上記各実施形態では、上カメラ画像の行領域画像と、下カメラ画像の行領域画像とを比較して類似度を算出するように構成したが、これに限られるものではなく、行領域画像に代えて列領域画像を比較するように構成しても良い。列領域画像は、カメラ画像を横方向に列単位で複数に分割した領域である。また、上カメラ画像及び下カメラ画像を複数の所定の大きさの矩形状の画像領域に分割し、分割した矩形状の画像領域を比較するように構成しても良い。
　また、上記各実施形態では、２個のカメラ２、３を配設した構成に適用したが、これに限られるものではなく、３個以上のカメラを配設し、３個以上のカメラで撮影した３つ以上のカメラ画像を合成する構成に適用しても良い。
　また、上記各実施形態では、類似度を算出し、類似度が一番高い行領域画像１５、１６を境界とするように構成したが、これに限られるものではなく、ステアリングホイールのチルト位置、ステアリング角度、車両情報に含まれる車両パラメータ、例えば、カメラ設置条件、ステアリング形状、ドライバポジション等の種々の車両パラメータ、画像認識処理部１１の顔認識結果の情報などを用いて、境界を検出するために類似度を算出する上カメラ画像及び下カメラ画像の画像領域を狭くするように構成しても良い。このように構成すると、境界の検出時間や制御装置６の処理負荷を低減できる。
　また、類似度の算出を止めて、ステアリングホイールのチルト位置やステアリング角度や車両パラメータに基づいて計算により合成に適した境界、即ち、合成に適した境界とする行領域画像を検出して設定するように構成しても良い。このように構成すると、類似度を算出しないので、境界を検出するのに要する時間を大幅に短縮することができる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (8)

  1. 　車両に搭載され運転者を撮影する複数のカメラ（２、３）と、
    　前記複数のカメラで撮影された複数の画像を比較して合成に適した境界を検出する境界検出部（１２）と、
    　前記複数の画像を、前記境界において合成する合成部（１３）と
    を備えた車両用画像合成装置。
  2. 　前記複数のカメラとして、第１カメラ（２）と第２カメラ（３）を設け、
    　前記境界検出部は、前記第１カメラで撮影された第１画像を複数の行領域に分割した行領域画像と、前記第２カメラで撮影された第２画像を複数の行領域に分割した行領域画像との類似度を算出し、類似度が一番高い行領域画像を前記境界として検出するように構成された請求項１記載の車両用画像合成装置。
  3. 　前記境界検出部は、前記第１画像の行領域画像と、前記第２画像の行領域画像との類似度を算出しているときに、類似度が予め設定された境界判定用の閾値以上になったとき、類似度の算出を止めて、類似度が閾値以上になった行領域画像を境界として検出するように構成された請求項２記載の車両用画像合成装置。
  4. 　前記境界検出部は、ステアリングホイールのチルト位置や車両パラメータに基づいて計算により境界を設定するように構成された請求項１記載の車両用画像合成装置。
  5. 　２台のカメラが水平方向または垂直方向にずれて配設されている場合、ずれをなくすように第１画像または第２画像を回転移動させた画像を生成する画像生成部（１０）を備え、
    　前記回転移動させた画像を用いて合成を行なうように構成された請求項２記載の車両用画像合成装置。
  6. 　画像認識結果に基づいて、画像を小さくできると判定された場合、画像を小さくする画像縮小部（１０）を備え、
    　前記画像を小さくした画像を用いて合成を行なうように構成された請求項２記載の車両用画像合成装置。
  7. 　第１画像または第２画像に、隠れた部分がない運転者が写っている場合、隠れた部分がない運転者が写っている画像を用いることにより、画像の合成を行なわないように構成された請求項２記載の車両用画像合成装置。
  8. 　チルト機構によりステアリングホイールが移動されたときや、画像認識処理が実行されてから設定時間が経過したときには、前記境界検出部により境界を検出する処理を再度実行するように構成された請求項１記載の車両用画像合成装置。
     
PCT/JP2018/045894 2018-01-10 2018-12-13 車両用画像合成装置 WO2019138771A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880085804.2A CN111566698A (zh) 2018-01-10 2018-12-13 车辆用图像合成装置
DE112018006812.9T DE112018006812T5 (de) 2018-01-10 2018-12-13 Fahrzeugbildsynthesevorrichtung
US16/921,311 US11270440B2 (en) 2018-01-10 2020-07-06 Vehicular image synthesis apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-001883 2018-01-10
JP2018001883A JP6939580B2 (ja) 2018-01-10 2018-01-10 車両用画像合成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/921,311 Continuation US11270440B2 (en) 2018-01-10 2020-07-06 Vehicular image synthesis apparatus

Publications (1)

Publication Number Publication Date
WO2019138771A1 true WO2019138771A1 (ja) 2019-07-18

Family

ID=67218596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045894 WO2019138771A1 (ja) 2018-01-10 2018-12-13 車両用画像合成装置

Country Status (5)

Country Link
US (1) US11270440B2 (ja)
JP (1) JP6939580B2 (ja)
CN (1) CN111566698A (ja)
DE (1) DE112018006812T5 (ja)
WO (1) WO2019138771A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208620A (ja) * 2002-01-17 2003-07-25 Fujitsu Ltd 生体情報を用いた本人認証方法、プログラム、記録媒体及び装置
JP2007328582A (ja) * 2006-06-08 2007-12-20 Matsushita Electric Ind Co Ltd 画像合成装置およびその方法
JP2008199515A (ja) * 2007-02-15 2008-08-28 Fujifilm Corp 同乗者着座姿勢検出・判定装置及び方法
JP2009011005A (ja) * 2008-10-10 2009-01-15 Panasonic Corp 画像処理装置
JP2010171777A (ja) * 2009-01-23 2010-08-05 Toyota Motor Corp 撮像装置
JP2017112486A (ja) * 2015-12-16 2017-06-22 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054857B2 (en) 2002-05-08 2006-05-30 Overture Services, Inc. Use of extensible markup language in a system and method for influencing a position on a search result list generated by a computer network search engine
JP2005202599A (ja) * 2004-01-14 2005-07-28 Advanced Telecommunication Research Institute International 居眠り防止装置
JP4380412B2 (ja) * 2004-05-10 2009-12-09 株式会社デンソー 撮像制御装置及びプログラム
JP2007069680A (ja) 2005-09-05 2007-03-22 Toyota Motor Corp 顔画像撮影カメラの搭載構造
JP4739870B2 (ja) 2005-09-05 2011-08-03 アイシン精機株式会社 サングラス検出装置及び顔中心位置検出装置
JP4606322B2 (ja) * 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
JP2007234060A (ja) * 2007-05-31 2007-09-13 Advanced Telecommunication Research Institute International 居眠り防止装置
JP4981700B2 (ja) * 2008-01-29 2012-07-25 パナソニック株式会社 顔認証装置
US20110025836A1 (en) 2008-03-18 2011-02-03 Satoshi Tamaki Driver monitoring apparatus, driver monitoring method, and vehicle
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
JP5419757B2 (ja) 2010-03-09 2014-02-19 セコム株式会社 顔画像合成装置
WO2014033886A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
JP6024581B2 (ja) * 2013-04-15 2016-11-16 株式会社デンソー 車両用画像処理装置
JP6452235B2 (ja) * 2014-11-20 2019-01-16 国立大学法人静岡大学 顔検出方法、顔検出装置、及び顔検出プログラム
CN104590130A (zh) * 2015-01-06 2015-05-06 上海交通大学 基于图像识别的后视镜自适应调节方法
KR101730321B1 (ko) * 2015-08-03 2017-04-27 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6594180B2 (ja) * 2015-11-25 2019-10-23 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
KR101949358B1 (ko) * 2016-04-04 2019-02-18 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6809262B2 (ja) * 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003208620A (ja) * 2002-01-17 2003-07-25 Fujitsu Ltd 生体情報を用いた本人認証方法、プログラム、記録媒体及び装置
JP2007328582A (ja) * 2006-06-08 2007-12-20 Matsushita Electric Ind Co Ltd 画像合成装置およびその方法
JP2008199515A (ja) * 2007-02-15 2008-08-28 Fujifilm Corp 同乗者着座姿勢検出・判定装置及び方法
JP2009011005A (ja) * 2008-10-10 2009-01-15 Panasonic Corp 画像処理装置
JP2010171777A (ja) * 2009-01-23 2010-08-05 Toyota Motor Corp 撮像装置
JP2017112486A (ja) * 2015-12-16 2017-06-22 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置

Also Published As

Publication number Publication date
JP6939580B2 (ja) 2021-09-22
US20200334822A1 (en) 2020-10-22
US11270440B2 (en) 2022-03-08
JP2019121270A (ja) 2019-07-22
DE112018006812T5 (de) 2020-09-17
CN111566698A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
JP5792091B2 (ja) 物体検出装置及び物体検出方法
JP5421072B2 (ja) 接近物体検知システム
US10499014B2 (en) Image generation apparatus
EP3136294B1 (en) Control apparatus, method of controlling image sensing device, and computer-readable storage medium
CN107852483B (zh) 向驾驶员提示辅助图像的装置及其方法
US10896336B2 (en) Parking compartment recognition apparatus
US20100066516A1 (en) Image displaying in-vehicle system, image displaying control in-vehicle apparatus and computer readable medium comprising program for the same
WO2007043452A1 (ja) 車載撮影装置及び車載カメラの撮影可動範囲測定方法
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP5302730B2 (ja) 運転者監視装置
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2018074411A (ja) 物体検出装置及び物体検出方法
WO2019138771A1 (ja) 車両用画像合成装置
JP2007221199A (ja) 車載カメラ表示装置及び画像処理装置
JP4529768B2 (ja) 車載物体検出装置、および物体検出方法
US10867400B2 (en) System for processing an image obtained by using stereo photography
JP2017065351A (ja) 駐車支援装置及び駐車支援方法
JPH1153551A (ja) ライン検出装置
JP2019133445A (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JPH0730801A (ja) 自動焦点調節装置
EP2100772A2 (en) Imaging device and method thereof, as well as image processing device and method thereof
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
KR102429490B1 (ko) Bvm 영상 제공 기능을 가지는 svm 시스템 및 그 동작 방법
JP2006036048A (ja) 車両ライト制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900460

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18900460

Country of ref document: EP

Kind code of ref document: A1