WO2023002813A1 - 車両の制御装置 - Google Patents

車両の制御装置 Download PDF

Info

Publication number
WO2023002813A1
WO2023002813A1 PCT/JP2022/025761 JP2022025761W WO2023002813A1 WO 2023002813 A1 WO2023002813 A1 WO 2023002813A1 JP 2022025761 W JP2022025761 W JP 2022025761W WO 2023002813 A1 WO2023002813 A1 WO 2023002813A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
notification pattern
pattern
control device
Prior art date
Application number
PCT/JP2022/025761
Other languages
English (en)
French (fr)
Inventor
勝 佐々木
範彦 小林
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN202280040340.XA priority Critical patent/CN117460656A/zh
Priority to EP22845749.5A priority patent/EP4375157A1/en
Publication of WO2023002813A1 publication Critical patent/WO2023002813A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/48—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for parking purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention comprises a projection device for projecting a notification pattern for reporting the behavior of the own vehicle onto an area including a vehicle, for example, a road surface near the automobile, and an imaging device for obtaining a desired image of the area.
  • the present invention relates to a vehicle control device.
  • a vehicle is proposed.
  • Japanese Patent Laid-Open No. 2004-100002 is a technique for projecting a notification pattern including a required design onto a road surface in front of or behind a vehicle using a projection device such as a projector mounted on the vehicle. By visually recognizing this notification pattern by a third party, the third party can recognize the behavior of the vehicle and can avoid contact with the vehicle.
  • Japanese Unexamined Patent Application Publication No. 2002-200002 proposes an image processing technique for processing captured images to obtain a desired image.
  • the notification pattern projected on the road surface may be captured in the captured image.
  • the projected notification pattern and various lines drawn (painted) on the road surface, such as parking lines, are displayed simultaneously on the monitor. It may be misidentified as a parking line.
  • the notification pattern when a car is parked while moving backwards, if the notification pattern is projected onto the captured image, there is a risk that the notification pattern may be misidentified as a parking line drawn on the road surface. It may not be possible to move to the position and park.
  • An object of the present invention is to control a vehicle that is equipped with a projection device for projecting a notification pattern onto a road surface and that enables obtaining a desired image in which the notification pattern is not projected when imaging a nearby area.
  • the present invention obtains an image obtained by removing the notification pattern from the captured image in a vehicle equipped with a projection device for projecting a required notification pattern on an area near the own vehicle and an imaging device for capturing an image of the area near the own vehicle.
  • the control device includes image processing means for storing the projected notification pattern in storage means and for removing the notification pattern stored in the storage means from the captured image.
  • the image processing means stores an image obtained by picking up the pre-projected notification pattern as an initial setting in the storage means as the notification pattern.
  • the image processing means obtains a difference between the first image captured without projection of the notification pattern and the second image captured with projection of the notification pattern, and stores the difference image as the notification pattern.
  • the image processing means projects a notification pattern at a predetermined position, and produces a first image that captures the area near the vehicle at that position and a second image that captures the area near the vehicle that has moved from the predetermined position. are compared, and the matching image of the first image and the second image is stored in the storage means as the notification pattern.
  • the projection device includes a projector that projects a notification pattern in the vicinity of the own vehicle
  • the imaging device includes a camera that captures an image of the vicinity of the vehicle, and the camera draws the notification pattern and the vicinity region.
  • the image processing means obtains an image from which the notification pattern is removed.
  • the projection device projects the notification pattern on the rear area of the own vehicle
  • the imaging device picks up an image of the parking lot existing in the rear area of the own vehicle
  • the reference line indicates the parking position in the parking lot. parking line.
  • the present invention further comprises a monitor that displays the image acquired by the image processing means, and that the monitor displays a guideline for guiding the movement of the vehicle to the driver.
  • the present invention in a vehicle equipped with a projection device for projecting a notification pattern, it is possible to obtain a desired image excluding the notification pattern even if an imaging device captures an area including the notification pattern.
  • FIG. 1 is a schematic perspective view of an automobile equipped with a control device of the present invention, viewed from the rear;
  • FIG. FIG. 2 is a block configuration diagram including a control device;
  • FIG. 10 is a diagram showing a form of projection of the notification pattern;
  • 4 is a flow chart of control mode 1.
  • FIG. FIG. 2 is a timing diagram of control mode 1; Monitor display image of control mode 1.
  • FIG. 10 is a flow chart of control mode 2; A captured image or a monitor display image of control mode 2.
  • FIG. 10 is a flow chart of control mode 3;
  • FIG. 1 is a schematic perspective view of an automobile CAR equipped with the control device of the present invention, viewed from the rear.
  • Rear combination lamps RCL are arranged on the left and right sides of the rear portion of the vehicle body of the automobile CAR.
  • One of these rear combination lamps RCL, here a part of the left combination lamp, is integrally provided with a rear projector RP.
  • the rear projector RP which will be described in detail later, is configured as a part of a projection device that, when operated, projects a notification pattern CP in the form of a desired pattern or line on the road surface behind the automobile CAR.
  • a rear camera (rear camera) RC is arranged in a part of the trunk lid at the rear of the vehicle body of the automobile CAR, and images the rear area of the automobile CAR, especially the area A including the rear road surface.
  • This rear camera RC may be arranged above the license plate, or may be arranged above the rear window in the interior of the vehicle CAR.
  • a monitor MO is arranged on the dashboard in the vehicle interior of the automobile CAR at a position facing the driver's seat, and is configured so that the driver can visually recognize the image displayed on the monitor screen. ing.
  • This monitor MO is connected to a vehicle ECU (electronic control unit) 100 that constitutes the control device of the present invention.
  • a sensor (not shown) is connected.
  • Fig. 2 is a block configuration diagram, and the parts corresponding to the parts shown in Fig. 1 are given the same reference numerals.
  • the control device is composed of the vehicle ECU 100 and includes an imaging device 10 and a projection device 20 .
  • a lamp ECU an ECU that controls the lamp in which the camera, the projection device, and the lamp unit are integrated
  • a rear zone ECU an ECU that is integrated with the rear zone provided on the vehicle body
  • It may be configured by an ECU that controls peripheral electronic devices such as lamps, sensors, and wipers.
  • the vehicle ECU 100 receives an imaging signal from the rear camera RC and also receives driving information indicating the driving state of the vehicle.
  • steering information indicating the traveling direction (backward direction) from the steering wheel device HA and backward information from the shift lever SL operated by the driver when the vehicle moves backward are input.
  • the backward information from the shift lever SL is also input to the projection device 20 .
  • the projection device 20 includes a projector control section 21 .
  • the projector control unit 21 controls the rear projector RP on the basis of the input backward information, and projects the notification pattern CP on the rear road surface when the automobile CAR moves backward.
  • the rear projector RP incorporates a light source 31, a pattern mask 32, and a projection lens 33 in a housing 30, as schematically shown in FIG. 3(a).
  • the light source 31 has three LEDs (light emitting diodes) 311 to 313 mounted on a light source substrate 310 to emit white light from the upper side to the lower side. Here, they are referred to as first LED 311 to third LED 313 in order from the top.
  • the pattern mask 32 has three rectangular light-transmitting windows 321 to 323 with different side lengths corresponding to the LEDs 311 to 313, respectively. Here, they are referred to as a first light-transmitting window 321 to a third light-transmitting window 323 in order from the top.
  • These translucent windows 321 to 323 may be provided with, for example, opalescent plates that diffuse and transmit light.
  • the pattern mask 32 is arranged behind the focal point of the projection lens 33 and at a required tilt angle with respect to the optical axis Lx. If the tilt angle is not given, the projection length becomes longer as the projection position becomes farther. Therefore, the length of one side of the first to third light transmission windows 321 to 323 may be equal.
  • the rear projector RP projects the real image of the first light-transmitting window 321 to the third light-transmitting window 323 of the pattern mask 32 to the first patterns CP1 to CP1.
  • a third pattern CP3 is projected on the rear road surface of the automobile in a focused state.
  • the notification pattern CP is projected using the first pattern CP1 to the third pattern CP3.
  • the notification pattern CP is projected in the position closest to the rear of the automobile by the first translucent window 321 as shown in FIG. 4(a).
  • CP1 is projected.
  • the second LED 312 emits light
  • the second pattern CP by the second translucent window 322 is projected behind the first pattern CP1 as shown in FIG. 4(b).
  • the third LED 313 emits light
  • the third pattern CP3 formed by the third translucent window 323 is projected behind the second pattern CP2, as shown in FIG. 4(c).
  • the projection device 20 includes a timing section 22, and the projector control section 21 receives a timing signal from the timing section 22 to determine the light emission timing of the light source 31 of the rear projector RP, that is, the light emission timing of the rear projector RP.
  • the light emission timings of the first LED 311 to the third LED 313 can be controlled simultaneously or individually. Therefore, when the first LED 311 to the third LED 313 emit light at the same time, the notification pattern CP (CP1 to CP3) in FIG. 4(c) is integrally projected. Further, the first to third LEDs 311 to 313 emit light in this order, so that the first to third patterns CP1 to CP3 are projected in order, so-called sequential pattern projection.
  • the projector control section 21 is capable of intermittently controlling the light emission of the first LED 311 to the third LED 313 at a required cycle through control based on the timing section 22 . That is, projection control of each notification pattern CP in FIGS. 4A to 4C is performed intermittently at a required cycle.
  • This period is a period in which the non-projection state of the notification pattern CP cannot be recognized due to the afterimage effect of the human eye, and the period in which the notification pattern CP appears to be continuously projected when viewed by a human. is.
  • a third party that is, a pedestrian or an occupant of another vehicle outside the vehicle CAR, can project the notification pattern CP onto the road surface.
  • the third party can recognize that the vehicle CAR moves in the direction of the notification pattern CP, and that the vehicle is reversing here, and communication between the vehicle and the third party can be established. , traffic safety is ensured.
  • the imaging device 10 includes a monitor control section 11, an image processing section 12, and a storage section 13, as shown in FIG.
  • the image processing unit 12 performs image processing for obtaining an image to be displayed on the monitor MO from the imaging signal captured by the rear camera RC. Further, it is possible to extract the entire acquired image or part of the image and store them in the storage unit 13 . In particular, it is possible to extract the image of the notification pattern CP projected by the rear projector RP from among the captured images. Since various image processing techniques have already been proposed for these image processing and image extraction techniques, detailed description thereof will be omitted here.
  • the monitor control unit 11 controls the image displayed on the monitor MO. For example, when the automobile CAR is parked while moving backwards as shown in FIG. It is possible to display the obtained image, that is, the image of the area including the rear road surface of the automobile CAR as shown in FIG. 5(b) on the monitor MO.
  • This image includes an image of the parking line PL as a reference line drawn (painted) on the road surface to guide a suitable parking position, and an image of the notification pattern CP projected by the rear projector RP. included.
  • the monitor control unit 11 calculates the backward direction of the vehicle CAR from the steering information of the steering device HA, and displays a guide pattern indicating the direction in which the vehicle moves backward, such as a guideline GL, on the monitor MO for driving assistance. is also possible.
  • the driver can view the image on the monitor MO and move the displayed guideline GL to the parking line PL.
  • the vehicle can be easily reversed to the desired parking position.
  • the monitor control unit 11 may be connected to an automatic driving device (not shown in FIG. 2) so that the position information of the parking line PL displayed on the monitor MO may be transmitted to the automatic driving device.
  • the automatic driving device can control the steering of the automobile based on the positional information of this parking line PL, and can also execute automatic driving control to guide the automobile to a desirable parking position.
  • the notification pattern CP imaged by the rear camera RC is also displayed on the monitor MO at the same time. That is, a linear parking line PL and a linear notification pattern CP similar thereto are simultaneously displayed.
  • the driver confuses the reporting pattern CP with the parking line PL, erroneously recognizes that the reporting pattern CP is the parking line PL, and attempts to match the guideline GL with the reporting pattern CP. You may have to operate the steering wheel.
  • the monitor control unit 11 solves the driving support problem caused by misidentification of the notification pattern CP and the parking line PL.
  • control forms for solving this problem for example, the following control forms 1 to 3 are conceivable.
  • FIG. 6 is a flow chart of control mode 1
  • FIG. 7 is its timing chart.
  • the projector controller 21 of the projection device 20 controls the rear projector RP to project the notification pattern CP (S11).
  • the notification pattern CP For example, the first pattern CP1 to the third pattern CP3 are projected simultaneously.
  • This cycle is a cycle in which the non-projection state of the notification pattern CP cannot be recognized due to the afterimage effect of the human eye, as described above.
  • a third party can visually recognize the notification pattern CP as if it were continuously projected, and safety is ensured.
  • the imaging device 10 performs imaging with the rear camera RC (S12).
  • the image processing unit 12 performs image processing on the obtained imaging signal (S13).
  • image processing is executed in synchronization with the projection timing of the notification pattern CP based on the timing signal from the timing section 22 . That is, as shown in FIG. 7(c), the image processing unit 12 performs a process of removing an image (frame) captured at the timing of projecting the notification pattern CP. As a result, an image captured at the timing when the notification pattern CP is not projected is obtained.
  • the image processed by the image processing unit 12 is the image at the timing when the notification pattern CP is not projected by the rear projector RP.
  • the monitor control unit displays the image obtained by this process on the monitor (S14). Therefore, the image displayed on the monitor MO is an image in which the notification pattern CP is not printed.
  • FIG. 8(a) is an image captured when the notification pattern CP is projected
  • FIG. 8(b) is an image captured when the notification pattern CP is not projected. Therefore, when the monitor control unit 11 displays the guideline GL in addition to the image of FIG. The image and guideline GL are displayed together. Therefore, the driver who visually recognizes the monitor MO does not erroneously recognize that the notification pattern CP is the parking line PL. It can be driven into a parking position.
  • the imaging device 10 may control the imaging timing of the rear camera RC.
  • the imaging is performed at the timing shown in FIG. 7(c), which is different from the timing for projecting the notification pattern CP shown in FIG. 7(a). Therefore, the notification pattern CP is not projected at the time of imaging, and the notification pattern is not imprinted on the captured image.
  • the processing in the image processing section 12 can be simplified or omitted.
  • control mode 1 an example in which the first pattern CP1 to the third pattern CP3 of the notification pattern CP are projected simultaneously has been described. It is possible to control the case in the same way. In other words, image processing may be performed to remove the image captured at the timing when at least one of the first pattern CP1, the second pattern CP, and the third pattern CP3 is projected. Alternatively, imaging may be performed at a timing when at least one of the first pattern CP1, the second pattern CP, and the third pattern CP3 is not projected. Even in this case, the sequential projected notification pattern CP is not displayed on the monitor MO, and misrecognition by the driver is prevented, enabling suitable driving assistance. However, in this control mode 1, it is not necessarily easy to control the imaging timing and the image acquisition timing in the imaging device 10 . Therefore, in the present invention, the following control modes 2 and 3 are adopted.
  • FIG. 9 is a flow chart of control mode 2
  • FIG. 10 is a captured image or a monitor image.
  • the projector control unit 21 controls the rear projector RP in a place where at least the parking line is not drawn on the road surface, and projects the notification pattern CP on the road surface (S21).
  • the imaging device 10 performs imaging with the rear camera RC (S22).
  • the projected notification pattern CP is recorded in the captured image, as shown in FIG. 10(a).
  • the image processing unit 12 detects the captured image of the notification pattern CP (S23), and stores the image of the notification pattern CP in the storage unit 13 (S24).
  • This initial setting is performed by the automobile manufacturer or dealer. Alternatively, it may be done before the user starts driving the car.
  • the image is captured by the rear camera RC (S25).
  • the rear projector RP is also projecting the notification pattern (S26).
  • the image captured here is, for example, FIG. 10(b), in which the notification pattern CP and the parking line PL are captured.
  • the image processing unit 12 reads the image of the notification pattern stored in the storage unit 13 by default (S27). Then, image processing is performed to remove the read notification pattern image CP from the image captured this time (S28), and an image from which the notification pattern image CP has been removed is obtained. Then, the processed image is displayed on the monitor MO under the control of the monitor control unit 21 (S28). Therefore, the displayed image is an image from which the notification pattern CP is removed as shown in FIG. 10(c).
  • the monitor control unit 11 displays this image on the monitor MO, and at the same time, displays the guideline GL for driving support on the monitor MO similarly to the control mode 1 (S29 ). As described above, the guideline GL changes its display position on the monitor MO in accordance with the change in the moving direction of the automobile.
  • control mode 2 the same can be done when the notification pattern CP is projected sequentially.
  • a moving image is captured when the first pattern CP1 to the third pattern CP3 are sequentially projected, and this moving image is stored in the storage unit 13 as an image of the notification pattern CP.
  • the image processing unit 12 executes image processing for removing the image of the notification pattern CP stored in the storage unit 13 from the moving image captured by the rear camera RC. As a result, an image from which the sequential projected notification pattern CP is removed is displayed on the monitor MO.
  • the timing signal of the timing unit 22 is referenced to recognize the projection timing of the notification pattern CP, and the removal of the notification pattern CP is performed at the timing synchronized with this projection timing.
  • steps S21 to S23 of the initial setting for example, first, a first image captured without projection of the notification pattern and a second image captured with projection of the notification pattern are obtained. and the second image to obtain the notification pattern image. Also, at the time of this initial setting, the size of the projected notification pattern, for example, the length may be stored. Further, at this time, the shape of the notification pattern that is deformed according to the inclination state or unevenness of the road surface on which the notification pattern is projected may be stored, so that the accuracy can be improved.
  • FIG. 11 is a flow chart of control form 3, which can be said to be a modification of control form 2.
  • the initialization performed in control mode 2 is not performed.
  • the rear projector RP projects the notification pattern CP (S31).
  • an image is captured by the rear camera RC (S32).
  • the captured front image includes an image of the road surface of the parking lot, ie, the parking line PL, as well as the projected notification pattern CP. That is, the image is as shown in FIG. 8(a).
  • the image processing unit 12 stores this previous image in the storage unit 13 (S33). After a very short period of time as the vehicle moves backward, another image is taken, and the second image (second image) obtained here is further stored in the storage unit 13 (S34). Then, the image processing unit 12 compares the stored before and after images with each other, and extracts an image that matches between the two images (S35). As described in control mode 2, the position and shape of the image of the parking line PL captured by the rear camera RC changes as the vehicle moves backward, but the projected image of the notification pattern CP changes as the vehicle moves backward. is not changed. Therefore, when the front image and the rear image are compared, the matching image is the notification pattern CP.
  • the image processing unit 12 performs image processing to remove this extracted image, that is, the image of the notification pattern CP from the post-image, and acquires this removed image (S36).
  • This image is similar to the image shown in FIG. 8(b), and includes the parking line PL but does not include the notification pattern CP.
  • the monitor control unit 11 displays the obtained image on the monitor MO (S37), and also displays the guideline GL for driving support on the monitor MO (S38), as shown in FIG. 8(c).
  • This control is repeated at required time intervals as the car moves backward.
  • the image stored last becomes the subsequent image, and the image stored immediately before becomes the previous image.
  • the monitor MO displays an image behind the vehicle that sequentially changes as the vehicle moves backward, and also displays a guideline GL that changes as the vehicle moves backward. is never displayed. Therefore, the driver who visually recognizes the monitor MO can operate the steering wheel to appropriately align the guideline GL with the parking line PL without erroneously recognizing the parking line PL, and drive the automobile to a suitable parking position.
  • control mode 3 when the notification pattern CP is projected sequentially, the shape of the notification pattern CP in the previous image and the subsequent image may change over time. Therefore, in this case, as in the case of control mode 2, the timing signal of the timing unit 22 is referred to, and the change in shape of the notification pattern CP over time is predicted, and then the previous image and the subsequent image are compared. should be adopted.
  • control form 3 does not require initial settings prepared for removing the notification pattern CP.
  • the mounting attitude of the rear projector RP with respect to the vehicle body of the automobile is changed for some reason, and the projection position of the notification pattern CP with respect to the automobile is changed from the initial position, that is, when the image of the notification pattern CP projected onto the image is changed. Even when the initial state is changed, it can be handled appropriately.
  • control modes 1 to 3 an image picked up by the rear camera is displayed on the monitor, and the driving support is performed when the driver steers backward while looking at the monitor.
  • the present invention can also be applied to driving assistance in which automatic driving control is performed based on an image processed by the image processing unit.
  • the parking line information correctly recognized in control modes 1 to 3 it becomes impossible for the automatic driving device to recognize the notification pattern as a parking line and guide the vehicle to a suitable parking position. Problems can be solved.
  • the driving assistance when the vehicle is driven backwards into the parking lot is explained. It is also possible to apply the present invention to the case of executing driving assistance based on the reference line.
  • driving assistance based on the reference line.
  • the lines may be confused with lanes that indicate lane divisions on the road. be.
  • the notification pattern is displayed when the vehicle starts from a stopped state or when the vehicle changes its traveling direction to the left or right, it may be confused with various lines drawn on the road surface in the neighboring area. be.
  • the projected notification pattern is not limited to the pattern shape described in the embodiment as long as it has a shape that may cause confusion with the parking line.
  • the present invention can be applied in cases where there is a risk of confusion between the drawn pattern and the projected notification pattern when performing driving assistance using a reference line drawn on the road surface.
  • imaging device 11 monitor control unit 12 image processing unit (image processing means) 13 storage unit (storage means) 20 projection device 21 projector control unit 22 timing unit 100 vehicle ECU (control device) RC rear camera (imaging device) RP rear projector (projection device) MO Monitor HA Handle device SL Shift lever

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

路面に報知パターンを投影する投影装置と、撮像装置を備えた車両において、報知パターンを除外した画像を取得することが可能な制御装置を提供する。自動車ＣＡＲの近傍領域に所要の報知パターン（ＣＰ）を投影する投影装置２０（リアプロジェクターＲＰ）と、自動車ＣＡＲの近傍領域を撮像するリアカメラＲＣを含む撮像装置１０とを備える。制御装置１００は、報知パターン（ＣＰ）が写し込まれていない画像を取得する画像処理手段１２を備える。取得した画像をモニターＭＯに表示する。あるいは、取得した画像に基づいて運転支援を行なう。

Description

車両の制御装置
　本発明は車両、例えば自動車の近傍の路面等を含む領域に自車両の挙動を報知するための報知パターンを投影する投影装置と、当該領域を撮像した所望の画像を得るための撮像装置を備えた車両の制御装置に関する。
　交通安全を図る目的で、自動車の挙動、例えば走行や停止の状態、あるいは走行方向等を歩行者や他車両等の第三者に報知するための報知パターンを路面に投影する投影装置を備えた車両が提案されている。特許文献１は、自動車に搭載したプロジェクター等の投影装置により、自車両の前方路面や後方路面に所要の図柄からなる報知パターンを投影する技術である。この報知パターンを第三者が視認することにより、第三者は当該自動車の挙動を認識することができ、自動車との接触を未然に回避することが可能になる。
　また、一方で自動車の周囲を撮像装置で撮像した画像をモニターに表示し、運転者が当該画像を視認することにより交通安全を確保する技術も提案されている。特許文献２には、撮像した画像を処理して所望の画像を取得する画像処理技術が提案されている。
特開２０２０－５５５１９号公報 特開２０１９－２１９８１６号公報
　前記したような交通安全のための投影装置や撮像装置を備える自動車では、撮像した画像に路面に投影された報知パターンが写し込まれることがある。そのため、投影した報知パターンと、路面に描画（ペイント）されている各種ライン、例えば駐車ラインがモニターに同時に表示されることになり、運転者がモニターを視認したときに、運転者は報知パターンを駐車ラインであるとして誤認することがある。
　例えば、自動車が後退しながら駐車するような場合に、撮像した画像に報知パターンが写し込まれると、当該報知パターンを路面に描画された駐車ラインと誤認するおそれがあり、運転者は自動車を正しい位置に移動させて駐車することができない場合がある。
　本発明の目的は、路面に報知パターンを投影する投影装置を備えた車両において、近傍領域を撮像したときに報知パターンが写し込まれることがない所望の画像を得ることを可能にした車両の制御装置を提供する。
　本発明は、自車両の近傍領域に所要の報知パターンを投影する投影装置と、自車両の近傍領域を撮像する撮像装置を備える車両において、撮像した画像から前記報知パターンを除去した画像を取得する制御装置であって、投影された報知パターンを記憶手段に記憶するとともに、撮像した画像から記憶手段に記憶されている報知パターンを除去する画像処理手段を備える。
　本発明において、画像処理手段は、初期設定として予め投影された報知パターンを撮像した画像を報知パターンとして記憶手段に記憶する。あるいは、画像処理手段は、報知パターンを投影しない状態で撮像した第１画像と、報知パターンが投影された状態で撮像した第２画像との差をとり、この差分の画像を報知パターンとして記憶手段に記憶する。あるいは、画像処理手段は、所定位置で報知パターンを投影し、当該位置での自車両の近傍領域を撮像した第１画像と、所定位置から移動した自車両の近傍領域を撮像した第２画像とを比較し、これら第１画像と第２画像の一致する画像を報知パターンとして記憶手段に記憶する。
　本発明においては、例えば、投影装置は自車両の近傍領域に報知パターンを投影するプロジェクターを備え、撮像装置は自車両の近傍領域を撮像するカメラを備え、当該カメラは報知パターンと近傍領域に描画されている基準ラインを撮像し、画像処理手段は当該報知パターンを除去した画像を取得する。この場合において、投影装置は自車両の後方領域に報知パターンを投影し、撮像装置は自車両の後方領域に存在する駐車場を撮像し、記基準ラインは当該駐車場での駐車位置を示すための駐車ラインである。
　本発明は、さらに、画像処理手段で取得した画像を表示するモニターを備え、当該モニターには運転者に対して自車両の移動を誘導するためのガイドラインを表示する構成とすることが好ましい。
　本発明によれば、報知パターンを投影する投影装置を備えた車両において、当該報知パターンを含む領域を撮像装置で撮像しても報知パターンを除外した所望の画像を取得することができる。
本発明の制御装置を装備した自動車を後方から見た模式的斜視図。 制御装置を含むブロック構成図。 （ａ）リアプロジェクターの概略構成図、（ｂ）報知パターンの投影状態を示す光学図。 報知パターンの投影の形態を示す図。 自動車の駐車時の、（ａ）概略平面図、（ｂ）モニター表示画像。 制御形態１のフロー図。 制御形態１のタイミング図。 制御形態１のモニター表示画像。 制御形態２のフロー図。 制御形態２の撮像した画像若しくはモニター表示画像。 制御形態３のフロー図。
　次に、本発明の実施の形態について図面を参照して説明する。図１は本発明の制御装置を装備した自動車ＣＡＲを後方から見た模式的斜視図である。自動車ＣＡＲの車体後部の左右にそれぞれリアコンビネーションランプＲＣＬが配設されている。これらリアコンビネーションランプＲＣＬの一方、ここでは左コンビネーションランプの一部にリアプロジェクターＲＰが一体に設けられている。このリアプロジェクターＲＰは、詳細については後述するが、動作されたときに自動車ＣＡＲの後方の路面に所要の図柄あるいは線状をした報知パターンＣＰを投影する投影装置の一部として構成される。
　前記自動車ＣＡＲの車体後部のトランクリッドの一部には、リアカメラ（バックカメラ）ＲＣが配設されており、自動車ＣＡＲの後方領域、特に後方の路面を含む領域Ａを撮像する。このリアカメラＲＣはライセンスプレートの上部に配設されてもよく、あるいは自動車ＣＡＲの車室内のリアウインドの上部位置に配設されてもよい。また、自動車ＣＡＲの車室内のダッシュボードには、運転席に対向する位置にモニターＭＯが配設されており、そのモニター画面に表示された画像を運転者が視認することができるように構成されている。このモニターＭＯは本発明の制御装置を構成する車両ＥＣＵ（電子制御ユニット）１００に接続されているが、この車両ＥＣＵ１００には自動車ＣＡＲのハンドル装置ＨＡとシフトレバーＳＬのそれぞれの操作状態を検出するセンサー（図示せず）が接続されている。これらリアカメラＲＣ、モニターＭＯ、センサーは、後述するように運転支援装置１０の一部として構成される。
　図２はブロック構成図であり、図１に示した各部位に対応する部位には同一符号を付してある。制御装置は前記車両ＥＣＵ１００で構成されており、撮像装置１０と投影装置２０を備えている。なお、この車両ＥＣＵ１００に代えて、ランプに設けられたランプＥＣＵ（カメラと投影装置とランプユニットが一体となったランプを統括して制御するＥＣＵ）、あるいは車体に設けられるリアゾーン一体のＥＣＵ（後ろ周りのランプ、センサー、ワイパー等の電子機器を統括して制御するＥＣＵ）で構成されてもよい。車両ＥＣＵ１００には前記リアカメラＲＣの撮像信号が入力されるとともに、自動車の運転状態を示す運転情報が入力される。この運転情報として、ハンドル装置ＨＡからの進行方向（後退方向）を示す操舵情報と、自動車が後退する際に運転者により操作されるシフトレバーＳＬからの後退情報が入力される。また、このシフトレバーＳＬからの後退情報は前記投影装置２０にも入力される。
　前記投影装置２０はプロジェクター制御部２１を備えている。このプロジェクター制御部２１は入力された後退情報に基づいて前記リアプロジェクターＲＰを制御し、自動車ＣＡＲが後退する際に後方路面に報知パターンＣＰを投影させる。
　前記リアプロジェクターＲＰは、図３（ａ）に概略構成を示すように、ハウジング３０内に光源３１、パターンマスク３２、投影レンズ３３が組み込まれている。光源３１は、光源基板３１０に上側から下側に向けてそれぞれ白色光を発光する３個のＬＥＤ（発光ダイオード）３１１～３１３が搭載されている。ここでは、上側から順に第１ＬＥＤ３１１～第３ＬＥＤ３１３と称する。前記パターンマスク３２は、非透光基板３２０に、前記ＬＥＤ３１１～３１３に対応してそれぞれ一辺の長さが相違する３個の矩形の透光窓３２１～３２３が開口されている。ここでは、上側から順に第１透光窓３２１～第３透光窓３２３と称する。これらの透光窓３２１～３２３には、例えば光を拡散透過する乳白色板が配設されてもよい。このパターンマスク３２は投影レンズ３３の焦点の後方位置で、かつ光軸Ｌｘに対して所要のチルト角を持って配設されている。なお、チルト角を持たせない場合には、投影位置が遠方になるほど投影長さが長くなるので、第１透光窓３２１～第３透光窓３２３の一辺の長さは等しくてもよい。
　このリアプロジェクターＲＰは、図３（ｂ）に示すように、第１ＬＥＤ３１１～第３ＬＥＤ３１３が発光したときにはパターンマスク３２の第１透光窓３２１～第３透光窓３２３の実像を第１パターンＣＰ１～第３パターンＣＰ３として自動車の後方路面に合焦状態に投影する。図１に示したように、これら第１パターンＣＰ１～第３パターンＣＰ３で前記報知パターンＣＰが投影される。
　報知パターンＣＰの投影形態は、図４に示すように、第１ＬＥＤ３１１が発光されたときには、図４（ａ）のように、第１透光窓３２１により自動車の後方の最も近い位置に第１パターンＣＰ１が投影される。次いで、第２ＬＥＤ３１２が発光されると、図４（ｂ）のように、第２透光窓３２２による第２パターンＣＰが第１パターンＣＰ１の後方位置に投影される。さらに、第３ＬＥＤ３１３が発光されると、図４（ｃ）のように、第３透光窓３２３による第３パターンＣＰ３が第２パターンＣＰ２の後方位置に投影される。
　さらに、図２に示したように、前記投影装置２０はタイミング部２２を備えており、プロジェクター制御部２１はこのタイミング部２２からのタイミング信号を受けてリアプロジェクターＲＰの光源３１の発光タイミング、すなわち第１ＬＥＤ３１１～第３ＬＥＤ３１３の発光タイミングを同時にあるいは個別に制御することが可能とされている。したがって、第１ＬＥＤ３１１～第３ＬＥＤ３１３が同時に発光されたときには、図４（ｃ）の報知パターンＣＰ（ＣＰ１～ＣＰ３）が合一的に投影される。また、第１ＬＥＤ３１１～第３ＬＥＤ３１３がこの順序で発光されることにより、第１パターンＣＰ１～第３パターンＣＰ３が順序的に投影され、いわゆるシーケンシャルパターンの投影が行われる。
　さらに、プロジェクター制御部２１は、タイミング部２２に基づく制御により、第１ＬＥＤ３１１～第３ＬＥＤ３１３の発光を所要の周期で断続的に発光制御することが可能とされている。すなわち、図４（ａ）～（ｃ）の各報知パターンＣＰを所要の周期で断続的に投影制御する。この周期は、人間の眼の残像効果により報知パターンＣＰが非投影の状態を認識することができない周期であり、人間が視認したときに報知パターンＣＰが連続して投影されているように見える周期である。
　このように、リアプロジェクターＲＰにより自動車の近傍領域の路面に報知パターンＣＰの投影が行われると、第三者、すなわち自動車ＣＡＲの外部に存在する歩行者や他車両の乗員等がこの報知パターンＣＰを視認することにより、第三者は当該自動車ＣＡＲが報知パターンＣＰの方向に移動すること、ここでは自動車が後退することを認識することができ、自動車と第三者との間のコミュニケーションがとれ、交通安全が確保される。
　一方、前記撮像装置１０は、図２に示したように、モニター制御部１１と画像処理部１２と記憶部１３を備えている。画像処理部１２は、リアカメラＲＣで撮像した撮像信号からモニターＭＯに表示する画像を取得するための画像処理を行なう。また、取得した画像の全体、あるいは画像の一部を抽出し、これらを記憶部１３に記憶させることが可能とされている。特に、撮像した画像のうち、リアプロジェクターＲＰにより投影された報知パターンＣＰの画像を抽出することが可能とされている。これらの画像処理や画像抽出の手法については既に種々の画像処理手法が提案されているので、ここでは詳細な説明は省略する。
　モニター制御部１１は、前記モニターＭＯに表示する画像を制御する。例えば、図５（ａ）のように自動車ＣＡＲが後退しながら駐車する状況のとき、シフトレバーＳＬからの後退情報が入力されると、モニター制御部１１は、基本的にはリアカメラＲＣで撮像された画像、すなわち図５（ｂ）のような自動車ＣＡＲの後方路面を含む領域の画像をモニターＭＯに表示することが可能とされている。この画像には、好適な駐車位置をガイドするために路面に描画されている（ペイントされている）基準ラインとしての駐車ラインＰＬの画像と、リアプロジェクターＲＰで投影された報知パターンＣＰの画像が含まれる。
　さらに、モニター制御部１１は、運転支援のために、ハンドル装置ＨＡの操舵情報から自動車ＣＡＲの後退方向を演算し、自動車が後退する方向を示すガイドパターン、例えばガイドラインＧＬをモニターＭＯに表示することも可能とされている。
　このように、モニター制御部１１によりモニターＭＯに自動車の後方路面を含む画像と共にガイドラインＧＬが表示されると、運転者はモニターＭＯの画像を視認しながら表示されているガイドラインＧＬを駐車ラインＰＬに一致させるように、あるいはガイドラインＧＬが駐車ラインＰＬで挟まれた領域に入れるようにハンドル操作を行うことにより、自動車を好ましい駐車位置に後退させることが容易になる。
　なお、モニター制御部１１を図２には示していない自動運転装置に接続し、モニターＭＯに表示した駐車ラインＰＬの位置情報を自動運転装置に送信するようにしてもよい。このようにすれば、自動運転装置はこの駐車ラインＰＬの位置情報に基づいて自動車の操舵を制御し、自動車を好ましい駐車位置に誘導する自動運転制御を実行させることもできる。
　ところで、図５（ａ）に示したように、自動車の後退時にリアプロジェクターＲＰにより後方路面に線状の報知パターン（第１パターン～第３パターン）ＣＰを投影していると、図５（ｂ）に示したように、モニターＭＯにはリアカメラＲＣで撮像した報知パターンＣＰも同時に表示される。すなわち、線状をした駐車ラインＰＬと、これに類似した線状の報知パターンＣＰが同時に表示される。このような表示が行なわれると、運転者は報知パターンＣＰと駐車ラインＰＬとを混同し、報知パターンＣＰが駐車ラインＰＬであると誤認識し、報知パターンＣＰに対してガイドラインＧＬを合わせようとハンドル操作を行ってしまうことがある。
　また、自動運転制御において、モニター制御部１１から駐車ラインＰＬと報知パターンＣＰの位置情報を送出する際に、これら駐車ラインＰＬと報知パターンＣＰを混同してしまい、駐車ラインＰＬの正確な位置情報を出力することが困難になる。そのため、自動運転装置において、正確な駐車ラインＰＬの認識に基づく駐車位置への自動誘導を行うことができなくなる。
　このような課題に対し、この運転支援システムでは、モニター制御部１１において、報知パターンＣＰと駐車ラインＰＬの誤認により生じる運転支援の課題を解決する。この課題の解決の制御形態として、例えば、次の制御形態１～３が考えられる。
（制御形態１）
　図６は制御形態１のフロー図であり、図７はそのタイミング図である。投影装置２０のプロジェクター制御部２１においてリアプロジェクターＲＰを制御し、報知パターンＣＰを投影する（Ｓ１１）。例えば、第１パターンＣＰ１～第３パターンＣＰ３を同時に投影する。この投影に際しては、タイミング部２２からのタイミング信号に基づいて、図７（ａ）のように、所要の周期で断続的に投影する。この周期は、前記したように人間の眼の残像効果により報知パターンＣＰが非投影の状態を認識することができない周期である。これにより、第三者は報知パターンＣＰが連続して投影されているように視認でき、安全性が確保される。
　一方、撮像装置１０はリアカメラＲＣにより撮像を行う（Ｓ１２）。この例では、図７（ｂ）のように、経時的に連続した撮像を行なう。そして、画像処理部１２は得られた撮像信号を画像処理する（Ｓ１３）。この画像処理ではタイミング部２２のタイミング信号に基づいて報知パターンＣＰの投影タイミングに同期した画像処理を実行する。すなわち、図７（ｃ）のように、画像処理部１２は報知パターンＣＰを投影したタイミング時に撮像した画像（フレーム）を除去する処理を行なう。これにより、報知パターンＣＰを投影していないタイミング時に撮像した画像が得られる。
　このように、リアカメラＲＣにおいて連続的に撮像を行なっていても、画像処理部１２において処理された画像は、リアプロジェクターＲＰで報知パターンＣＰが投影されていないタイミングの画像となる。モニター制御部は、この処理により得られた画像をモニターに表示する（Ｓ１４）。したがって、モニターＭＯに表示される画像は報知パターンＣＰが写し込まれていない画像となる。
　因みに、図８（ａ）は報知パターンＣＰが投影された時に撮像したときの画像であり、図８（ｂ）は報知パターンＣＰが投影されない時に撮像した画像である。したがって、モニター制御部１１において図８（ｂ）の画像に加えてガイドラインＧＬを合せて表示すると、モニターＭＯには、図８（ｃ）のように、報知パターンＣＰが除去された駐車ラインＰＬの画像とガイドラインＧＬが合せて表示される。したがって、モニターＭＯを視認した運転者は報知パターンＣＰが駐車ラインＰＬであると誤認識することはなく、運転者はガイドラインＧＬを正しく駐車ラインＰＬに対して合わせるハンドル操作を行い、自動車を好適な駐車位置に運転させることができる。
　この制御形態１では、図示は省略するが、撮像装置１０においてリアカメラＲＣの撮像タイミングを制御するようにしてもよい。この場合には、図７（ａ）に示した報知パターンＣＰを投影するタイミングと異なるタイミング、すなわち図７（ｃ）に示したタイミングで撮像を行なうことになる。したがって、撮像時には報知パターンＣＰは投影されておらず、撮像した画像に報知パターンが写し込まれることはない。この形態では、画像処理部１２における処理が簡略化ないし省略できる。
　制御形態１では、報知パターンＣＰの第１パターンＣＰ１～第３パターンＣＰ３を同時に投影した例を説明したが、前記したように第１パターンＣＰ１～第３パターンＣＰ３を順序的に投影するシーケンシャル投影の場合についても同様にして制御することは可能である。すなわち、少なくとも第１パターンＣＰ１、第２パターンＣＰ、第３パターンＣＰ３のいずれかが投影されているタイミング時に撮像された画像を除去する画像処理を行なうようにすればよい。あるいは、少なくとも第１パターンＣＰ１、第２パターンＣＰ、第３パターンＣＰ３のいずれかが投影されていないタイミング時に撮像を行なうようにすればいい。この場合においても、モニターＭＯにはシーケンシャル投影された報知パターンＣＰが表示されることはなく、運転者による誤認が防止され、好適な運転支援が可能になる。しかし、この制御形態１は、撮像装置１０での撮像タイミングや画像取得タイミングの制御が必ずしも容易ではない。そこで、本発明においては、次の制御形態２，３を採用している。
（制御形態２）
　図９は制御形態２のフロー図であり、図１０は撮像した画像もしくはモニター画像である。先ず、初期設定を実行する。この初期設定は、路面に少なくとも駐車ラインが描画されていない場所でプロジェクター制御部２１によりリアプロジェクターＲＰを制御し、路面に報知パターンＣＰを投影する（Ｓ２１）。次いで、撮像装置１０はリアカメラＲＣでの撮像を行なう（Ｓ２２）。この撮像された画像には、図１０（ａ）のように、投影されている報知パターンＣＰが写し込まれている。そして、画像処理部１２は撮像された報知パターンＣＰの画像を検出し（Ｓ２３）、この報知パターンＣＰの画像を記憶部１３に記憶する（Ｓ２４）。この初期設定は、自動車のメーカやデーラにおいて行なわれる。あるいは、ユーザが自動車の運転を開始する前に行なうようしてもよい。
　初期設定が行なわれた自動車が後退駐車する際には、リアカメラＲＣによる撮像が行なわれる(Ｓ２５)。また、このときリアプロジェクターＲＰでの報知パターンの投影も行なわれている（Ｓ２６）。ここで撮像された画像は、例えば図１０（ｂ）であり、報知パターンＣＰと駐車ラインＰＬが撮像される。
　次いで、画像処理部１２は、初期設定によって記憶部１３に記憶されている報知パターンの画像を読み出す（Ｓ２７）。そして、今回撮像した画像からこの読み出した報知パターン画像ＣＰを除去する画像処理を実行し（Ｓ２８）、報知パターン画像ＣＰが除去された画像を取得する。その上で、モニター制御部２１での制御により、画像処理された画像がモニターＭＯに表示される（Ｓ２８）。したがって、表示される画像は、図１０（ｃ）のように報知パターンＣＰが除去された画像となる。
　ここで、駐車時にリアカメラＲＣで撮像される画像は、自動車の後退に伴って画像中での位置や形状が変化されるが、路面に投影される報知パターンＣＰはリアカメラＲＣに対して相対位置が一定である。したがって、初期設定により記憶部１３に記憶された報知パターンＣＰは、撮像した画像中の一定の位置及び形状の画像であり、自動車の後退によっても変化されることはない。したがって、報知パターンＣＰのみを除去した画像を取得することができる。モニター制御部１１は、図１０（ｄ）のように、この画像をモニターＭＯに表示に表示するのと同時に、制御形態１と同様に運転支援のためのガイドラインＧＬをモニターＭＯに表示する（Ｓ２９）。このガイドラインＧＬは、自動車の移動方向の変化に追従してモニターＭＯでの表示位置が変化されることは前記したとおりである。
　このように、モニターＭＯには報知パターンＣＰが除去された画像、ここでは駐車ラインＰＬとガイドラインＧＬのみが表示されることになり、モニターＭＯを視認した運転者が報知パターンＣＰを駐車ラインＰＬであると誤認識することはない。運転者はモニターＭＯに表示されるガイドラインＧＬを正しく駐車ラインＰＬに対して合わせるハンドル操作を行うことで、自動車を好適な駐車位置に運転させることができる。
　制御形態２では、報知パターンＣＰをシーケンシャルで投影する場合についても同様に行なうことができる。例えば、初期設定に際しては、第１パターンＣＰ１～第３パターンＣＰ３を順序的に投影したときの動画を撮像し、この動画を報知パターンＣＰの画像として記憶部１３に記憶する。画像処理部１２は、リアカメラＲＣで撮像した動画から、記憶部１３に記憶されている報知パターンＣＰの画像を除去する画像処理を実行する。これにより、モニターＭＯにはシーケンシャル投影された報知パターンＣＰを除去した画像が表示される。なお、報知パターンＣＰを除去する際には、タイミング部２２のタイミング信号を参照することで、報知パターンＣＰの投影タイミングを認知し、この投影タイミングに同期したタイミングで報知パターンＣＰの除去を行なうようにすればよい。
　なお、初期設定のステップＳ２１～Ｓ２３においては、例えば、最初に報知パターンを投影しない状態で撮像した第１画像と、報知パターンを投影した状態で撮像した第２画像を取得し、これら第１画像と第２画像の差分を検出することよって報知パターンの画像を取得するようにしてもよい。また、この初期設定に際しては、投影された報知パターンの寸法、例えば長さを記憶させるようにしてもよい。また、この際には、報知パターンが投影された路面の傾斜状態や凹凸に伴って変形される報知パターンの形状を記憶させるようにしてもよく、精度を高めることができる。
（制御形態３）
　図１１は制御形態３のフロー図であり、制御形態２の変形例と言えるものである。制御形態３では、制御形態２で行なった初期設定は行なわない。自動車を運転し、実際に駐車場に後退駐車する際に、リアプロジェクターＲＰでの報知パターンＣＰの投影を実行する（Ｓ３１）。また、同時にリアカメラＲＣでの撮像を行なう（Ｓ３２）。この撮像された前画像（第１画像）には駐車場の路面の画像、すなわち駐車ラインＰＬとともに、投影されている報知パターンＣＰが写し込まれている。すなわち、図８（ａ）に示したような画像である。
　画像処理部１２は、この前画像を記憶部１３に記憶する（Ｓ３３）。そして、自動車の後退に伴う極短時間後に、再度の撮像を行ない、ここで得られた後画像（第２画像）をさらに記憶部１３に記憶する（Ｓ３４）。そして、画像処理部１２は、記憶された前画像と後画像を相互に比較し、両画像で一致している画像を抽出する（Ｓ３５）。制御形態２において説明したように、リアカメラＲＣで撮像される駐車ラインＰＬの画像の位置や形状は自動車の後退に伴って変化されるが、投影される報知パターンＣＰの画像は自動車の後退によっても変化されない。したがって、前画像と後画像を比較したときに両画像において一致している画像は報知パターンＣＰとなる。
　画像処理部１２は、この抽出した画像、すなわち報知パターンＣＰの画像を後画像から除去する画像処理を行ない、この除去処理した画像を取得する（Ｓ３６）。この画像は、図８（ｂ）に示した画像と同様であり、駐車ラインＰＬは含まれるが報知パターンＣＰは含まれない。モニター制部１１は、この取得された画像をモニターＭＯに表示するとともに（Ｓ３７）、図８（ｃ）に示したと同様に、運転支援のためのガイドラインＧＬをモニターＭＯに表示する（Ｓ３８）。
　この制御を自動車の後退移動に伴って所要の時間間隔で繰り返す。この繰り返しに際しては、最後に記憶した画像が後画像となり、その直前に記憶した画像が前画像となる。これにより、モニターＭＯには自動車の後退移動に伴って順次変化する自動車の後方の画像が表示され、また自動車の後退に際しての操舵に伴って変化されるガイドラインＧＬも表示されるが、報知パターンＣＰは表示されることはない。したがって、モニターＭＯを視認した運転者は、駐車ラインＰＬを誤認識することなくガイドラインＧＬを駐車ラインＰＬに対して適切に合わせるハンドル操作を行い、自動車を好適な駐車位置に運転させることができる。
　なお、この制御形態３では、報知パターンＣＰをシーケンシャルに投影した場合には、時間の経過に伴って前画像と後画像における報知パターンＣＰの形状が変化されることがある。したがって、この場合には、制御形態２と同様に、タイミング部２２のタイミング信号を参照して報知パターンＣＰの経時的な形状変化を予測した上で前画像と後画像を比較するような手法を採用すればよい。
　制御形態３は、制御形態２に比較すると、報知パターンＣＰを除去するために準備される初期設定が不要である。また、自動車の車体に対するリアプロジェクターＲＰの取り付け姿勢が何らかの理由によって変化され、自動車に対する報知パターンＣＰの投影位置が初期位置から変化されたような場合、すなわち画像に写し込まれる報知パターンＣＰの画像が初期状態か変化される場合にも適切に対応できる。
　以上の制御形態１～３は、リアカメラで撮像した画像をモニターに表示し、運転者がモニターを見ながら後退操舵する場合の運転支援について説明したが、前記したようにリアカメラで撮像し、かつ画像処理部において画像処理した画像に基づいて自動運転制御を行なう運転支援についても本発明を適用することができる。すなわち、制御形態１～３において正しく認識した駐車ラインの情報を利用することにより、自動運転装置において報知パターンを駐車ラインであると認識して好適な駐車位置への誘導を行うことができなくなるという課題が解決できる。
　以上の説明は、自動車を駐車場に後退運転する際の運転支援について説明したが、自動車の前方や側方の領域の路面に報知パターンを投影するとともに、この領域を撮像した画像に写し込まれた基準ラインに基づいて運転支援を実行するような場合にも本発明を適用することは可能である。例えば、自動車が前方に走行する場合に、自動車の車幅を示すために報知パターンとして左右に平行なラインを表示したときに、当該ラインを道路の車線区分を示す車線と混同するような場合である。あるいは、自動車が停止状態から発進する場合、自動車が左右に進行方向を変更する場合にそれぞれ報知パターンを表示する場合に、近傍領域の路面に描画されている各種のラインと混同するような場合である。
　本発明において、投影する報知パターンは、駐車ラインと混同を生じるおそれがある形状であれば、実施形態に記載のパターン形状に限られるものではない。あるいは、路面に描画された基準ラインを利用して運転支援を行なう場合に、この描画パターンが投影された報知パターンと混同を生じるおそれがある場合においては本発明を適用することができる。
　本国際出願は、２０２１年７月１９日に出願された日本国特許出願である特願２０２１－１１８６５０号に基づく優先権を主張するものであり、当該日本国特許出願である特願２０２１－１１８６５０号の全内容は、本国際出願に援用される。
　本発明の特定の実施の形態についての上記説明は、例示を目的として提示したものである。それらは、網羅的であったり、記載した形態そのままに本発明を制限したりすることを意図したものではない。数多くの変形や変更が、上記の記載内容に照らして可能であることは当業者に自明である。
１０　撮像装置
１１　モニター制御部
１２　画像処理部（画像処理手段）
１３　記憶部（記憶手段）
２０　投影装置
２１　プロジェクター制御部
２２　タイミング部
１００　車両ＥＣＵ（制御装置）
ＲＣ　リアカメラ（撮像装置）
ＲＰ　リアプロジェクター（投影装置）
ＭＯ　モニター
ＨＡ　ハンドル装置
ＳＬ　シフトレバー 

Claims (8)

  1. 　自車両の近傍領域に所要の報知パターンを投影する投影装置と、自車両の近傍領域を撮像する撮像装置を備える車両において、撮像した画像から前記報知パターンを除去した画像を取得する制御装置であって、投影された報知パターンを記憶手段に記憶するとともに、撮像した画像から前記記憶手段に記憶されている報知パターンを除去する画像処理手段を備えることを特徴とする車両の制御装置。
  2. 　前記画像処理手段は、初期設定として予め投影された報知パターンを撮像した画像を報知パターンとして記憶手段に記憶する請求項１に記載の車両の制御装置。
  3. 　前記画像処理手段は、報知パターンを投影しない状態で撮像した第１画像と、報知パターンが投影された状態で撮像した第２画像との差をとり、この差分の画像を報知パターンとして記憶手段に記憶する請求項１に記載の車両の制御装置。
  4. 　前記画像処理手段は、所定位置で報知パターンを投影し、当該位置での自車両の近傍領域を撮像した第１画像と、所定位置から移動した自車両の近傍領域を撮像した第２画像とを比較し、これら第１画像と第２画像の一致する画像を報知パターンとして記憶手段に記憶する請求項１に記載の車両の制御装置。
  5. 　前記投影装置は自車両の近傍領域に報知パターンを投影するプロジェクターを備え、前記撮像装置は自車両の近傍領域を撮像するカメラを備え、当該カメラは前記報知パターンと前記近傍領域に描画されている基準ラインを撮像し、前記画像処理手段は当該報知パターンを除去した画像を取得する請求項２ないし４のいずれかに記載の車両の制御装置。
  6. 　前記投影装置は自車両の後方領域に報知パターンを投影し、前記撮像装置は自車両の後方領域に存在する駐車場を撮像し、前記基準ラインは当該駐車場での駐車位置を示すための駐車ラインである請求項５に記載の車両の制御装置。
  7. 　前記報知パターンは直線状のパターンであり、前記駐車ラインは直線ラインである請求項６に記載の車両の制御装置。
  8. 　前記画像処理手段で取得した画像を表示するモニターを備え、当該モニターには運転者に対して自車両の移動を誘導するためのガイドラインを表示する請求項５ないし７のいずれかに記載の車両の制御装置。
PCT/JP2022/025761 2021-07-19 2022-06-28 車両の制御装置 WO2023002813A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280040340.XA CN117460656A (zh) 2021-07-19 2022-06-28 车辆的控制装置
EP22845749.5A EP4375157A1 (en) 2021-07-19 2022-06-28 Control device for vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021118650A JP2023014606A (ja) 2021-07-19 2021-07-19 車両の制御装置
JP2021-118650 2021-07-19

Publications (1)

Publication Number Publication Date
WO2023002813A1 true WO2023002813A1 (ja) 2023-01-26

Family

ID=84979933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025761 WO2023002813A1 (ja) 2021-07-19 2022-06-28 車両の制御装置

Country Status (4)

Country Link
EP (1) EP4375157A1 (ja)
JP (1) JP2023014606A (ja)
CN (1) CN117460656A (ja)
WO (1) WO2023002813A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120572A1 (en) * 2011-11-14 2013-05-16 Hyundai Mobis Co., Ltd. Parking assistance system using projector and method thereof
JP2013186668A (ja) * 2012-03-07 2013-09-19 Clarion Co Ltd 車両周囲監視装置
WO2016163294A1 (ja) * 2015-04-10 2016-10-13 日立マクセル株式会社 映像投射装置
US20180029641A1 (en) * 2016-08-01 2018-02-01 Magna Electronics Inc. Parking assist system using light projections
JP2019196065A (ja) * 2018-05-09 2019-11-14 クラリオン株式会社 自動駐車制御装置、及び自動駐車制御システム
JP2019219816A (ja) 2018-06-18 2019-12-26 株式会社小糸製作所 画像処理装置および車両用灯具
WO2020036108A1 (ja) * 2018-08-15 2020-02-20 株式会社小糸製作所 車両用表示システム及び車両
JP2020055519A (ja) 2018-09-28 2020-04-09 株式会社小糸製作所 車両の発進通知表示装置。
JP2021118650A (ja) 2020-01-28 2021-08-10 古河電気工業株式会社 一体化ハーネスの配索方法、一体化ハーネスの梱包方法、及び収納袋
JP7031799B1 (ja) * 2021-03-08 2022-03-08 三菱電機株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120572A1 (en) * 2011-11-14 2013-05-16 Hyundai Mobis Co., Ltd. Parking assistance system using projector and method thereof
JP2013186668A (ja) * 2012-03-07 2013-09-19 Clarion Co Ltd 車両周囲監視装置
WO2016163294A1 (ja) * 2015-04-10 2016-10-13 日立マクセル株式会社 映像投射装置
US20180029641A1 (en) * 2016-08-01 2018-02-01 Magna Electronics Inc. Parking assist system using light projections
JP2019196065A (ja) * 2018-05-09 2019-11-14 クラリオン株式会社 自動駐車制御装置、及び自動駐車制御システム
JP2019219816A (ja) 2018-06-18 2019-12-26 株式会社小糸製作所 画像処理装置および車両用灯具
WO2020036108A1 (ja) * 2018-08-15 2020-02-20 株式会社小糸製作所 車両用表示システム及び車両
JP2020055519A (ja) 2018-09-28 2020-04-09 株式会社小糸製作所 車両の発進通知表示装置。
JP2021118650A (ja) 2020-01-28 2021-08-10 古河電気工業株式会社 一体化ハーネスの配索方法、一体化ハーネスの梱包方法、及び収納袋
JP7031799B1 (ja) * 2021-03-08 2022-03-08 三菱電機株式会社 画像処理装置、画像処理方法、及び、画像処理プログラム

Also Published As

Publication number Publication date
JP2023014606A (ja) 2023-01-31
EP4375157A1 (en) 2024-05-29
CN117460656A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
EP1862354B1 (en) Driving assist method and driving assist apparatus
KR101760995B1 (ko) 차량의 운전 지원 장치
JP5680573B2 (ja) 車両の走行環境認識装置
JP6169364B2 (ja) 車両の運転支援装置
JP2014531358A (ja) 自律的、乃至、部分自律的運転マヌーバを実施するための車載アシスタント・システム用の方法、並びに、装置
JP4092956B2 (ja) 車載運転支援装置
CN110869940B (zh) 控制位于行车道上的机动车的像素大灯的方法
CN110087948B (zh) 包括用于生成图像标识的照明模块的机动车
JP2008222153A (ja) 合流支援装置
CN108702488B (zh) 投影型显示装置、投影显示方法、计算机可读取存储介质
JP5082923B2 (ja) 車両障害物検出装置
JP2017502584A (ja) ヘッドライトフラッシャーの検知後に自動車の後方視野用カメラシステムを操作する方法、後方視野用カメラシステムおよび自動車
JP6416976B2 (ja) 車両の運転支援装置
JP6285203B2 (ja) 車両の空中像表示装置
JP4688196B2 (ja) 自動車用暗視システム
WO2023002813A1 (ja) 車両の制御装置
JP4062145B2 (ja) 撮像装置
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP4999653B2 (ja) 車両用ランプ制御システム
JP5119675B2 (ja) 車両周辺監視装置
JP2006218954A (ja) 車両の駐車支援システム
WO2019194218A1 (ja) 進行方向表示装置
JP2009120149A (ja) 車両用ランプ制御システム
WO2021095497A1 (ja) カメラシステム
JP7177618B2 (ja) 信頼性判定装置および信頼性判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845749

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280040340.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18570683

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022845749

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022845749

Country of ref document: EP

Effective date: 20240219