WO2022113432A1 - 車両周辺監視装置、及び車両周辺監視方法 - Google Patents

車両周辺監視装置、及び車両周辺監視方法 Download PDF

Info

Publication number
WO2022113432A1
WO2022113432A1 PCT/JP2021/029009 JP2021029009W WO2022113432A1 WO 2022113432 A1 WO2022113432 A1 WO 2022113432A1 JP 2021029009 W JP2021029009 W JP 2021029009W WO 2022113432 A1 WO2022113432 A1 WO 2022113432A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
unit
distance
marker
Prior art date
Application number
PCT/JP2021/029009
Other languages
English (en)
French (fr)
Inventor
龍一 岡崎
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022113432A1 publication Critical patent/WO2022113432A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a vehicle peripheral monitoring device and a vehicle peripheral monitoring method.
  • a vehicle peripheral monitoring device In order to draw attention to passengers who are about to get off, a vehicle peripheral monitoring device has been developed that captures the surroundings of the vehicle with a camera attached to the vehicle and displays the captured video on a liquid crystal display.
  • Patent Document 1 discloses a technique relating to a vehicle rear monitoring device that notifies that a moving vehicle is approaching behind.
  • the passenger is notified of the danger by notifying the passenger that a moving vehicle is approaching behind.
  • a moving vehicle is targeted for detection, and the degree of danger is not determined for an object other than the moving vehicle. Therefore, there is a problem that the safety around the vehicle cannot be properly monitored.
  • an object of the present invention is to provide a vehicle peripheral monitoring device capable of appropriately monitoring the safety around the vehicle, and a vehicle peripheral monitoring method.
  • an image recognition unit that recognizes an object from an image around the vehicle taken by an in-vehicle camera, a distance detection unit that detects a distance to the object, and a distance detected by the distance detection unit. And the preset distance set in advance according to the object, and according to the risk determination unit that determines the risk level according to the comparison result and the risk level determined by the risk level determination unit. Further, the present invention provides a vehicle peripheral monitoring device including a marker superimposing unit for superimposing a marker on the image-recognized object and an image display unit for displaying an image output from the marker superimposing unit.
  • an object is image-recognized from an image around the vehicle taken by an in-vehicle camera, a distance to the object is detected, and the detected distance and a preset distance set according to the object are set in advance.
  • a vehicle that compares with and determines the degree of danger according to the comparison result, superimposes a marker on the image-recognized object according to the determined degree of danger, and displays an image on which the marker is superimposed.
  • a vehicle peripheral monitoring device capable of appropriately monitoring the safety around the vehicle and a vehicle peripheral monitoring method.
  • FIG. 1 is a block diagram for explaining a configuration example of a vehicle peripheral monitoring device according to the present embodiment.
  • 2 and 3 are a side view and a perspective top view for explaining a vehicle equipped with the vehicle peripheral monitoring device according to the present embodiment, respectively.
  • the vehicle peripheral monitoring device 1 includes an in-vehicle camera 11, an image recognition unit 12, a distance detection unit 13, a risk determination unit 14, a marker superimposing unit 15, and an image display unit 16. To prepare for. Further, the vehicle peripheral monitoring device 1 according to the present embodiment includes a vehicle speed detection unit 21, a brake detection unit 22, a seatbelt attachment / detachment detection unit 23, and an image display determination unit 24.
  • the in-vehicle camera 11 captures an image around the vehicle and outputs the captured image data to the image recognition unit 12.
  • the in-vehicle camera 11 is a camera equipped with an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the vehicle-mounted camera 11 is attached to the side mirror 31 on the left side of the vehicle 30 or its vicinity thereof, and is configured to be capable of photographing the rear left side of the vehicle 30.
  • the shooting range of the vehicle-mounted camera 11 is indicated by reference numeral 35.
  • the image recognition unit 12 shown in FIG. 1 is configured to recognize an object from an image around the vehicle taken by the vehicle-mounted camera 11. Specifically, the image recognition unit 12 recognizes an object such as a person, a car, a motorcycle, a bicycle, or a telephone pole from the video data supplied from the vehicle-mounted camera 11. Video data taken by the vehicle-mounted camera 11 is continuously supplied to the image recognition unit 12. The image recognition unit 12 constantly performs image recognition processing on these continuously supplied video data. The image recognition unit 12 supplies information regarding the type of the image-recognized object to the risk determination unit 14. Further, the image recognition unit 12 supplies the image of the image-recognized object to the marker superimposing unit 15.
  • the vehicle means a vehicle, a motorcycle, a bicycle, or the like, which is defined as a vehicle by law. Further, in the present embodiment, the vehicle may include a moving means that moves at a predetermined speed.
  • the distance detection unit 13 is configured to detect the distance to an object existing around the vehicle.
  • the distance detection unit 13 is an ultrasonic sensor, LiDAR (Light Detection and Ringing), or the like.
  • the distance detection unit 13 is attached to the side mirror 31 on the left side of the vehicle 30 or its vicinity, and is configured to be able to detect the distance to an object existing behind the left side of the vehicle 30. Has been done.
  • the measurement range in which the distance detection unit 13 measures the distance to the object is indicated by reference numeral 35. Information about the distance to the object measured by the distance detection unit 13 is supplied to the risk determination unit 14.
  • the risk determination unit 14 shown in FIG. 1 compares the distance detected by the distance detection unit 13 with the preset distance set in advance according to the object recognized by the image recognition unit 12, and the comparison result is obtained. It is configured to determine the degree of risk according to.
  • the risk level determined by the risk level determination unit 14 is supplied to the marker superimposing unit 15.
  • the risk level determination unit 14 has a risk level data in which the set distance set according to the type of the object image-recognized by the image recognition unit 12 and the risk level according to the set distance are associated with each other. To prepare for. Then, the risk level determination unit 14 determines the risk level according to the comparison result between the distance detected by the distance detection unit 13 and the set distance.
  • FIG. 4 is a table showing an example of risk level data.
  • two types of risk data are prepared, one is the risk data when the object is a vehicle and the other is the risk data when the object is other than the vehicle.
  • the risk data of the "vehicle” is the risk data of an object such as a car, a motorcycle, or a bicycle that moves at a predetermined speed or higher.
  • the risk data of "other than the vehicle” is the risk data of obstacles such as utility poles, pedestrians, and stopped vehicles that are stopped or moving at a speed lower than a predetermined speed. .. If the vehicle is stopped, the risk data of "other than the vehicle” is applied. Further, whether or not the object is moving can be determined by using the amount of change in the distance detected by the distance detection unit 13.
  • the object when the object is a vehicle and the distance to the object detected by the distance detection unit 13 is 30 m or more, it is determined that the degree of danger is low. Further, when the object is a vehicle and the distance to the object detected by the distance detection unit 13 is 20 m or more and less than 30 m, it is determined that the degree of danger is slightly low. In this case, it may be determined that the risk is slightly high. Further, when the object is a vehicle and the distance to the object detected by the distance detection unit 13 is less than 20 m, it is determined that the degree of danger is high.
  • the object is other than the vehicle and the distance to the object detected by the distance detection unit 13 is 5 m or more, it is determined that the degree of danger is low. Further, when the object is other than the vehicle and the distance to the object detected by the distance detection unit 13 is 3 m or more and less than 5 m, it is determined that the degree of danger is slightly low. Further, when the object is other than the vehicle and the distance to the object detected by the distance detection unit 13 is less than 3 m, it is determined that the degree of danger is high.
  • the risk data shown in FIG. 4 is an example, and the vehicle peripheral monitoring device according to the present embodiment may use risk data other than the risk data shown in FIG.
  • the risk level data may be changed according to the vehicle equipped with the vehicle peripheral monitoring device. For example, in the case of a sliding door in which the door of the vehicle opens and closes automatically, it takes longer to open and close than in the case of a hinged door, and it takes longer for the passenger to get off. In such a case, the set distance of the risk level data may be set longer.
  • the marker superimposing unit 15 shown in FIG. 1 is configured to superimpose a marker on an object image-recognized by the image recognition unit 12 according to the degree of danger determined by the risk level determination unit 14. For example, when the risk level determination unit 14 determines that the risk level is high, the marker superimposing unit 15 superimposes a marker for alerting the passenger on the image-recognized object by the image recognition unit 12. conduct. Further, when the risk level determination unit 14 determines that the risk level is low or slightly low, the marker superimposing unit 15 displays image data as an image without superimposing the marker on the object recognized by the image recognition unit 12. Supply to unit 16.
  • FIG. 7 is a front view showing a display example of the image display unit.
  • the marker superimposing unit 15 performs a process of superimposing the marker 42 on the vehicle 41 image-recognized by the image recognition unit 12. By surrounding the vehicle 41 with the marker 42 in this way, it is possible to alert the passengers.
  • "superimposing a marker on an object” includes not only superimposing the marker on the object but also arranging the marker in the vicinity of the object.
  • the image display unit 16 shown in FIG. 1 displays an image supplied from the marker superimposing unit 15 when the passenger gets off. For example, when the risk level determination unit 14 determines that the risk level is high and the marker is superimposed on the object recognized by the image recognition unit 12, the image display unit 16 displays the image on which the marker is superimposed. , Call attention to passengers. At this time, the image display unit 16 may display an image according to the determination result of the image display determination unit 24. The details of the image display determination unit 24 will be described later.
  • the image display unit 16 is configured by using an image projection device that projects an image output from the marker superimposing unit 15 onto an optical reflection film 17 provided at the rear of the headrest 32 of the front seat. May be good. Specifically, as shown in FIGS. 2 and 3, an optical reflective film 17 is provided at the rear of the headrest 32 of the front seat. Further, the image display unit 16 is provided near the ceiling on the rear side of the center of the rear seat. Therefore, the image display unit 16 can display the image output from the marker superimposing unit 15 on the optical reflection film 17 by projecting the image on the optical reflection film 17.
  • the optical reflective film 17 can be formed by combining several types of thin films having different refractive indexes. With such a configuration, it can be adjusted to reflect light of a specific wavelength by utilizing light reflection or interference.
  • the image display unit 16 has such a configuration, the optical reflection film 17 on which an image is projected from the image display unit 16 can be easily attached to the headrest 32. Further, since the optical reflective film 17 is thin and has flexibility, the safety inside the vehicle can be enhanced.
  • the image display unit 16 may be configured by using a liquid crystal panel.
  • the vehicle speed detection unit 21 shown in FIG. 1 detects the speed of the vehicle 30.
  • the vehicle speed detection unit 21 detects the vehicle speed pulse of the vehicle 30.
  • the vehicle speed pulse is a periodic signal according to the moving speed of the vehicle 30, and when the vehicle 30 is stopped and the speed is zero, the vehicle speed pulse loses periodicity and becomes a constant value.
  • the detection result in the vehicle speed detection unit 21 is supplied to the image display determination unit 24.
  • the brake detection unit 22 detects the operating state of the foot brake or the hand brake.
  • a device mounted on a general vehicle 30 can be used as the brake detection unit 22 .
  • the detection result in the brake detection unit 22 is supplied to the image display determination unit 24.
  • the seatbelt attachment / detachment detection unit 23 detects the attachment / detachment of the seatbelt in a predetermined seat.
  • a device mounted on a general vehicle 30 can be used as the seatbelt attachment / detachment detection unit 23 .
  • the detection result in the seatbelt attachment / detachment detection unit 23 is supplied to the image display determination unit 24.
  • the predetermined seat is a rear seat.
  • the image display determination unit 24 is configured to determine whether or not the image display of the image display unit 16 can be displayed. Specifically, the image display determination unit 24 determines that the passenger in the rear seat is disembarking when the vehicle is stopped and the detection result in the seatbelt attachment / detachment detection unit 23 is "seatbelt release". The image display of the image display unit 16 is permitted. The image display determination unit 24 stops the vehicle when the detection result detected by the vehicle speed detection unit 21 is "zero speed” or when the detection result by the brake detection unit 22 is "braking operation". It can be determined that it is. On the other hand, the image display determination unit 24 disallows the image display in the image display unit 16 when the vehicle is not stopped and the seat belt is not released.
  • vehicle peripheral monitoring device vehicle peripheral monitoring method
  • the vehicle-mounted camera 11 shown in FIG. 1 is used to capture an image around the vehicle (step S1 in FIG. 5). As shown in FIGS. 2 and 3, the vehicle-mounted camera 11 is attached to the side mirror 31 on the left side of the vehicle 30 or its vicinity, and photographs the rear left side of the vehicle 30.
  • the image recognition unit 12 shown in FIG. 1 is used to recognize an object from the image around the vehicle taken by the vehicle-mounted camera 11 (step S2 in FIG. 5). Specifically, the image recognition unit 12 recognizes an object such as a person, a car, a motorcycle, a bicycle, or a telephone pole from the video data supplied from the vehicle-mounted camera 11. Further, the image recognition unit 12 supplies information on the type of the image-recognized object, that is, information on whether or not the object is a vehicle, to the risk level determination unit 14. Further, the image recognition unit 12 supplies the image of the image-recognized object to the marker superimposing unit 15.
  • the distance detection unit 13 shown in FIG. 1 detects the distance to an object existing around the vehicle (step S3 in FIG. 5). As shown in FIGS. 2 and 3, the distance detection unit 13 is attached to the side mirror 31 on the left side of the vehicle 30 or its vicinity, and detects the distance to an object existing behind the left side of the vehicle 30.
  • the risk determination unit 14 shown in FIG. 1 determines whether or not the type of the object image-recognized by the image recognition unit 12 is a vehicle (step S4 in FIG. 5). Then, when the type of the object image-recognized by the image recognition unit 12 is a vehicle (step S4: Yes), the risk level determination unit 14 determines the risk level using the risk level data for the vehicle (step S5). ). Specifically, the risk level determination unit 14 determines the risk level using the risk level data of the “vehicle” of the risk level data shown in FIG. That is, the risk level determination unit 14 determines the risk level according to the comparison result between the distance detected by the distance detection unit 13 and the set distance of the risk level data for the vehicle shown in FIG.
  • the risk level determination unit 14 determines the risk level using the risk level data other than the vehicle (step). S6). Specifically, the risk level determination unit 14 determines the risk level using the risk level data “other than the vehicle” of the risk level data shown in FIG. That is, the risk level determination unit 14 determines the risk level according to the comparison result between the distance detected by the distance detection unit 13 and the set distance of the risk level data other than the vehicle shown in FIG.
  • the marker superimposing unit 15 shown in FIG. 1 determines whether or not the risk determined in steps S5 and S6 is high (step S7). Then, when the degree of danger is high (step S7: Yes), the marker superimposing unit 15 superimposes the marker for alerting the passenger on the object recognized by the image recognition unit 12 (step S8). After that, the image display unit 16 displays an image of the object on which the marker is superimposed, provided that the image display determination unit 24 permits the display of the image (step S9).
  • step S7 when the risk level is not high (step S7: No), the marker superimposing unit 15 supplies image data to the image display unit 16 without superimposing the marker on the object recognized by the image recognition unit 12. After that, the image display unit 16 displays an image of an object on which the marker is not superimposed, provided that the image display determination unit 24 permits the display of the image (step S10).
  • step S11: Yes the detection result in the seatbelt attachment / detachment detection unit 23 is "seatbelt release"
  • step S12: Yes the detection result in the seatbelt attachment / detachment detection unit 23 is "seatbelt release"
  • step S12: Yes the detection result in the seatbelt attachment / detachment detection unit 23 is "seatbelt release"
  • step S12: Yes the detection result in the seatbelt attachment / detachment detection unit 23 is "seatbelt release"
  • the image display determination unit 24 determines that the passenger in the rear seat is getting off, and permits the image display of the image display unit 16 (step S13).
  • the image display determination unit 24 stops the vehicle when the detection result detected by the vehicle speed detection unit 21 is "zero speed” or when the detection result by the brake detection unit 22 is "braking operation".
  • Step S11: Yes can be determined.
  • the image display determination unit 24 disallows the image display in the image display unit 16 when the vehicle is not stopped (step S11:
  • the object image-recognized by the image recognition unit 12 is a vehicle (step S4: Yes), and the object is detected by the distance detection unit 13.
  • the distance to the object is less than 20 m (see FIG. 4)
  • it is determined that the degree of danger is high (step S7: Yes).
  • the object image-recognized by the image recognition unit 12 is other than the vehicle (step S4: No) and the distance to the object detected by the distance detection unit 13 is less than 3 m (see FIG. 4), it is dangerous. It is determined that the degree is high (step S7: Yes).
  • the marker superimposing unit 15 superimposes the marker for alerting the passenger on the object recognized by the image recognition unit 12 (step S8). Then, when the image display determination unit 24 determines that the passenger in the rear seat gets off, the image display unit 16 displays an image of the object on which the marker is superimposed (step S9).
  • FIG. 7 shows a state in which an image is displayed on an optical reflective film 17 provided at the rear of the headrest 32.
  • an image for calling attention may be displayed on the optical reflective film 17 and may be operated in conjunction with the door lock of the vehicle 30. Specifically, as shown in the table of FIG. 4, when the degree of danger is low, the door lock is released when the passenger gets off. Further, the image display unit 16 displays an image of an object on which the marker is not superimposed on the optical reflection film 17.
  • the image display unit 16 displays an image of an object on which the marker is not superimposed on the optical reflection film 17.
  • the aspect of the marker (the size and color of the marker) may be changed according to the degree of danger.
  • changing the aspect of the marker may be a case of displaying a message for caution in addition to displaying the marker.
  • the image display unit 16 displays an image of an object on which the marker is superimposed on the optical reflection film 17.
  • the degree of danger is determined using the conditions set according to the type of the object photographed by the in-vehicle camera. Therefore, it is possible to provide a vehicle peripheral monitoring device capable of appropriately monitoring the safety around the vehicle and a vehicle peripheral monitoring method.
  • an image of an object is displayed on an optical reflective film 17 provided at the rear of the headrest 32. Therefore, it is possible to check the state behind the vehicle without moving the line of sight when the passenger gets off. Further, the optical reflection film 17 on which the image is projected from the image display unit 16 can be easily attached to the headrest 32. Further, since the optical reflective film 17 is thin and has flexibility, the safety inside the vehicle can be enhanced.
  • the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
  • a configuration example in which the vehicle-mounted camera 11, the distance detection unit 13, and the optical reflection film 17 are provided on the left side of the vehicle 30 is shown.
  • the vehicle-mounted camera 11, the distance detection unit 13, and the optical reflection film 17 may be provided on the right side of the vehicle 30.
  • the image display unit 16 projects an image on the optical reflection film 17 provided at the rear of the headrest on the right side.
  • the vehicle-mounted camera 11, the distance detection unit 13, and the optical reflection film 17 may be provided on both the left and right sides of the vehicle 30.
  • the image display unit 16 may be configured to be rotatable so that an image can be projected on the optical reflection films provided on both the left and right sides.
  • the present invention can be suitably used in the technical field of vehicles.
  • Vehicle peripheral monitoring device 11
  • In-vehicle camera 12
  • Image recognition unit 13 Distance detection unit 14
  • Danger level determination unit 15
  • Marker superimposition unit 16
  • Image display unit 21 Vehicle speed detection unit 22
  • Brake detection unit 23 Seatbelt attachment / detachment detection unit 24

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明にかかる車両周辺監視装置（１）は、車載カメラ（１１）で撮影された車両周辺の映像から物体を画像認識する画像認識部（１２）と、物体までの距離を検出する距離検出部（１３）と、距離検出部（１３）で検出された距離と、物体に応じて予め設定された設定距離と、を比較し、比較結果に応じて危険度を決定する危険度決定部（１４）と、危険度決定部（１４）で決定された危険度に応じて、マーカーを画像認識部（１２）で画像認識された物体に重畳するマーカー重畳部（１５）と、マーカー重畳部（１５）から出力された画像を表示する画像表示部（１６）と、を備える。

Description

車両周辺監視装置、及び車両周辺監視方法
　本発明は、車両周辺監視装置、及び車両周辺監視方法に関する。
　降車しようとしている搭乗者に注意を喚起するため、車両に取り付けられたカメラで車両周辺を撮影し、この撮影された映像を液晶ディスプレイに表示する車両周辺監視装置が開発されている。
　特許文献１には、後方に移動車両が接近することを通知する車両後方監視装置に関する技術が開示されている。
特許第５０２９２５５号公報
　特許文献１に開示されている技術では、後方に移動車両が接近していることを搭乗者に通知することで、搭乗者に危険を通知している。しかしながら、特許文献１に開示されている技術では移動車両を検出対象としており、移動車両以外の物体については危険度を判断していない。このため、車両周辺の安全性を適切に監視できないという問題がある。
　上記課題に鑑み本発明の目的は、車両周辺の安全性を適切に監視することが可能な車両周辺監視装置、及び車両周辺監視方法を提供することである。
　そこで、本実施形態は、車載カメラで撮影された車両周辺の映像から物体を画像認識する画像認識部と、前記物体までの距離を検出する距離検出部と、前記距離検出部で検出された距離と、前記物体に応じて予め設定された設定距離と、を比較し、前記比較結果に応じて危険度を決定する危険度決定部と、前記危険度決定部で決定された前記危険度に応じて、マーカーを前記画像認識された物体に重畳するマーカー重畳部と、前記マーカー重畳部から出力された画像を表示する画像表示部と、を備える車両周辺監視装置を提供する。
　また、本実施形態は、車載カメラで撮影された車両周辺の映像から物体を画像認識し、前記物体までの距離を検出し、前記検出された距離と前記物体に応じて予め設定された設定距離とを比較し、前記比較結果に応じて危険度を決定し、前記決定された危険度に応じてマーカーを前記画像認識された物体に重畳し、前記マーカーが重畳された画像を表示する、車両周辺監視方法を提供する。
　本実施形態により、車両周辺の安全性を適切に監視することが可能な車両周辺監視装置、及び車両周辺監視方法を提供することができる。
実施の形態にかかる車両周辺監視装置の構成例を説明するためのブロック図である。 実施の形態にかかる車両周辺監視装置を搭載した車両を説明するための側面図である。 実施の形態にかかる車両周辺監視装置を搭載した車両を説明するための透視上面図である。 危険度データの一例を示す表である。 実施の形態にかかる車両周辺監視装置の動作を説明するためのフローチャートである。 実施の形態にかかる車両周辺監視装置の動作を説明するためのフローチャートである。 画像表示部の表示例を示す正面図である。
　以下、図面を参照して本発明の実施の形態について説明する。
　図１は、本実施の形態にかかる車両周辺監視装置の構成例を説明するためのブロック図である。図２、図３はそれぞれ、本実施の形態にかかる車両周辺監視装置を搭載した車両を説明するための側面図および透視上面図である。
　図１に示すように、本実施の形態にかかる車両周辺監視装置１は、車載カメラ１１、画像認識部１２、距離検出部１３、危険度決定部１４、マーカー重畳部１５、及び画像表示部１６を備える。更に本実施の形態にかかる車両周辺監視装置１は、車速検出部２１、ブレーキ検出部２２、シートベルト着脱検出部２３、及び画像表示判定部２４を備える。
　車載カメラ１１は車両周辺の映像を撮影し、撮影した映像データを画像認識部１２に出力する。車載カメラ１１は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備えたカメラである。図２、図３に示すように、車載カメラ１１は、車両３０の左側のサイドミラー３１またはその付近に取り付けられており、車両３０の左側後方を撮影可能に構成されている。なお、図２、図３において、車載カメラ１１の撮影範囲を符号３５で示している。
　図１に示す画像認識部１２は、車載カメラ１１で撮影された車両周辺の映像から物体を画像認識するように構成されている。具体的には、画像認識部１２は、車載カメラ１１から供給された映像データから人、車、バイク、自転車、電柱などの物体を画像認識する。画像認識部１２には、車載カメラ１１で撮影された映像データが連続的に供給される。画像認識部１２は、これらの連続的に供給された映像データに対して常時、画像認識処理を実施する。画像認識部１２は、画像認識された物体の種類に関する情報を危険度決定部１４に供給する。また、画像認識部１２は、画像認識された物体の画像をマーカー重畳部１５に供給する。
　本実施の形態において車両とは、車、バイク、自転車など法律で車両と定義されているものを意味する。また、本実施の形態では、所定の速度で移動する移動手段を車両に含めてもよいものとする。
　距離検出部１３は、車両周辺に存在する物体までの距離を検出するように構成されている。例えば、距離検出部１３は、超音波センサーやＬｉＤＡＲ（Light Detection and Ranging）等である。図２、図３に示すように、距離検出部１３は、車両３０の左側のサイドミラー３１またはその付近に取り付けられており、車両３０の左側後方に存在する物体までの距離を検出可能に構成されている。なお、図２、図３において、距離検出部１３が物体までの距離を測定する測定範囲を符号３５で示している。距離検出部１３で測定された物体までの距離に関する情報は、危険度決定部１４に供給される。
　図１に示す危険度決定部１４は、距離検出部１３で検出された距離と、画像認識部１２で画像認識された物体に応じて予め設定された設定距離と、を比較し、この比較結果に応じて危険度を決定するように構成されている。危険度決定部１４で決定された危険度は、マーカー重畳部１５に供給される。具体的には、危険度決定部１４は、画像認識部１２で画像認識された物体の種別に応じて設定された設定距離と、設定距離に応じた危険度とが対応づけられた危険度データを備える。そして、危険度決定部１４は、距離検出部１３で検出された距離と設定距離との比較結果に応じて危険度を決定する。
　図４は、危険度データの一例を示す表である。図４に示す例では、危険度データとして、物体が車両である場合の危険度データと、物体が車両以外である場合の危険度データの２種類が準備されている。図４に示す例において「車両」の危険度データは、車、バイク、自転車など所定の速度以上で移動する物体の危険度データである。また、図４に示す例において「車両以外」の危険度データは、電柱、歩行者、停止している車両など、停止もしくは所定速度未満で移動している状態の障害物の危険度データである。なお、車両であっても停止している場合は、「車両以外」の危険度データが適用される。また、物体が移動しているか否かは、距離検出部１３で検出された距離の変化量を用いて判定できる。
　図４に示す例では、物体が車両であり、距離検出部１３で検出された物体までの距離が３０ｍ以上である場合は、危険度が低いと決定される。また、物体が車両であり、距離検出部１３で検出された物体までの距離が２０ｍ以上３０ｍ未満である場合は、危険度がやや低いと決定される。なお、この場合は危険度がやや高いと決定してもよい。また、物体が車両であり、距離検出部１３で検出された物体までの距離が２０ｍ未満である場合は、危険度が高いと決定される。
　また、物体が車両以外であり、距離検出部１３で検出された物体までの距離が５ｍ以上である場合は、危険度が低いと決定される。また、物体が車両以外であり、距離検出部１３で検出された物体までの距離が３ｍ以上５ｍ未満である場合は、危険度がやや低いと決定される。また、物体が車両以外であり、距離検出部１３で検出された物体までの距離が３ｍ未満である場合は、危険度が高いと決定される。
　なお、図４に示す危険度データは一例であり、本実施の形態にかかる車両周辺監視装置では、図４に示す危険度データ以外の危険度データを使用してもよい。例えば、車両周辺監視装置を搭載する車両などに応じて危険度データを変更してもよい。例えば車両のドアが自動で開閉するスライドドアの場合は、ヒンジドアの場合よりも開閉に時間がかかり搭乗者が降車するのに時間がかかる。このような場合は、危険度データの設定距離を長く設定してもよい。
　図１に示すマーカー重畳部１５は、危険度決定部１４で決定された危険度に応じて、マーカーを画像認識部１２で画像認識された物体に重畳するように構成されている。例えば、マーカー重畳部１５は、危険度決定部１４において危険度が高いと決定された場合、搭乗者に注意喚起するためのマーカーを、画像認識部１２で画像認識された物体に重畳する処理を行う。また、マーカー重畳部１５は、危険度決定部１４において危険度が低い又はやや低いと決定された場合、画像認識部１２で画像認識された物体にマーカーを重畳することなく、画像データを画像表示部１６に供給する。
　図７は、画像表示部の表示例を示す正面図である。図７に示す例のように、マーカー重畳部１５は、画像認識部１２で画像認識された車両４１にマーカー４２を重畳させる処理を行う。このように車両４１をマーカー４２で囲むことで、搭乗者に注意喚起することができる。なお、本明細書において「マーカーを物体に重畳させる」とは、マーカーを物体に重ねること以外に、マーカーを物体の近傍に配置する場合も含むものとする。
　図１に示す画像表示部１６は、搭乗者が降車する際、マーカー重畳部１５から供給された画像を表示する。例えば、画像表示部１６は、危険度決定部１４において危険度が高いと決定され、画像認識部１２で画像認識された物体にマーカーが重畳された場合、マーカーが重畳された画像を表示して、搭乗者に注意を喚起する。このとき、画像表示部１６は、画像表示判定部２４の判定結果に応じて画像を表示するようにしてもよい。なお、画像表示判定部２４の詳細については後述する。
　また、本実施の形態において画像表示部１６は、前方座席のヘッドレスト３２の後部に設けられた光学反射膜１７にマーカー重畳部１５から出力された画像を投影する画像投影装置を用いて構成してもよい。具体的には、図２、図３に示すように、前方座席のヘッドレスト３２の後部には光学反射膜１７が設けられている。また、画像表示部１６は、後部座席の中央後ろ側の天井付近に設けられている。よって、画像表示部１６は、光学反射膜１７に画像を投影することで、マーカー重畳部１５から出力された画像を光学反射膜１７に表示することができる。
　光学反射膜１７は、屈折率の異なる数種の薄膜を組み合わせて構成することができる。このような構成とした場合は、光の反射や干渉を利用して特定の波長の光を反射するように調整できる。画像表示部１６をこのような構成とした場合は、画像表示部１６から画像が投影される光学反射膜１７をヘッドレスト３２に容易に取り付けることができる。また、光学反射膜１７は厚さが薄くかつ柔軟性を有するので、車内の安全性を高めることができる。なお、本実施の形態では液晶パネルを用いて画像表示部１６を構成してもよい。
　図１に示す車速検出部２１は、車両３０の速度を検出する。例えば、車速検出部２１は、車両３０の車速パルスを検知する。車速パルスは車両３０の移動速度に応じた周期性の信号であり、車両３０が停止して速度がゼロの場合は、車速パルスは周期性がなくなり一定値となる。車速検出部２１における検出結果は、画像表示判定部２４に供給される。
　ブレーキ検出部２２は、フットブレーキまたはハンドブレーキの動作状態を検出する。ブレーキ検出部２２は、一般的な車両３０に搭載された装置を用いることができる。ブレーキ検出部２２における検出結果は、画像表示判定部２４に供給される。
　シートベルト着脱検出部２３は、所定の座席におけるシートベルトの着脱を検出する。シートベルト着脱検出部２３は、一般的な車両３０に搭載された装置を用いることができる。シートベルト着脱検出部２３における検出結果は、画像表示判定部２４に供給される。なお、本実施の形態において所定の座席とは、後部座席である。
　画像表示判定部２４は、画像表示部１６の画像表示の可否を判定するように構成されている。具体的には、画像表示判定部２４は、車両が停止しており、かつシートベルト着脱検出部２３における検出結果が「シートベルト解除」である場合、後部座席の搭乗者が降車すると判断し、画像表示部１６の画像表示を許可する。画像表示判定部２４は、車速検出部２１で検出された検出結果が「速度ゼロ」である場合、または、ブレーキ検出部２２における検出結果が「ブレーキ動作中」である場合に、車両が停止していると判定することができる。一方、画像表示判定部２４は、車両が停止していない場合、シートベルトが解除されていない場合、画像表示部１６における画像表示を不許可とする。
　次に、本実施の形態にかかる車両周辺監視装置の動作（車両周辺監視方法）について、図５、図６に示すフローチャートを用いて説明する。
　まず、図１に示す車載カメラ１１を用いて車両周辺の映像を撮影する（図５のステップＳ１）。図２、図３に示すように、車載カメラ１１は、車両３０の左側のサイドミラー３１またはその付近に取り付けられており、車両３０の左側後方を撮影する。
　次に、図１に示す画像認識部１２を用いて、車載カメラ１１で撮影された車両周辺の映像から物体を画像認識する（図５のステップＳ２）。具体的には、画像認識部１２は、車載カメラ１１から供給された映像データから人、車、バイク、自転車、電柱などの物体を画像認識する。また、画像認識部１２は、画像認識された物体の種類に関する情報、つまり物体が車両か否かに関する情報を危険度決定部１４に供給する。また、画像認識部１２は、画像認識された物体の画像をマーカー重畳部１５に供給する。
　次に、図１に示す距離検出部１３は、車両周辺に存在する物体までの距離を検出する（図５のステップＳ３）。図２、図３に示すように、距離検出部１３は、車両３０の左側のサイドミラー３１またはその付近に取り付けられており、車両３０の左側後方に存在する物体までの距離を検出する。
　次に、図１に示す危険度決定部１４は、画像認識部１２で画像認識された物体の種類が車両か否かを判断する（図５のステップＳ４）。そして、危険度決定部１４は、画像認識部１２で画像認識された物体の種類が車両である場合（ステップＳ４：Ｙｅｓ）、車両用の危険度データを用いて危険度を決定する（ステップＳ５）。具体的には、危険度決定部１４は、図４に示す危険度データの「車両」の危険度データを用いて危険度を決定する。つまり、危険度決定部１４は、距離検出部１３で検出された距離と図４に示す車両用の危険度データの設定距離との比較結果に応じて危険度を決定する。
　一方、危険度決定部１４は、画像認識部１２で画像認識された物体の種類が車両以外である場合（ステップＳ４：Ｎｏ）、車両以外の危険度データを用いて危険度を決定する（ステップＳ６）。具体的には、危険度決定部１４は、図４に示す危険度データの「車両以外」の危険度データを用いて危険度を決定する。つまり、危険度決定部１４は、距離検出部１３で検出された距離と図４に示す車両以外の危険度データの設定距離との比較結果に応じて危険度を決定する。
　次に、図１に示すマーカー重畳部１５は、ステップＳ５、Ｓ６で決定された危険度が高いか否かを判定する（ステップＳ７）。そして、危険度が高い場合（ステップＳ７：Ｙｅｓ）、マーカー重畳部１５は、搭乗者に注意喚起するためのマーカーを、画像認識部１２で画像認識された物体に重畳する（ステップＳ８）。その後、画像表示部１６は、画像表示判定部２４が画像の表示を許可していることを条件として、マーカーが重畳された物体の画像を表示する（ステップＳ９）。
　一方、マーカー重畳部１５は、危険度が高くない場合（ステップＳ７：Ｎｏ）、画像認識部１２で画像認識された物体にマーカーを重畳することなく、画像表示部１６に画像データを供給する。その後、画像表示部１６は、画像表示判定部２４が画像の表示を許可していることを条件として、マーカーが重畳されていない物体の画像を表示する（ステップＳ１０）。
　なお、画像表示判定部２４が画像の表示を許可する場合とは以下の通りである。つまり、図６に示すフローチャートのように、車両が停止しており（ステップＳ１１：Ｙｅｓ）、かつシートベルト着脱検出部２３における検出結果が「シートベルト解除」である場合（ステップＳ１２：Ｙｅｓ）、画像表示判定部２４は、後部座席の搭乗者が降車すると判断し、画像表示部１６の画像表示を許可する（ステップＳ１３）。画像表示判定部２４は、車速検出部２１で検出された検出結果が「速度ゼロ」である場合、または、ブレーキ検出部２２における検出結果が「ブレーキ動作中」である場合に、車両が停止している（ステップＳ１１：Ｙｅｓ）と判定することができる。一方、画像表示判定部２４は、車両が停止していない場合（ステップＳ１１：Ｎｏ）、シートベルトが解除されていない場合（ステップＳ１２：Ｎｏ）、画像表示部１６における画像表示を不許可とする（ステップＳ１５）。
　本実施の形態にかかる車両周辺監視装置の動作の一例を具体的に説明すると、画像認識部１２で画像認識された物体が車両であり（ステップＳ４：Ｙｅｓ）、距離検出部１３で検出された物体までの距離が２０ｍ未満である場合（図４参照）は、危険度が高いと決定される（ステップＳ７：Ｙｅｓ）。また、画像認識部１２で画像認識された物体が車両以外であり（ステップＳ４：Ｎｏ）、距離検出部１３で検出された物体までの距離が３ｍ未満である場合（図４参照）は、危険度が高いと決定される（ステップＳ７：Ｙｅｓ）。このような場合、マーカー重畳部１５は、搭乗者に注意喚起するためのマーカーを、画像認識部１２で画像認識された物体に重畳する（ステップＳ８）。そして、画像表示判定部２４において後部座席の搭乗者が降車すると判定された場合、画像表示部１６は、マーカーが重畳された物体の画像を表示する（ステップＳ９）。
　すなわち、図７に示すように、車両３０の後方から接近している車両４１を表示するとともに、車両４１をマーカー４２で囲んで表示して、降車しようとしている搭乗者に注意喚起する。なお、図７では、ヘッドレスト３２の後部に設けられた光学反射膜１７に画像を表示している状態を示している。
　このとき、本実施の形態にかかる車両周辺監視装置では、注意喚起のための画像を光学反射膜１７に表示するとともに、車両３０のドアロックと連動させて動作させてもよい。具体的には、図４の表に示すように、危険度が低い場合は、搭乗者が降車する際にドアロックを解除する。また、画像表示部１６は、マーカーが重畳されてない物体の画像を光学反射膜１７に表示する。
　また、危険度がやや低い場合は、搭乗者が降車する際にドアロックを解除する。この場合、画像表示部１６は、マーカーが重畳されてない物体の画像を光学反射膜１７に表示する。また本実施の形態では、危険度に応じてマーカーの態様（マーカーの大きさや色）を変更してもよい。ここで、マーカーの態様を変更するとは、マーカーを表示する以外に、注意のためのメッセージを表示する場合であってもよい。
　また、危険度が高い場合は、搭乗者が降車しようとした際にドアにロックする。また、画像表示部１６は、マーカーが重畳された物体の画像を光学反射膜１７に表示する。
　以上で説明したように、本実施の形態にかかる車両周辺監視装置では、車載カメラで撮影された物体の種類に応じて設定された条件を用いて、危険度を決定している。したがって、車両周辺の安全性を適切に監視することが可能な車両周辺監視装置、及び車両周辺監視方法を提供することができる。
　また、本実施の形態にかかる車両周辺監視装置では、ヘッドレスト３２の後部に設けられた光学反射膜１７に物体の画像を表示している。よって、搭乗者が降車する際に視線を移動することなく、車両後方の状態を確認することができる。また、画像表示部１６から画像が投影される光学反射膜１７をヘッドレスト３２に容易に取り付けることができる。また、光学反射膜１７は厚さが薄くかつ柔軟性を有するので、車内の安全性を高めることができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態では、車両３０の左側から搭乗者が降車することを想定して、車両３０の左側に車載カメラ１１、距離検出部１３、光学反射膜１７を設けた構成例を示した。しかし本実施の形態では、車両３０の右側から搭乗者が降車することを想定して、車両３０の右側に車載カメラ１１、距離検出部１３、光学反射膜１７を設けてもよい。この場合、画像表示部１６は、右側のヘッドレストの後部に設けられた光学反射膜１７に画像を投影する。また、本実施の形態では、車両３０の左右両側に車載カメラ１１、距離検出部１３、光学反射膜１７を設けてもよい。この場合、画像表示部１６を回転可能に構成し、左右両側に設けられた光学反射膜にそれぞれ画像を投影できるようにしてもよい。
　以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
　この出願は、２０２０年１１月２４日に出願された日本出願特願２０２０－１９４２１７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、車両の技術分野において好適に利用することができる。
１　車両周辺監視装置
１１　車載カメラ
１２　画像認識部
１３　距離検出部
１４　危険度決定部
１５　マーカー重畳部
１６　画像表示部
２１　車速検出部
２２　ブレーキ検出部
２３　シートベルト着脱検出部
２４　画像表示判定部

Claims (5)

  1. 　車載カメラで撮影された車両周辺の映像から物体を画像認識する画像認識部と、
    　前記物体までの距離を検出する距離検出部と、
    　前記距離検出部で検出された距離と、前記物体に応じて予め設定された設定距離と、を比較し、前記比較結果に応じて危険度を決定する危険度決定部と、
    　前記危険度決定部で決定された前記危険度に応じて、マーカーを前記画像認識された物体に重畳するマーカー重畳部と、
    　前記マーカー重畳部から出力された画像を表示する画像表示部と、を備える、
    　車両周辺監視装置。
  2. 　前記画像表示部は、前方座席のヘッドレストの後部に前記マーカー重畳部から出力された画像を投影する画像投影装置を用いて構成されている、請求項１に記載の車両周辺監視装置。
  3. 　前記画像表示部の前記画像の表示の可否を判定する画像表示判定部を更に備え、
    　前記画像表示判定部は、前記車両が停止しており、かつ所定の座席におけるシートベルトが解除されている場合に、前記画像表示部の前記画像表示を許可する、
    　請求項１または２に記載の車両周辺監視装置。
  4. 　前記危険度決定部は、
    　前記画像認識部で画像認識された前記物体の種別に応じて設定された設定距離と、前記設定距離に応じた危険度とが対応づけられた危険度データを備え、
    　前記距離検出部で検出された距離と前記設定距離との比較結果に応じて前記危険度を決定する、
    　請求項１～３のいずれか一項に記載の車両周辺監視装置。
  5. 　車載カメラで撮影された車両周辺の映像から物体を画像認識し、
    　前記物体までの距離を検出し、
    　前記検出された距離と前記物体に応じて予め設定された設定距離とを比較し、前記比較結果に応じて危険度を決定し、
    　前記決定された危険度に応じてマーカーを前記画像認識された物体に重畳し、
    　前記マーカーが重畳された画像を表示する、
    　車両周辺監視方法。
PCT/JP2021/029009 2020-11-24 2021-08-04 車両周辺監視装置、及び車両周辺監視方法 WO2022113432A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020194217A JP2022083003A (ja) 2020-11-24 2020-11-24 車両周辺監視装置、及び車両周辺監視方法
JP2020-194217 2020-11-24

Publications (1)

Publication Number Publication Date
WO2022113432A1 true WO2022113432A1 (ja) 2022-06-02

Family

ID=81754512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029009 WO2022113432A1 (ja) 2020-11-24 2021-08-04 車両周辺監視装置、及び車両周辺監視方法

Country Status (2)

Country Link
JP (1) JP2022083003A (ja)
WO (1) WO2022113432A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106298A (ja) * 2004-10-04 2006-04-20 Sony Corp 映像投影装置
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2013180634A (ja) * 2012-03-01 2013-09-12 Panasonic Corp 車載用電子機器とそれを搭載した自動車
JP2017177883A (ja) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 車載報知装置
JP2020083204A (ja) * 2018-11-29 2020-06-04 テイ・エス テック株式会社 表示システム及びそれを備えた車両

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006106298A (ja) * 2004-10-04 2006-04-20 Sony Corp 映像投影装置
JP2008060988A (ja) * 2006-08-31 2008-03-13 Matsushita Electric Ind Co Ltd 走行環境情報取得装置
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2013180634A (ja) * 2012-03-01 2013-09-12 Panasonic Corp 車載用電子機器とそれを搭載した自動車
JP2017177883A (ja) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 車載報知装置
JP2020083204A (ja) * 2018-11-29 2020-06-04 テイ・エス テック株式会社 表示システム及びそれを備えた車両

Also Published As

Publication number Publication date
JP2022083003A (ja) 2022-06-03

Similar Documents

Publication Publication Date Title
JP3390289B2 (ja) 警報装置
JP2009075988A (ja) 車両周辺監視装置
JP2010130646A (ja) 車両周辺確認装置
JP2018160135A (ja) 降車時注意喚起装置
CN104175954A (zh) 一种车辆盲区监测报警系统
JP2007141223A (ja) 情報処理装置および方法、記録媒体、並びに、プログラム
JP2008193339A (ja) 後方監視装置
KR20160147580A (ko) 후방 차량의 과속 접근을 경고하는 장치
JP2016088187A (ja) 車両用透過表示装置
TW201344648A (zh) 行車監控系統與行車監控方法
JP4337130B2 (ja) 運転装置の制御装置
JP2010095202A (ja) ルームミラー位置後視カメラ画像表示装置
WO2022113432A1 (ja) 車両周辺監視装置、及び車両周辺監視方法
JP3997945B2 (ja) 周辺画像表示装置
JPH10246640A (ja) 車両用情報表示装置
JP2017165218A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2008282235A (ja) 運転支援装置、運転支援装置を搭載した自動車、および運転支援方法
JP2007133644A (ja) 歩行者認識装置
TWM528917U (zh) 車用警示裝置
JP2009042824A (ja) 飲酒運転防止装置
JP2008055942A (ja) 夜間前方情報提供装置
JP2013131177A (ja) 障害物警報装置
US9773172B2 (en) Obstacle alert device
JP7441417B2 (ja) ドライバ状態推定装置
WO2020179656A1 (ja) 運転者監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897411

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21897411

Country of ref document: EP

Kind code of ref document: A1