WO2022080070A1 - 車両周辺画像表示システム - Google Patents

車両周辺画像表示システム Download PDF

Info

Publication number
WO2022080070A1
WO2022080070A1 PCT/JP2021/033838 JP2021033838W WO2022080070A1 WO 2022080070 A1 WO2022080070 A1 WO 2022080070A1 JP 2021033838 W JP2021033838 W JP 2021033838W WO 2022080070 A1 WO2022080070 A1 WO 2022080070A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
imaging
image
unit
Prior art date
Application number
PCT/JP2021/033838
Other languages
English (en)
French (fr)
Inventor
富士夫 村松
Original Assignee
有限会社エスアンドアールプロジェクト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限会社エスアンドアールプロジェクト filed Critical 有限会社エスアンドアールプロジェクト
Publication of WO2022080070A1 publication Critical patent/WO2022080070A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention processes a plurality of image pickup units attached to a vehicle and captures an image of the surroundings, a display unit provided in the vehicle, and video signals captured by the plurality of image pickup units, and displays images on the display unit.
  • the present invention relates to a vehicle peripheral image display system having a processing unit that synthesizes and outputs signals, and more particularly to a vehicle peripheral image display system that effectively prevents an accident from occurring for an infant existing in a blind spot of a vehicle.
  • Patent Document 1 relates to a system that supports safe driving, but is from the driver's point of view, and there is no infant's point of view. Although it mentions prevention of vehicle accidents, it does not identify infants. There is a difference in height between adults and infants, and it is difficult to visually recognize them, so it is not possible to prevent gravel accidents in infants. Danger monitoring systems that utilize a large number of video cameras combine images to generate panoramic images, but the imaging area is narrow because they follow the existing installation positions of side mirrors, door mirrors, rear cameras, and so on. In addition, since the multipurpose monitoring system is expensive and not suitable for the masses, it is necessary to simplify the structure and keep the cost down in order to spread it.
  • the present invention solves such a problem, and an object of the present invention is to provide a vehicle peripheral image display system capable of effectively preventing a gravel accident of an infant with a simple structure. ..
  • the present invention processes a plurality of image pickup units attached to a vehicle and captures an image of the surroundings, a display unit provided in the vehicle, and video signals captured by the plurality of image pickup units and displays them on the display unit.
  • a vehicle peripheral image display system including a processing unit that synthesizes and outputs a video signal, wherein the plurality of image pickup units are arranged so that the outer periphery of the vehicle can be imaged without blind spots, and the processing unit is capable of imaging the plurality of images.
  • Display control means that outputs any one or more or all of the video signals captured by the unit as display image signals, and image analysis that processes the video signals captured by the plurality of imaging units to detect obstacles.
  • the display control means has means, and the display control means has at least one state of a changeover switch state, a driver's driving operation state, and a vehicle running state, and an output state of the image analysis means as input signals. It is configured to output a display image signal corresponding to the signal, and the image analysis means has an AI processing function capable of processing an image signal to detect an obstacle and identifying an infant from the shape and movement of the obstacle.
  • the vehicle peripheral image display system has a plurality of image pickup units arranged so that the outer periphery of the vehicle can be imaged without blind spots, and an AI processing function capable of identifying an infant from the shape and movement of an obstacle.
  • Image analysis means can reliably detect infants in blind spots, display accurate information on the display unit, and reliably convey it to the driver, effectively preventing gravel accidents in infants. Can be done.
  • a front imaging unit capable of imaging the front of the vehicle body
  • a rear imaging unit capable of imaging the rear of the vehicle body
  • a front end blind spot having a viewing angle of 170 ° or more and capable of imaging to just below the front end of the vehicle body.
  • a rear end blind spot imaging unit having a viewing angle of 170 ° or more and being able to image directly below the rear end of the vehicle body
  • a side blind spot imaging unit having a viewing angle of 170 ° or more and being able to image directly below the side surface of the vehicle body.
  • the driver it is possible for the driver to perform the optimum operation and display in a state where a gravel accident of an infant may occur without performing a special operation.
  • the configuration according to claim 5 it is possible to more reliably alert the driver.
  • the configuration described in claim 6 it is possible to more reliably prevent an infant's gravel accident.
  • the vehicle peripheral image display system 100 is a front image pickup unit capable of taking an image of the front of the vehicle body as a plurality of image pickup units attached to the vehicle and taking an image of the surrounding area.
  • Unit 111 rear imaging unit 112 that can image the rear of the vehicle body, front end blind spot imaging unit 113 that has a viewing angle of 170 ° or more and can image to just below the front end of the vehicle body, to just below the rear end of the vehicle body that has a viewing angle of 170 ° or more It has a rear end blind spot imaging unit 114 capable of imaging and a side blind spot imaging unit 115 having a viewing angle of 170 ° or more and capable of imaging directly below the side surface of the vehicle body.
  • the front image pickup unit 111 is attached to the upper part of the windshield like the front camera of a general drive recorder
  • the rear image pickup unit 112 is attached to the upper part of the rear glass.
  • the front end blind spot imaging unit 113 is mounted in front of the front end of the vehicle body as much as possible at a position where the entire horizontal direction and the blind spot in the ground direction of the front portion of the vehicle body are minimized by a wide viewing angle.
  • the rear end blind spot imaging unit 114 is attached to the rear end of the vehicle body as much as possible, at a position where the entire horizontal direction and the blind spot in the ground direction of the rear portion of the vehicle body are minimized by a wide viewing angle.
  • the side blind spot imaging unit 115 is mounted on the left and right side surfaces of the vehicle body at a position where the entire horizontal direction and the blind spot in the ground direction of the side portion of the vehicle body are minimized due to a wide viewing angle.
  • the front end blind spot imaging unit 113 is attached to the upper part of the tip of the bonnet, but may be attached to a pumper portion or the like further below.
  • the rear end blind spot imaging unit 114 is attached directly below the rear glass, it may be attached to a pumper portion or the like further below.
  • the side blind spot imaging unit 115 is arranged above the center pillar (B pillar) near the center of the front and rear of the vehicle body, it may be attached to the tip of the door mirror having almost no blind spot in the horizontal direction or the ground direction.
  • the front end blind spot imaging unit 113, the rear end blind spot imaging unit 114, and the side blind spot imaging units 115 on each side surface may each be plural.
  • the vehicle peripheral image display system 100 includes a display unit 120 provided in the vehicle and a plurality of image pickup units 111, 112, 113, 114, as shown in the schematic block diagram of FIG. It has a processing unit 130 that processes the video signal captured by the 115 and synthesizes and outputs the display video signal to the display unit 120.
  • the processing unit 130 includes a display control means 130 for outputting any one or a plurality or all of the video signals captured by the plurality of image pickup units 111, 112, 113, 114, 115 as a display image signal, and a plurality of display control means 130.
  • the display control means 132 uses the state of the changeover switch 141, the driving operation state of the driver, the running state of the vehicle, and the like, and the output state of the image analysis means 131 as input signals, and outputs a display image signal corresponding to the input signal. It is configured to output.
  • the state of the winker lever obtained from the winker lever sensor 142 As the driving operation state of the driver, in the present embodiment, the state of the winker lever obtained from the winker lever sensor 142, the state of the parking brake obtained from the parking brake sensor 147, the turning angle of the handle obtained from the steering angle sensor 145, and the shift.
  • the output of the non-contact line-of-sight detection detection sensor 148 that detects the state of the shift lever obtained from the position sensor 143, the amount of depression of the accelerator obtained from the accelerator opening sensor 146, and the line of sight of the driver is used as the running state of the vehicle.
  • the vehicle speed obtained from the speed sensor 144 is used.
  • processing unit 130 is configured to output an audio output signal to the audio unit in conjunction with the output of the display image signal by the display control means 132, and the display image signal by the display control means 132 depending on the situation. It is configured to output an emergency stop command to the vehicle drive control device 150 and the braking control device 160 in conjunction with the output of.
  • the changeover switch 140 switches the display on and off by the vehicle peripheral image display system 100, and switches and displays a plurality of images of the plurality of image pickup units 111, 112, 113, 114, 115 displayed on the display unit 120. It is configured to switch the layout of images. Further, the changeover switch 140 may be any of a steering switch, a touch operation of the display unit 120, a switch provided independently on the instrument panel in the vehicle, and the like. For example, on / off is a steering switch, and image and layout changeover is a display unit 120. The touch operation and function of may be distributed.
  • the operation of the vehicle peripheral image display system 100 configured as described above will be described.
  • the display can be switched by the changeover switch 140 by touching the display unit 120.
  • the moving images of all the imaging units 111, 112, 113, 114, and 115 are displayed on the display unit 120 in 6 divisions, for example, as shown in FIG. 5, and image analysis is performed.
  • the means 131 processes the video signals of all the image pickup units 111, 112, 113, 114, 115 in real time to detect an obstacle, and identifies an infant from the shape and movement of the obstacle.
  • the display control means 132 determines the direction in which the vehicle body advances from the signals of the shift position sensor 143 and the steering angle sensor 145, and highlights and displays the images of the image pickup units 111, 112, 113, 114, and 115 including those directions. Displayed on the unit 120. For example, when the shift position sensor 143 detects the backward movement and the steering angle sensor 145 detects the steering to the right, the vehicle body moves backward and the front of the vehicle body moves to the left side, as shown in FIG. In addition, the frame of the moving image of the rear end blind spot imaging unit 114 and the left side blind spot imaging unit 115 is emphasized, and the brightness of other moving images is lowered. As the emphasizing method, any method such as lighting / blinking a frame of caution color around the corresponding image, enlarging the corresponding image, and turning off the display other than the corresponding image may be used, and these may be combined.
  • the processing unit 132 When an obstacle is detected in the direction in which the vehicle body travels, the processing unit 132 outputs an alarm sound to the audio unit 133, and when the danger of colliding with the obstacle is imminent, the processing unit 132 is a drive control device 150 and a braking control device. An emergency stop command is output to 160. Further, if the presence of an infant can be confirmed at a dangerous distance in any of the images of all the image pickup units 111, 112, 113, 114, and 115, the processing unit 132 can be used regardless of the direction in which the vehicle body travels. Immediately, the audio unit 133 outputs an alarm sound, and the processing unit 132 outputs an emergency stop command to the drive control device 150 and the braking control device 160. By doing this, it operates as a normal collision avoidance function for fixed obstacles, and if the obstacle is an infant whose movement is difficult to predict, it is stopped immediately, which is effective for infant gravel accidents. Can be prevented.
  • the state of the winker lever obtained from the winker lever sensor 142 the state of the parking brake obtained from the parking brake sensor 147, and the steering angle.
  • the steering angle of the handle obtained from the sensor 145, the state of the shift lever obtained from the shift position sensor 143, and the amount of depression of the accelerator obtained from the accelerator opening sensor 146 are appropriately combined to detect the state requiring the blind spot monitoring function. It is also possible to automatically turn on the blind spot monitoring function and detect that the driver has not confirmed the display unit 120 at all by the line-of-sight detection sensor 148 and issue an alarm sound.
  • a condition that does not require blind spot monitoring may be set by processing the history of signals from each sensor over time, such as starting from a congested state on a highway.
  • the processing unit 130 may be built in as a function in the control system of the entire vehicle, and in that case, the blind spot monitoring function may be operated by combining the signals of more sensors.
  • the driver touches any moving image of the display unit 120 to switch the changeover switch 140. It is also possible to enlarge the moving image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

簡単な構造で、幼児の礫禍事故を効果的に防止することができる車両周辺画像表示システムを提供すること。 複数の撮像ユニットが車両の外周を死角なく撮像可能に配置され、処理ユニットは、複数の撮像ユニットが撮像した映像信号の任意の１つまたは複数あるいは全ての映像信号を表示画像信号として出力する表示制御手段と、複数の撮像ユニットが撮像した映像信号を処理して障害物を検知する画像解析手段とを有し、表示制御手段は切替スイッチの状態、運転者の運転操作状態及び車両の走行状態の少なくとも１つの状態と、画像解析手段の出力状態とを入力信号とし、入力信号に応じた表示画像信号を出力するよう構成され、画像解析手段は映像信号を処理して障害物を検出するとともに、障害物の形状及び動きから乳幼児を特定可能なＡＩ処理機能を有すること。

Description

車両周辺画像表示システム
　本発明は、車両に取り付けられ周辺の画像を撮影する複数の撮像ユニットと、車両内に設けられた表示ユニットと、前記複数の撮像ユニットが撮像した映像信号を処理し、前記表示ユニットに表示映像信号を合成して出力する処理ユニットとを有する車両周辺画像表示システムに関し、特に、車両の死角に存在する幼児に対する事故発生を有効に防止する車両周辺画像表示システムに関する。
　既存のカメラとモニタは、幼児の特性を含む死角の意識化に至っていない。
　事故が起こり易い発進時、若しくは左折、右折及び後退時に車体の陰に幼児が隠れて見えなくなる死角は想定していない。ドアミラー、サイドミラー、フェンダーミラー、ルームミラー、夫々が狭隘で死角領域の安全性を担保しておらず、サイドカメラの後方撮像領域は狭隘で不十分である。
　Ａピラー、Ｂピラー、Ｃピラー、Ｄピラー死角は巻き込み轢禍事故に影響する。車両に乗り込む時、運転席側に幼児がいると気付くが助手席側のいても気付かない。
　後部座席のドア近くはサイドミラーに写らない。
　運転席のある左側よりも助手席のある右側の方が死角領域は広い。
　運転席の窓から首を出し目視で後方の安全確認はしても車体の周囲を回って安全を確認する人は少ない。
　従来の装置においては、人物から意思行動を観察する等の付加的な情報を得ることが難しいといった問題があり、また、運転者が幼児の特性行動を安易に想定し、意識的に注視して確認しようとする姿勢に欠けていた。
　近年、ＡＩの導入により、人影だけではなく、その行動を監視する防犯カメラもあるが、このようなカメラを導入したとしても死角領域に蹲る幼児は発見できない。
　夜間や悪天候時は目視では見えにくく、見落としたり見過ごしたことで大きな事故に繋がるといった場合もある。
特開２００１－０５５１００号公報
　特許文献１は、安全運転を支援するシステムに関するものであるが運転者の視点であり、幼児の視点が皆無である。
　車両の巻き込み事故防止に触れてはいるが幼児を特定していない。大人と幼児では身長差が乖離し視覚的な認識の難しさもあり幼児の礫禍事故を防止できない。
　多数のビデオカメラを活用した危険監視システムは映像を合成しパノラマ画像を生成するが、既存のサイドミラー、ドアミラー、リアカメラなどの設置位置を踏襲しているため撮像領域は狭隘である。
　また、多目的監視システムはコストが高価で大衆向きでないため、普及するためには構造をシンプルにして、コストを抑える必要がある。
　本発明は、このような課題を解決するものであり、簡単な構造で、幼児の礫禍事故を効果的に防止することができる車両周辺画像表示システムを提供することを目的とするものである。
　幼児の轢禍事故を無くすためには、科学の粋を結集する究明が不可欠である。
　幼児の思いも凭らない奇想天外の行動と事故との因果関係が紙一重であることを踏まえるとＡＩシステム活用が有効である。
　ＡＩを導入し、幼児の徘徊習性可視化映像を解析分析することで幼児の科学的な行動識別が可能となる。
　また、非接触型視線検出装置の導入とセンサー活用及び死角検知システムの導入は幼児轢禍事故防止に繋がる。
　そこで、本発明は、車両に取り付けられ周辺の画像を撮影する複数の撮像ユニットと、車両内に設けられた表示ユニットと、前記複数の撮像ユニットが撮像した映像信号を処理し前記表示ユニットに表示映像信号を合成して出力する処理ユニットとを有する車両周辺画像表示システムであって、前記複数の撮像ユニットは、車両の外周を死角なく撮像可能に配置され、前記処理ユニットは、前記複数の撮像ユニットが撮像した映像信号の任意の１つまたは複数あるいは全ての映像信号を表示画像信号として出力する表示制御手段と、複数の撮像ユニットが撮像した映像信号を処理して障害物を検知する画像解析手段とを有し、前記表示制御手段は、切替スイッチの状態、運転者の運転操作状態及び車両の走行状態の少なくとも１つの状態と、前記画像解析手段の出力状態とを入力信号とし、前記入力信号に応じた表示画像信号を出力するよう構成され、前記画像解析手段は、映像信号を処理して障害物を検出するとともに、障害物の形状及び動きから乳幼児を特定可能なＡＩ処理機能を有することにより、前記課題を解決するものである。
　本請求項１に係る車両周辺画像表示システムによれば、車両の外周を死角なく撮像可能に配置された複数の撮像ユニットと、障害物の形状及び動きから乳幼児を特定可能なＡＩ処理機能を有する画像解析手段により、死角に存在する幼児を確実に検知して、表示ユニットに的確な情報を表示して運転者に確実に伝えることが可能となり、幼児の礫禍事故を効果的に防止することができる。
　本請求項２に記載の構成によれば、車体前方を撮像可能な前方撮像ユニット、車体後方を撮像可能な後方撮像ユニット、１７０°以上の視野角を持ち車体前端の直下まで撮像可能な前端死角撮像ユニット、１７０°以上の視野角を持ち車体後端の直下まで撮像可能な後端死角撮像ユニット及び１７０°以上の視野角を持ち車体側面の直下まで撮像可能な側面死角撮像ユニットを含むことにより、少ない撮像ユニットで車体前後端及び車体側面の直下の死角や側方のピラーによる死角に存在する乳幼児を確実に検知可能となる。
　本請求項３に記載の構成によれば、表示ユニットとして既存のカーナビゲーションシステムのモニタ画面等を流用することで物理的な切替スイッチを設ける必要がなく、構造がより簡略化される。
　本請求項４に記載の構成によれば、運転者が特別な操作を行うことなく、幼児の礫禍事故が発生する可能性のある状態で最適な動作、表示を行うことが可能となる。
　本請求項５に記載の構成によれば、運転者に対しさらに確実に注意喚起することが可能となる。
　本請求項６に記載の構成によれば、さらに確実に幼児の礫禍事故を防止することができる。
本発明の一実施形態である車両周辺画像表示システムの車体側面側から見た上下方向の視野を示す図。 本発明の一実施形態である車両周辺画像表示システムの車体前面側から見た上下方向の視野を示す図。 本発明の一実施形態である車両周辺画像表示システムの車体上方側から見た水平方向の視野を示す図。 本発明の一実施形態である車両周辺画像表示システムの概略ブロック図。 表示ユニットにおける表示画像レイアウト例の説明図。 表示ユニットにおける強調表示例の説明図。
　以下に、本発明の一実施形態である車両周辺画像表示システムについて、図面に基づいて説明する。
　本発明の一実施形態である車両周辺画像表示システム１００は、図１乃至図３に示すように、車両に取り付けられ周辺の画像を撮影する複数の撮像ユニットとして、車体前方を撮像可能な前方撮像ユニット１１１、車体後方を撮像可能な後方撮像ユニット１１２、１７０°以上の視野角を持ち車体前端の直下まで撮像可能な前端死角撮像ユニット１１３、１７０°以上の視野角を持ち車体後端の直下まで撮像可能な後端死角撮像ユニット１１４及び１７０°以上の視野角を持ち車体側面の直下まで撮像可能な側面死角撮像ユニット１１５を有している。
　本実施形態では、前方撮像ユニット１１１は一般的なドライブレコーダーの前方カメラと同様に、フロントガラス上部に取り付けられ、後方撮像ユニット１１２はリアガラスの上部に取り付けられている。
　前端死角撮像ユニット１１３は、車体前端のできる限り前方で、広い視野角によって車体前部の水平方向全体及び地面方向の死角が極力少なくなる位置に取り付けられている。
　後端死角撮像ユニット１１４は、車体後端のできる限り後方で、広い視野角によって車体後部の水平方向全体及び地面方向の死角が極力少なくなる位置に取り付けられている。
　側面死角撮像ユニット１１５は、車体の左右側面で、広い視野角によって車体側部の水平方向全体及び地面方向の死角が極力少なくなる位置に取り付けられている。
　なお、本実施形態では、前端死角撮像ユニット１１３はボンネット先端上部に取り付けられているが、さらに下方のパンパー部等に取り付けられても良い。
　また、後端死角撮像ユニット１１４は、リアガラス直下に取り付けられているが、さらに下方のパンパー部等に取り付けられても良い。
　また、側面死角撮像ユニット１１５は車体前後の中央に近いセンターピラー（Ｂピラー）の上部に配置されているが、水平方向、地面方向の死角が殆どないドアミラー先端部に取り付けてもよい。
　さらに、前端死角撮像ユニット１１３、後端死角撮像ユニット１１４及び各側面の側面死角撮像ユニット１１５を、それぞれ複数としてもよい。
　本発明の一実施形態である車両周辺画像表示システム１００は、図４の概略ブロック図で示すように、車両内に設けられた表示ユニット１２０と、複数の撮像ユニット１１１、１１２、１１３、１１４、１１５が撮像した映像信号を処理し表示ユニット１２０に表示映像信号を合成して出力する処理ユニット１３０を有している。
　処理ユニット１３０は、複数の撮像ユニット１１１、１１２、１１３、１１４、１１５が撮像した映像信号の任意の１つまたは複数あるいは全ての映像信号を表示画像信号として出力する表示制御手段１３０と、複数の撮像ユニット１１１、１１２、１１３、１１４、１１５が撮像した映像信号を処理して障害物を検知する画像解析手段１３１とを有している。
　表示制御手段１３２は、切替スイッチ１４１の状態、運転者の運転操作状態及び車両の走行状態等の状態と、画像解析手段１３１の出力状態とを入力信号とし、入力信号に応じた表示画像信号を出力するよう構成されている。
　運転者の運転操作状態として、本実施形態では、ウインカーレバーセンサ１４２から得られるウインカーレバーの状態、パーキングブレーキセンサ１４７から得られるパーキングブレーキの状態、舵角センサ１４５から得られるハンドルの切れ角、シフトポジションセンサ１４３から得られるシフトレバーの状態、アクセル開度センサ１４６から得られるアクセルの踏み込み量及び運転者の視線を検出する非接触型視線検知検出センサ１４８の出力が用いられ、車両の走行状態として、速度センサ１４４から得られる車速が用いられる。
　また、処理ユニット１３０は、表示制御手段１３２による表示画像信号の出力に連動してオーディオユニットにオーディオ出力信号を出力するように構成されており、状況に応じて、表示制御手段１３２による表示画像信号の出力に連動して車両の駆動制御装置１５０及び制動制御装置１６０に緊急停止指令を出力するように構成されている。
　なお、切替スイッチ１４０は、車両周辺画像表示システム１００による表示のオンオフを切り替えるとともに、表示ユニット１２０に表示される複数の撮像ユニット１１１、１１２、１１３、１１４、１１５の画像の切替や複数表示された画像のレイアウトの切り替え等を行うよう構成されている。
　また、切替スイッチ１４０は、ステアリングスイッチ、表示ユニット１２０のタッチ操作、車内のインパネ等に独立して設けられたスイッチのいずれでもよく、例えば、オンオフはステアリングスイッチ、画像やレイアウトの切替は表示ユニット１２０のタッチ操作と機能を分散させてもよい。
　以上のように構成された車両周辺画像表示システム１００の動作について説明する。
　なお、切替スイッチ１４０による表示の切替は表示ユニット１２０のタッチ操作で行えるものとする。
　まず、切替スイッチ１４０によって死角監視機能をＯＮとすると、表示ユニット１２０に、全ての撮像ユニット１１１、１１２、１１３、１１４、１１５の動画が例えば図５に示すように６分割で表示され、画像解析手段１３１は、リアルタイムで全ての撮像ユニット１１１、１１２、１１３、１１４、１１５の映像信号を処理して障害物を検出するとともに、障害物の形状及び動きから乳幼児を特定する。
　次に、表示制御手段１３２は、シフトポジションセンサ１４３、舵角センサ１４５の信号から車体が進む方向を割り出し、その方向を含む撮像ユニット１１１、１１２、１１３、１１４、１１５の画像を強調して表示ユニット１２０に表示する。
　例えば、シフトポジションセンサ１４３が後退を検知し、舵角センサ１４５が右への操舵を検知した場合、車体は後方に進むとともに、車体の前方が左側に進むこととなるため、図６に示すように、後端死角撮像ユニット１１４及び左側の側面死角撮像ユニット１１５の動画が枠が強調されるとともに、他の動画の輝度が下げられる。
　強調方法としては、該当画像の周囲に注意色の枠を点灯・点滅、該当画像を拡大表示、該当画像以外の表示ＯＦＦ等いかなるものでもよく、これらを組み合わせてもよい。
　車体が進む方向に障害物が検知された場合、処理ユニット１３２はオーディオユニット１３３に警報音を出力させ、障害物に衝突する危険が迫った場合、処理ユニット１３２は駆動制御装置１５０及び制動制御装置１６０に緊急停止指令を出力する。
　また、全ての撮像ユニット１１１、１１２、１１３、１１４、１１５の画像のいずれかで、危険な距離に幼児の存在が確認できた場合には、処理ユニット１３２は、車体が進む方向に関わらず、すぐさまオーディオユニット１３３に警報音を出力させるとともに、処理ユニット１３２は駆動制御装置１５０及び制動制御装置１６０に緊急停止指令を出力する。
　このことで、固定的な障害物に対しては通常の衝突回避機能として作動させ、障害物が動きの予想の困難な幼児であった場合は直ちに停止させることで、幼児の礫禍事故を効果的に防止することができる。
　また、運転者が車両の発進時に切替スイッチ１４０による死角監視機能の操作を失念した場合でも、ウインカーレバーセンサ１４２から得られるウインカーレバーの状態、パーキングブレーキセンサ１４７から得られるパーキングブレーキの状態、舵角センサ１４５から得られるハンドルの切れ角、シフトポジションセンサ１４３から得られるシフトレバーの状態、アクセル開度センサ１４６から得られるアクセルの踏み込み量を適宜組合わせて死角監視機能が必要な状態を検知して自動的に死角監視機能をＯＮとし、視線検知センサ１４８によって運転者が表示ユニット１２０を全く確認していないことを検知して警報音を出すことも可能である。
　例えば、速度がゼロの状態で、パーキングブレーキが解除された、シフトレバー、ウインカーレバー、アクセルが操作された場合は発進時と判断できる。
　また、高速道路での渋滞状態からの発進等、各センサから信号の履歴を経時的に処理して死角監視を必要としない条件を設定してもよい。
　処理ユニット１３０は、車両全体の制御システムに機能として内蔵されていてもよく、その場合、さらに多くのセンサの信号を組み合わせて死角監視機能を動作させてもよい。
　また、表示ユニット１２０に、全ての撮像ユニット１１１、１１２、１１３、１１４、１１５の動画が６分割で表示されている時、運転者が表示ユニット１２０の任意の動画にタッチすることで切替スイッチ１４０として動作し、当該動画を拡大表示させることも可能である。
　以上、本発明の一実施形態を詳述したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載された本発明を逸脱することなく種々の設計変更を行なうことが可能である。
　１００　　　　　　　　　・・・　車両周辺画像表示システム
　１１１　　　　　　　　　・・・　前方撮像ユニット
　１１２　　　　　　　　　・・・　後方撮像ユニット
　１１３　　　　　　　　　・・・　前端死角撮像ユニット
　１１４　　　　　　　　　・・・　後端死角撮像ユニット
　１１５　　　　　　　　　・・・　側面死角撮像ユニット
　１２０　　　　　　　　　・・・　表示ユニット
　１３０　　　　　　　　　・・・　処理ユニット
　１３１　　　　　　　　　・・・　表示制御手段
　１３２　　　　　　　　　・・・　画像解析手段
　１３３　　　　　　　　　・・・　オーディオユニット
　１３４　　　　　　　　　・・・　緊急停止出力手段
　１４１　　　　　　　　　・・・　切替スイッチ
　１４２　　　　　　　　　・・・　ウインカーレバーセンサ
　１４３　　　　　　　　　・・・　シフトポジションセンサ
　１４４　　　　　　　　　・・・　速度センサ
　１４５　　　　　　　　　・・・　舵角センサ
　１４６　　　　　　　　　・・・　アクセル開度センサ
　１４７　　　　　　　　　・・・　パーキングブレーキセンサ
　１４８　　　　　　　　　・・・　視線検知センサ
　１５０　　　　　　　　　・・・　駆動制御装置
　１６０　　　　　　　　　・・・　制動制御装置

Claims (6)

  1. 　車両に取り付けられ周辺の画像を撮影する複数の撮像ユニットと、車両内に設けられた表示ユニットと、前記複数の撮像ユニットが撮像した映像信号を処理し前記表示ユニットに表示映像信号を合成して出力する処理ユニットとを有する車両周辺画像表示システムであって、
    　前記複数の撮像ユニットは、車両の外周を死角なく撮像可能に配置され、
    　前記処理ユニットは、前記複数の撮像ユニットが撮像した映像信号の任意の１つまたは複数あるいは全ての映像信号を表示画像信号として出力する表示制御手段と、複数の撮像ユニットが撮像した映像信号を処理して障害物を検知する画像解析手段とを有し、
    　前記表示制御手段は、切替スイッチの状態、運転者の運転操作状態及び車両の走行状態の少なくとも１つの状態と、前記画像解析手段の出力状態とを入力信号とし、前記入力信号に応じた表示画像信号を出力するよう構成され、
    　前記画像解析手段は、映像信号を処理して障害物を検出するとともに、障害物の形状及び動きから乳幼児を特定可能なＡＩ処理機能を有することを特徴とする車両周辺画像表示システム。
  2. 　前記複数の撮像ユニットは、車体前方を撮像可能な前方撮像ユニット、車体後方を撮像可能な後方撮像ユニット、１７０°以上の視野角を持ち車体前端の直下まで撮像可能な前端死角撮像ユニット、１７０°以上の視野角を持ち車体後端の直下まで撮像可能な後端死角撮像ユニット及び１７０°以上の視野角を持ち車体側面の直下まで撮像可能な側面死角撮像ユニットを含むことを特徴とする請求項１に記載の車両周辺画像表示システム。
  3. 　前記切替スイッチは、前記表示ユニットの画像表示面に設けられたタッチパネルを有することを特徴とする請求項１または請求項２に記載の車両周辺画像表示システム。
  4. 　前記運転者の運転操作状態は、ウインカーレバーの状態、パーキングブレーキの状態、ハンドルの切れ角、シフトレバーの状態、アクセルの踏み込み量及び運転者の視線を検出する非接触型視線検出センサの出力の少なくとも１つあるいは複数の組み合わせにより決定されることを特徴とする請求項１乃至請求項３のいずれかに記載の車両周辺画像表示システム。
  5. 　前記処理ユニットは、前記表示制御手段による表示画像信号の出力に連動してオーディオユニットにオーディオ出力信号を出力するオーディオ出力手段を有することを特徴とする請求項１乃至請求項４のいずれかに記載の車両周辺画像表示システム。
  6. 　前記処理ユニットは、前記表示制御手段による表示画像信号の出力に連動して車両の駆動制御装置及び制動制御装置に緊急停止指令を出力する緊急停止出力手段を有することを特徴とする請求項１乃至請求項５のいずれかに記載の車両周辺画像表示システム。
     
PCT/JP2021/033838 2020-10-14 2021-09-15 車両周辺画像表示システム WO2022080070A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-183205 2020-10-14
JP2020183205 2020-10-14

Publications (1)

Publication Number Publication Date
WO2022080070A1 true WO2022080070A1 (ja) 2022-04-21

Family

ID=81209093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033838 WO2022080070A1 (ja) 2020-10-14 2021-09-15 車両周辺画像表示システム

Country Status (2)

Country Link
JP (1) JP2022064843A (ja)
WO (1) WO2022080070A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250903A (ja) * 2004-03-04 2005-09-15 Techno Craft Co Ltd 監視装置
JP2007022176A (ja) * 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2009090767A (ja) * 2007-10-05 2009-04-30 Honda Motor Co Ltd 車両用後方視認カメラの配置構造及び取付構造
JP2010111275A (ja) * 2008-11-06 2010-05-20 Alpine Electronics Inc 車載用警告装置、警告方法および警告プログラム
JP2012104131A (ja) * 2011-12-12 2012-05-31 Fujitsu Ten Ltd 車両表示装置
JP2013110571A (ja) * 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07215130A (ja) * 1994-02-01 1995-08-15 Hitachi Ltd 車載カメラ切り換え装置
JP2000134516A (ja) * 1998-10-26 2000-05-12 Sony Corp 周辺確認用電子カメラ装置及びこれを備えた車輌
JP4723703B2 (ja) * 1999-06-25 2011-07-13 富士通テン株式会社 車両の運転支援装置
JP2008162308A (ja) * 2006-12-27 2008-07-17 Toyota Motor Corp 車両用撮像装置及び車両用画像処理装置
JP4962788B2 (ja) * 2007-11-02 2012-06-27 株式会社デンソー 車両周辺監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250903A (ja) * 2004-03-04 2005-09-15 Techno Craft Co Ltd 監視装置
JP2007022176A (ja) * 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2009090767A (ja) * 2007-10-05 2009-04-30 Honda Motor Co Ltd 車両用後方視認カメラの配置構造及び取付構造
JP2010111275A (ja) * 2008-11-06 2010-05-20 Alpine Electronics Inc 車載用警告装置、警告方法および警告プログラム
JP2013110571A (ja) * 2011-11-21 2013-06-06 Sony Corp 撮像システムおよび撮像装置
JP2012104131A (ja) * 2011-12-12 2012-05-31 Fujitsu Ten Ltd 車両表示装置

Also Published As

Publication number Publication date
JP2022064843A (ja) 2022-04-26

Similar Documents

Publication Publication Date Title
JP4720386B2 (ja) 運転支援装置
JP4782963B2 (ja) 駐車する車両の周辺状況を監視するための装置
JP5812598B2 (ja) 物体検出装置
US9221384B2 (en) Method for controlling a display device of a motor vehicle
US9576208B2 (en) Emergency vehicle detection with digital image sensor
US20190031206A1 (en) Viewing System With Field Of Vision Superimposition Depending On The Driving Situation
JP4867463B2 (ja) 運転支援装置
WO2020031873A1 (ja) 脇見運転検出装置
JP2010130646A (ja) 車両周辺確認装置
JP6649914B2 (ja) 画像表示装置
WO2017145549A1 (ja) 脇見見落とし注意システム及びコンピュータプログラム
US20190135181A1 (en) Mirror display system with blind spot display
KR20170070457A (ko) 차량 및 그 제어방법
US20220144169A1 (en) Rear-view camera system for a trailer hitch system
JP2008120142A (ja) 自動車用情報表示システム
JP2013191050A (ja) 車両周辺監視装置
US10836311B2 (en) Information-presenting device
TWI834799B (zh) 車用擴增實境眼鏡輔助裝置
KR101882188B1 (ko) 차량 및 그 제어방법
JPH1148828A (ja) 車両周辺監視装置
WO2022080070A1 (ja) 車両周辺画像表示システム
WO2020148957A1 (ja) 車両制御装置及び方法
JP2005309660A (ja) 車両用右左折支援装置
JP4449618B2 (ja) 車両周辺監視システム
KR101652414B1 (ko) 차량 승하차 안전제어 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP