JP7392754B2 - 車両の後方監視システム及び車両の後方監視方法 - Google Patents

車両の後方監視システム及び車両の後方監視方法 Download PDF

Info

Publication number
JP7392754B2
JP7392754B2 JP2022046661A JP2022046661A JP7392754B2 JP 7392754 B2 JP7392754 B2 JP 7392754B2 JP 2022046661 A JP2022046661 A JP 2022046661A JP 2022046661 A JP2022046661 A JP 2022046661A JP 7392754 B2 JP7392754 B2 JP 7392754B2
Authority
JP
Japan
Prior art keywords
vehicle
collision
possibility
camera
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022046661A
Other languages
English (en)
Other versions
JP2023140692A (ja
Inventor
隆太 津田
康博 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2022046661A priority Critical patent/JP7392754B2/ja
Priority to DE102023105893.2A priority patent/DE102023105893A1/de
Priority to CN202310259743.XA priority patent/CN116803790A/zh
Priority to US18/124,625 priority patent/US20230302999A1/en
Publication of JP2023140692A publication Critical patent/JP2023140692A/ja
Application granted granted Critical
Publication of JP7392754B2 publication Critical patent/JP7392754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、車両の後方監視システム及び車両の後方監視方法に関する。
車両には衝突防止を目的として車両の周囲を撮像し、撮像した画像を、車両を上方から見た俯瞰画像に変換して運転席内のモニタに表示することで、車両の周囲にある障害物を運転手が把握しやすくするシステムが知られている（特許文献１）。また、広角カメラのように、通常のカメラよりも画角が広いカメラで車両の周囲を撮像する技術も知られている（特許文献２）。
特開２０２２－２３８７０号公報 特開２０２２－６８４４号公報
車両の周囲にある障害物には路上の障害物だけでなく、車庫の屋根や庇のように車両の上方に位置する構造物もある。また、建物が２階建ての場合、建物の内部に１階の天井部分や２階の床部分となる構造物が車両より上方に設けられる。
しかしながら特許文献１の俯瞰画像を表示する技術では車両の上方にある構造物は仮に俯瞰画像に表示されていても高さが分らないので、特に車両が後退する際に構造物の下を車両が衝突せずに走行できるか運転手が分からない問題があった。また特許文献２のような広角カメラが撮像した画像も、車両より上にある構造物が仮に映っていても高さが分からないので、特に車両が後退する際に衝突する可能性があるか否かを運転手が把握できない問題があった。
本開示は上記課題に鑑みてなされたもので、車両の後方かつ上方にある構造物に車両が衝突する可能性を運転手が把握できる、車両の後方監視システムの提供を目的とする。
上記の目的を達成するための本開示の一態様は、車両の後方かつ上方にある物体を監視する車両の後方監視システムであって、前記車両に設置され、前記車両の後端の上端より後方かつ上方の前記物体を検出する物体検出部と、前記物体検出部が検出した前記物体の位置、大きさ及び前記車両に対する速度ベクトルを特定する物体特定部と、前記物体特定部が特定した前記物体の位置、大きさ及び速度ベクトルから、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、を備え、前記物体検出部は、前記車両の後端の上端に設置され、設置位置における水平方向より上方を含む車両後方の画像を予め定められた所定の時間間隔で繰り返し撮像する上部カメラと、前記車両の後端で前記上部カメラよりも低い位置に設置され、前記上部カメラの設置位置より上方を含む車両後方の画像を前記所定の時間間隔で繰り返し撮像する下部カメラを備え、前記物体特定部は、前記所定の時間間隔で前記上部カメラと前記下部カメラの撮像した画像を、路面から上方を見上げた見上げ図であって、前記車両の後端の上端より後方かつ上方にある前記物体の前記上部カメラ及び前記下部カメラが撮像した画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューと下部鳥瞰ビューに変換し、前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分から前記物体の位置、大きさ、及び速度ベクトルを特定することを特徴とする。
本開示の他の態様は、車両の後方かつ上方にある物体を監視する車両の後方監視方法であって、後方監視システムにより、前記車両の後端の上端に設置され、設置位置における水平方向より上方を含む車両後方の画像を予め定められた所定の時間間隔で繰り返し撮像する上部カメラと、前記車両の後端で前記上部カメラよりも低い位置に設置され、前記上部カメラの設置位置より上方を含む車両後方の画像を前記所定の時間間隔で繰り返し撮像する下部カメラを用いて、前記車両の後端の上端より後方かつ上方の前記物体を検出する物体検出工程と、前記所定の時間間隔で前記上部カメラと前記下部カメラの撮像した画像を、路面から上方を見上げた見上げ図であって、前記車両の後端の上端より後方かつ上方にある前記物体の前記上部カメラ及び前記下部カメラが撮像した画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューと下部鳥瞰ビューに変換し、前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分から前記物体検出工程で検出した前記物体の位置、大きさ及び前記車両に対する速度ベクトルを特定する物体特定工程と、前記物体特定工程で特定した前記物体の位置、大きさ及び速度ベクトルから、前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、を実施することを特徴とする。
本開示によれば、車両の後方かつ上方にある構造物に車両が衝突する可能性を運転手が把握できる、車両の後方監視システムを提供できる。
本開示の第１の実施形態に係る後方監視システムを備えたトラックの側面図である。 第１の実施形態に係る後方監視システムの機能ブロック図である。 第１の実施形態に係る後方監視システムでトラックの後方かつ上方にある物体を検出する手順を説明するための斜視図である。 第１の実施形態に係る後方監視システムでトラックの後方かつ上方にある物体を検出する手順を説明するための図であって、（ａ）は図３の側面図であり、倉庫は断面図で示し、（ｂ）は（ａ）の平面図である。 図３及び図４に示す状態で物体検出部としての広角カメラが撮像した倉庫の画像を模式的に示す図である。 第１の実施形態に係る後方監視システムを用いた後方監視方法の手順を示すフロー図である。 第２の実施形態に係る後方監視システムでトラックの後方かつ上方の物体を検出する手順を説明するための側面図であり、倉庫は断面図で示す。 第２の実施形態に係る後方監視システムで物体検出部を用いて柱を撮像した画像を模式的に示す図であって、（ａ）は上部カメラで撮像した上部カメラ画像を示し、（ｂ）は下部カメラで撮像した下部カメラ画像を示す。 （ａ）は図８（ａ）に示す上部カメラ画像を、地面から上方を見上げた見上げ図に変換した図を模式的に示したものであり、（ｂ）は図８（ｂ）に示す上部カメラ画像を、地面から上方を見上げた見上げ図に変換した図を模式的に示したものである。
以下、図面を参照して本開示に好適な実施形態を詳細に説明する。ここでは後方監視システム１として、バンボディ型の荷台１０７を備えた車両であるトラック１００の荷台１０７の後方かつ上方の物体を検出するシステムを例示している。また、以下の図ではＸ方向をトラック１００の前後方向、Ｙ方向をトラック１００の車幅方向、Ｚ方向を鉛直方向として図示している。
まず、図１を参照して第１の実施形態に係るトラック１００の構造の概要を説明する。図１に示すトラック１００はトラック１００を構成する装置を支持する構造体であるシャシ１０３、シャシ１０３の前端に設けられた運転室であるキャブ１０５、キャブ１０５の後方のシャシ１０３に設けられた荷台１０７、及び後方監視システム１を備える。
次に、図１～図５を参照して第１の実施形態に係る後方監視システム１の構造の詳細を説明する。図１及び図２に示すように後方監視システム１は物体検出部３、物体特定部７、及び衝突可能性判定部９を備える。
物体検出部３はトラック１００の後方かつ上方、ここでは荷台１０７の後方かつ上方の物体を検出する装置であり、トラック１００の荷台１０７に設置される。ここでいう「物体を検出する」とは、物体の位置、大きさ、及びトラック１００に対する物体の速度ベクトルを特定するのに必要な情報を取得することを意味する。例えば単眼カメラのような撮像装置は撮像した画像からエッジ抽出等の公知の画像解析で物体の位置、大きさ、速度ベクトルを特定できる。よって、単眼カメラは物体を特定するのに必要な情報としての画像を取得できるので物体検出部３に含まれる。また、クリアランスソナーのように、周囲に超音波を照射して、物体に反射して跳ね返ってきた超音波を検出する装置も、超音波が跳ね返ってくるのに要する時間や跳ね返ってきた向きから物体の位置、大きさ、速度ベクトルを特定できるので、物体検出部３に含まれる。
単眼カメラの場合はクリアランスソナーと異なり、超音波のような波動を照射しないので、波動が荷台１０７に当たって荷台１０７を物体と誤検出することが無い点で有利である。さらにトラック１００に広角カメラ等の既設の後方監視用のカメラがある場合は、そのカメラを物体検出部３に流用できる点でも有利である。一方でクリアランスソナーは検出した超音波から物体の位置を直接検出できるため、単眼カメラと画像解析の組み合わせよりも物体の検出精度が高い点で有利である。以下の説明では特に断りが無い限りは、物体検出部３として単眼カメラである広角カメラを用いた場合を例に説明する。
例えば図３及び図４（ａ）に示すように、トラック１００が倉庫１１１内に入口１１３からＸ１の向きに後退して進入しようとしているとする。また倉庫１１１は二階建てであり、一階部分の天井であり、二階部分の床である二階床１１５が倉庫１１１の背面において、トラック１００の上端よりも高い位置からＸ２の向きに突設されていたとする。
この場合、広角カメラである物体検出部３はトラック１００の荷台１０７の後端の上端より後方かつ上方にある部分を含む画像を撮像する。具体的には荷台１０７の後端、倉庫１１１の入口１１３の上枠１１３ａ、及び倉庫１１１内の二階床１１５が映るような画像を撮像する。広角カメラの画角及び光軸はトラック１００の荷台１０７の後端の後方かつ上方を含む画像を撮像できる範囲で適宜設定すればよい。撮像した画像Ｇの例を図５に示す。図５に示す画像Ｇでは倉庫１１１、倉庫１１１の入口１１３、入口１１３の上枠１１３ａ、及び倉庫１１１内の二階床１１５が映っている。なお、画像Ｇは広角カメラが撮像した画像であるため、本来は直線である部分が円形に歪んで映っている。
また、物体検出部３は予め定められた所定の時間間隔で物体を特定するのに必要な情報を取得する。物体検出部３が広角カメラの場合、物体検出部３は所定の時間間隔で繰り返し撮像を行う。これは、検出した物体の画像上の位置や大きさの変動から物体のトラック１００に対する速度ベクトルを取得するためである。また物体検出部３の設置位置は荷台１０７の後方かつ上方の物体を検出できる位置であれば、具体的な設置位置は適宜選択できる。図１では荷台１０７の後端の上端に設置された例を示している。物体検出部３の車幅方向の設置位置は車幅方向中央であると、物体を検出できる範囲が車幅方向の左右で同程度になるので好ましい。
図２に示す物体特定部７は、物体検出部３が検出した物体の位置、大きさ及びトラック１００に対する速度ベクトルを特定する装置であり、例えばキャブ１０５内に設けられる。具体的には物体特定部７は、物体を特定するのに必要な情報を物体検出部３から取得し、取得した情報から物体の位置、大きさ、及びトラック１００に対する物体の速度ベクトルを特定する。
物体検出部３が広角カメラの場合、物体特定部７は物体を特定するのに必要な情報として、広角カメラが撮像した画像Ｇを物体検出部３から取得する。物体検出部３がクリアランスソナーの場合、物体特定部７は物体を特定するのに必要な情報として、照射した超音波が跳ね返ってくるまでに要した時間や、跳ね返ってきた向き等を物体検出部３から取得する。
物体検出部３が広角カメラの場合、物体特定部７は広角カメラが撮像した画像Ｇから画像解析で物体の位置、大きさ、及びトラック１００に対する物体の速度ベクトルを特定する。具体的には物体の位置は画像Ｇ中の物体の角部を画像中の明るさの変化等を利用して抽出する、所謂エッジ抽出で特定するのが、簡易に物体の位置を特定できるので好適である。物体の大きさ、ここではＹ方向の幅及びＺ方向の高さは抽出した物体の画像に占める範囲から算出すればよい。ここでいう物体の速度ベクトルとは、物体のトラック１００に対する相対的な移動速度と移動する向きを意味する。図５に示す例では、倉庫１１１自体は移動しないので、倉庫１１１の速度は、本来０である。ただし、広角カメラが撮像した画像Ｇにおいては、トラック１００が移動すると画像Ｇ中の上枠１１３ａや二階床１１５の位置や大きさが変動する。例えば図３及び図４（ａ）に示すようにトラック１００がＸ１の向きに移動している場合、トラック１００は上枠１１３ａや二階床１１５に近づいているため、画像Ｇを所定の時間間隔で繰り返し撮像すると、上枠１１３ａや二階床１１５が次第に大きく映る。つまり、画像Ｇの上では、トラック１００に対して上枠１１３ａや二階床１１５が相対的に所定の速度でＸ２の向きに移動しているように見える。そのため、物体特定部７は、物体検出部３が所定の時間間隔で撮像した複数の画像Ｇにおける、抽出した物体の位置の変動、及び画像Ｇに占める範囲の変動から相対的な移動速度と移動の向きを速度ベクトルとして特定する。
物体検出部３がクリアランスソナーの場合、物体特定部７は照射した超音波が跳ね返ってくるまでに要した時間、つまり超音波の照射から検出までの時間、及び超音波が跳ね返ってきた向きから、物体の位置、大きさ、速度ベクトルを特定すればよい。
図２に示す衝突可能性判定部９は物体特定部７が特定した物体の位置、大きさ、及び速度ベクトルから、物体検出部３が検出した物体がトラック１００に衝突する可能性を判定する装置であり、例えばキャブ１０５内に設けられる。衝突可能性判定部９は、物体検出部３が検出した物体がトラック１００に衝突する可能性があると判定した場合は衝突の可能性をトラック１００の運転手に知得させる装置でもある。なお、衝突する可能性とは、運転手が直ちにブレーキを踏まなければ衝突を回避できないほどの状態ではなく、現在のトラック１００の移動する向きから想定される移動軌跡の範囲内に物体がある状態を意味する。物体がトラック１００に衝突する可能性の判定基準としては、以下のような例を示すことができる。
まず、衝突可能性判定部９は物体特定部７が特定した物体の大きさが予め定められた所定以上の大きさか否かを判定し、所定以上の大きさでない場合は衝突する可能性を判定しない。これは、空を舞うゴミや砂塵のように、トラック１００に衝突しても問題ない物の衝突可能性を判定する必要はないためである。所定以上の大きさとは、例えばトラック１００に衝突するとトラック１００を損傷させる可能性がある大きさである。
次に衝突可能性判定部９は物体特定部７が特定した物体がトラック１００に衝突するか否かを判定する。具体的には図３及び図４（ａ）に示す、トラック１００の荷台１０７の後端の背面視での外周を示す目安線２１をトラック１００の後方に延ばしていった場合に、物体特定部７が特定した物体が目安線２１で囲まれた領域２３内に入るか否かを判定する。その結果、領域２３内に入らないと判定した場合は衝突する可能性が無いものとする。これは、目安線２１で囲まれた領域２３は車両が移動する際の移動軌跡の内側であるため、この領域２３に物体が入らない場合は衝突する可能性がないためである。なお、目安線２１で囲まれた領域２３は以下のように設定する。まず図３に示すように、目安線２１よりも後方で、かつ現在の舵角でトラック１００が所定の距離だけ後退した場合の目安線２１の位置に該当する場所に、目安線２１と、同じ寸法、形状の目安線２１の一種である、後方目安線２１ａを設定する。所定の距離の上限は物体検出部３が物体を検出できる距離の上限に対応した距離である。次に目安線２１の角部と後方目安線２１ａの角部を線２１ｂで結ぶ。目安線２１、後方目安線２１ａ、及び線２１ｂで囲まれた部分が領域２３である。
なお、目安線２１は荷台１０７の後端の背面視での外周と全く同じ寸法である必要はない。例えば図４（ｂ）に示す目安線２１の幅Ｂ４は、荷台１０７の幅と同じであるが、図４（ａ）に示す目安線２１の高さＢ１は荷台１０７の高さＢ３よりも高い。これは、トラック１００が図４（ａ）に示す路面１０９上の段差１２１のように、部分的に高い部分を乗り越える際に荷台１０７の後端の高さが一時的に高くなった場合を想定したものである。よって高さＢ１は想定される最も高い段差１２１を乗り越える際の荷台１０７の後端の高さに対応した高さを例示できる。また目安線２１の位置も荷台１０７の後端の位置と完全に一致する必要はない。図４（ａ）に示すように、荷台１０７の後端から予め定められた所定の距離Ｂ２だけ後方の位置に目安線２１を設定してもよい。これは、仮に目安線２１で囲まれた領域２３内に物体がある場合に、その物体との衝突を回避しようとして運転手がブレーキをかけた場合の制動距離を考慮したものである。
後方目安線２１ａの位置は、トラック１００が移動する向きによって異なる。図３ではトラック１００が前後方向であるＸ方向に平行なＸ１の向きに後退しているため、後方目安線２１ａの位置は目安線２１のＸ方向後方である。一方で、例えばトラック１００が左右いずれかに旋回しながら後退している場合、後方目安線２１ａの位置は目安線２１から左右いずれかの向きにずれた位置になる。線２１ｂも、トラック１００が旋回している場合は直線ではなく、曲線である。これは、領域２３はトラック１００の移動軌跡を示す範囲だからである。なお、トラック１００が旋回しているか否かは図２に示す舵角センサ１１から取得できる。
次に、衝突可能性判定部９は物体特定部７が特定した物体の速度ベクトルの大きさがトラック１００の速度以上で、物体とトラック１００の速度ベクトルの向きが反対の場合に衝突する可能性があると判定する。具体的には物体とトラック１００が互いに接近している場合に衝突する可能性があると判定する。互いに遠ざかっている場合は衝突する可能性が無いためである。このように衝突可能性判定部９は検出した物体の大きさが所定以上で、領域２３に入り、かつ互いに接近している場合に衝突する可能性があると判定する。そのため、トラック１００の走行状態に応じて衝突の可能性を判定できる。なおトラック１００の速度は図２に示すように速度センサ１３から取得できる。トラック１００の移動する向きはトラック１００の車輪が回転する向きや舵角から判定すればよい。
衝突可能性判定部９は物体がトラック１００に衝突する可能性があると判定した場合、衝突の可能性をトラック１００の運転手に知得させる。具体的に知得させる手段としては、例えばキャブ１０５内に図２に示すスピーカ１７がある場合は、衝突する可能性を音で伝える手段を例示できる。また、キャブ１０５内に図５に示す画像Ｇを表示する表示部１５が設けられている場合、図５に示すように、画像Ｇから検出した物体である、倉庫１１１の入口１１３の上枠１１３ａを強調する強調表示３１を表示部１５に表示された画像Ｇに重ねて表示してもよい。また、画像Ｇから検出した物体である、倉庫１１１内の二階床１１５を強調する強調表示３３を表示部１５に表示された画像Ｇに重ねて表示してもよい。表示部１５に表示された強調表示３１、３３を運転手が見ることで、上枠１１３ａや二階床１１５に荷台１０７の上端が衝突する可能性があることを運転手が知得できるためである。
衝突可能性判定部９はさらに、トラック１００に衝突する可能性があると判定した物体とトラック１００の距離が予め定められた所定の距離以内になった場合、衝突の危険性があると判定して、衝突の危険性をトラック１００の運転手に知得させる。衝突の危険性とは、衝突の可能性とは異なり、運転手がブレーキを踏まないと物体と衝突する可能性がある場合である。そのため、予め定められた所定の距離とは、ブレーキの制動距離に安全率を乗じた値である。ただしここでいう衝突とは、目安線２１で囲まれた長方形の範囲、具体的に図３で、ハッチングで示した範囲と物体が重なるという意味である。そのため、図４（ａ）に示す目安線２１のように、高さＢ１が実際の荷台１０７の高さＢ３よりも高い場合は、衝突の危険性があると判定された場合でも、実際には物体と荷台１０７が衝突しない場合もある。例えば図４（ａ）に示す入口１１３の上枠１１３ａや二階床１１５の設置高さは実際の荷台１０７の高さＢ３よりも高いため、仮に衝突の危険性があると判定された場合でも実際にトラック１００に衝突するとは限らない。
具体的に衝突の危険性をトラック１００の運転手に知得させる手段は、衝突の可能性を運転手に知得させる手段と同じである。このように、衝突の可能性がある物体との距離が所定の距離まで接近すると、衝突の危険性があるとして運転手に危険性を知得させることで、衝突の危険性を回避できる。
このように衝突の可能性及び危険性をトラック１００の運転手に知得させる構成は、特に図４（ｂ）に示すように俯瞰図とも呼ばれるトラック１００の周囲の平面図を図２に示す表示部１５に表示している場合に有効である。図４（ｂ）に示す平面図を運転手が見ても倉庫１１１は表示されているが、入口１１３の上枠１１３ａや二階床１１５は表示されていない。そのため倉庫１１１がトラック１００の後方にあることは分かっても、トラック１００が上枠１１３ａや二階床１１５に衝突する可能性があるか否かは分からないためである。このように平面図を図２に示す表示部１５に表示している場合に後方監視システム１は、上枠１１３ａや二階床１１５にトラック１００が衝突する可能性をスピーカ１７で警報を発する等して運転手に知得させることができる。これにより、運転手が表示部１５の表示画像を平面図から、図５に示す広角画像のように上枠１１３ａや二階床１１５が映っている画像に切り変える等して、上枠１１３ａや二階床１１５を視認して衝突を回避する行動を取れる。
よって後方監視システム１は表示部１５に表示された画像にトラック１００の後方かつ上方が映っていない場合に物体検出部３が物体を検出し、物体特定部７が物体の位置、大きさ、速度ベクトルを特定し、衝突可能性判定部９が衝突の可能性及び危険性を判定して衝突の可能性や危険性がある場合にその旨を運転手に知得させてもよい。表示部１５に表示された画像にトラック１００の後方かつ上方が映っていない場合とは、表示部１５にトラック１００の周囲の平面図が表示されている場合や、トラック１００の周囲の、トラック１００の後方かつ上方を含まない範囲を撮像した画像が表示部１５に表示されている場合である。表示された画像がトラック１００の後方かつ上方を含まない範囲を撮像した画像であるか否かは、画像を撮像したカメラの画角から判定すればよい。
なお、平面図を生成する構成としては、物体特定部７が広角カメラの場合は、物体検出部３等の複数のカメラが撮像したカメラ画像を物体特定部７や他のコンピュータが公知の画像処理技術で平面図に変換する構成にすればよい。
後方監視システム１は、表示部１５に表示された画像にトラック１００の後方かつ上方が映っていない場合に、検出した物体がトラック１００に衝突する可能性があると判定した場合、例えば以下の３通りの手段で、衝突の可能性をトラック１００の運転手に知得させられる。
まず、表示部１５に表示された画像にトラック１００の後方かつ上方が映っていない場合に物体検出部３が検出した物体がトラック１００に衝突する可能性があると衝突可能性判定部９が判定した場合、衝突可能性判定部９が、表示部１５の表示を、トラック１００の後方かつ上方が映っていない画像から、検出した物体が撮像されたカメラ画像に切り替えることで、衝突の可能性をトラック１００の運転手に知得させる手段が挙げられる。例えば、図４（ｂ）に示すように、表示部１５に倉庫１１１の平面図が表示されている場合に倉庫１１１の上枠１１３ａや二階床１１５がトラック１００に衝突する可能性があると衝突可能性判定部９が判定したとする。この場合、表示部１５に上枠１１３ａや二階床１１５は表示されていないため、衝突可能性判定部９は表示部１５の表示を図４（ｂ）に示す平面図から図５に示すような、上枠１１３ａや二階床１１５が撮像された画像Ｇに切り替える。この手段は、運転手が表示部１５に表示する画像の切替操作をしなくても、衝突する可能性があると判定された物体を含む画像に自動で表示を切り替えられる点で有利である。
次に、表示部１５がトラック１００の周囲の平面図を表示する装置である場合に、物体検出部３が検出した物体がトラック１００に衝突する可能性があると衝突可能性判定部９が判定した場合、衝突可能性判定部９が、検出した物体の位置を平面図に投影した投影ラインを表示部１５に描画することで、衝突の可能性をトラック１００の運転手に知得させる手段が挙げられる。例えば図４（ｂ）に示すように、表示部１５に倉庫１１１の平面図が表示されている場合に倉庫１１１の上枠１１３ａや二階床１１５がトラック１００に衝突する可能性があると衝突可能性判定部９が判定した場合、衝突可能性判定部９は上枠１１３ａを平面図に投影した投影ライン６９や二階床１１５を平面図に投影した投影ライン６７を平面図に重ねて表示部１５に描画すればよい。この手段は、平面図を表示したままで、トラック１００に衝突する可能性がある物体の平面上の位置を運転手が把握できる点で有利である。
さらに、表示部１５に表示された画像にトラック１００の後方かつ上方が映っていない場合に、物体検出部３が検出した物体がトラック１００に衝突する可能性があると衝突可能性判定部９が判定した場合、衝突可能性判定部９が、物体検出部３が検出した物体が撮像されたカメラ画像を、表示部１５の一部の領域に、トラック１００の後方かつ上方が映っていない画像に重ねて表示することで、衝突の可能性をトラック１００の運転手に知得させる手段も挙げられる。例えば図４（ｂ）に示すように、表示部１５に倉庫１１１の平面図が表示されている場合に倉庫１１１の上枠１１３ａや二階床１１５がトラック１００に衝突する可能性があると衝突可能性判定部９が判定した場合、衝突可能性判定部９は図５に示すような、上枠１１３ａや二階床１１５が映っている画像Ｇを、図４（ｂ）に示すように、既に表示部１５に映っている平面図に重ねて、表示部１５の一部の領域である左下に表示する。この手段は、平面図を表示したたままで、トラック１００に衝突する可能性がある物体の位置及び形状を立体的に視認できる点で有利である。以上が第１の実施形態に係る後方監視システム１の構造の詳細な説明である。
次に、図６を参照して第１の実施形態に係る後方監視システム１を用いた後方監視方法について簡単に説明する。まず図２に示す物体特定部７は物体検出部３にトラック１００の荷台１０７の後端の上端より後方かつ上方の物体を検出する指令を出す。物体検出部３は指令に基づき車両後方を所定の時間間隔で撮像する等して、物体を特定するのに必要な情報を取得して物体特定部７に送信する（図６のＳ１、物体検出工程）。
図２に示す物体特定部７は、物体を特定するのに必要な情報、ここでは車両後方を撮像した画像から画像解析等により物体の位置、大きさ、及び速度ベクトルを特定する（図６のＳ２、物体特定工程）。物体特定部７は特定した物体の位置、大きさ、及び速度ベクトルを衝突可能性判定部９に送信する。
次に、図２に示す衝突可能性判定部９は、受信した物体の位置、大きさ、及び速度ベクトルから物体がトラック１００に衝突する可能性があるか否かを判定する。その結果、衝突する可能性があると判定した場合はＳ４に進み、衝突する可能性がないと判定した場合はリターンする（図６のＳ３）。
Ｓ３で物体がトラック１００に衝突する可能性があると判定した場合、図２に示す衝突可能性判定部９はキャブ１０５内に設置された表示部１５やスピーカ１７を用いて衝突の可能性を運転手に知得させ、Ｓ５に進む（図６のＳ４）。なお、Ｓ３とＳ４を衝突可能性判定工程ともいう。
次に図２に示す衝突可能性判定部９は、Ｓ３でトラック１００に衝突する可能性があると判定した物体が、トラック１００に衝突する危険性があるか否かを判定する。その結果、衝突する危険性があると判定した場合はＳ６に進み、衝突する危険性がないと判定した場合はリターンする（図６のＳ５）。具体的には、図２に示す衝突可能性判定部９は、Ｓ２で特定された物体の位置を基に、トラック１００に衝突する可能性があると判定した物体とトラック１００の最短距離が予め定められた所定の距離以内になった場合に衝突の危険性があると判定する。
Ｓ５で物体がトラック１００に衝突する危険性があると判定した場合、図２に示す衝突可能性判定部９はキャブ１０５内に設置された表示部１５やスピーカ１７を用いて衝突の危険性を運転手に知得させてリターンする（図６のＳ６）。なお、Ｓ５とＳ６を衝突危険性判定工程ともいう。以上が第１の実施形態に係る後方監視システム１を用いた後方監視方法の簡単な説明である。
このように第１の実施形態によれば、後方監視システム１は物体検出部３と、物体特定部７と、衝突可能性判定部９を備える。この構成ではトラック１００の後端の上端より後方かつ上方の物体を物体検出部３が検出し、検出した物体の位置、大きさ、及び速度ベクトルを物体特定部７が特定し、検出した物体がトラック１００に衝突する可能性を衝突可能性判定部９が判定する。そのため、車両の後方かつ上方に位置する構造物に車両が衝突する可能性を運転手が把握できる。
次に第２の実施形態について図７～図９を参照して説明する。第２の実施形態は物体検出部３として、高さが異なる２か所にカメラを設けてトラック１００の後方かつ上方を撮像し、撮像した画像を路面１０９から上方を見上げる鳥瞰ビューに各々変換し、鳥瞰ビューの差分６４から物体を特定する構成としたものである。なお、第２の実施形態において、第１の実施形態と同様の機能を果たす要素については同一の番号を付し、主に第１の実施形態と異なる部分について説明する。
図７に示すように第２の実施形態に係る後方監視システム１ａは、物体検出部３として、上部カメラ３ａ及び下部カメラ３ｂを備える。上部カメラ３ａはトラック１００の荷台１０７の後端の上端に設置され、設置位置における水平方向より上方を含むトラック１００の後方の画像を予め定められた所定の時間間隔で繰り返し撮像する単眼カメラである。上部カメラ３ａは第１の実施形態で物体検出部３が単眼カメラである場合と構造や設置位置は同じである。
下部カメラ３ｂは、上部カメラ３ａの設置位置より上方を含むトラック１００の後端の上端より後方かつ上方の画像を所定の時間間隔で繰り返し撮像する単眼カメラである。下部カメラ３ｂはトラック１００の後端で上部カメラ３ａよりも低い位置、ここではシャシ１０３の後端に設置される。車幅方向の下部カメラ３ｂの設置位置は上部カメラ３ａと同じである。下部カメラ３ｂの構造は上部カメラ３ａの構造と同じであり、上部カメラ３ａの設置位置より上方を含むトラック１００の後端の上端より後方かつ上方の画像を撮像できる画角と光軸に設定される。この構成では、後方監視システム１ａはトラック１００の後端の上端より後方かつ上方を上部カメラ３ａ及び下部カメラ３ｂの２つのカメラで所定の時間間隔で撮像している。この構成でトラック１００の後端の上端より後方かつ上方にある物体の位置、大きさ、速度ベクトルを特定する手順は以下の通りである。
例えば、図７に示すように倉庫１１１の二階床１１５の下面から下方に柱４１が突設されていたとする。柱４１はトラック１００の後端の上端より後方かつ上方にあるとする。この柱４１の位置、大きさ、速度ベクトルを特定したい場合、まず上部カメラ３ａ及び下部カメラ３ｂの２つのカメラでトラック１００の後端の上端より後方かつ上方を含む画像を第１の実施形態と同様に撮像する。上部カメラ３ａが撮像した画像である上部カメラ画像Ｇ１を模式的に図８（ａ）に示す。下部カメラ３ｂが撮像した画像である下部カメラ画像Ｇ２を模式的に図８（ｂ）に示す。
図８（ａ）及び図８（ｂ）に示すように上部カメラ画像Ｇ１及び下部カメラ画像Ｇ２には、少なくとも柱４１が映っている。ただし柱４１の背後の部分は柱４１に隠れており、映っていない。また、背後に隠れた部分の大きさは上部カメラ画像Ｇ１の方が下部カメラ画像Ｇ２よりも大きい、これは、上部カメラ画像Ｇ１の方が下部カメラ画像Ｇ２よりも柱４１から近い位置で撮像された画像だからである。
次に物体特定部７は、上部カメラ３ａと下部カメラ３ｂが撮像した画像である上部カメラ画像Ｇ１と下部カメラ画像Ｇ２を、路面１０９から上方を見上げた見上げ図である上部鳥瞰ビューＴ１及び下部鳥瞰ビューＴ２に各々変換する。上部鳥瞰ビューＴ１及び下部鳥瞰ビューＴ２の仮想視点は上部カメラ画像Ｇ１と下部カメラ画像Ｇ２の撮像範囲を路面１０９に投影した場合の、投影した範囲の図心に設定すればよい。上部カメラ画像Ｇ１を変換した上部鳥瞰ビューＴ１を模式的に図９（ａ）に示す。下部カメラ３ｂが撮像した画像である下部鳥瞰ビューＴ２を模式的に図９（ｂ）に示す。
図９（ａ）及び図９（ｂ）に示すように、柱４１のように高さがあるものは、上部鳥瞰ビューＴ１と下部鳥瞰ビューＴ２に映る形状と、実際の形状とが大きく異なっている。また上部鳥瞰ビューＴ１と下部鳥瞰ビューＴ２を比較しても、表示された形状や寸法に大きな違いがある。具体的には上部カメラ画像Ｇ１と下部カメラ画像Ｇ２では柱４１に隠れて映っていなかった部分の後方が柱４１と同じものとして画像補正されている。柱４１はトラック１００の車幅方向の中央付近にあるため、上部カメラ画像Ｇ１と下部カメラ画像Ｇ２では柱４１に隠れて映っていなかった部分の後方が台形状の補正部６５として画像補正されている。
また上部鳥瞰ビューＴ１は下部鳥瞰ビューＴ２よりも補正部６５が大きい。これは、上部カメラ画像Ｇ１の方が下部カメラ画像Ｇ２よりも柱４１の背後に隠れた部分が大きいためである。この補正部６５の差分６４の位置と大きさは柱４１の位置と大きさと相関がある。具体的には差分６４の位置は柱４１の位置の後方なので、差分６４の位置から柱４１の位置を特定できる。位置が特定できれば柱４１と荷台１０７の後端との距離Ｄも求められる。また、柱４１が大きくなるほど差分６４が大きくなるので、差分６４の、トラック１００の前後方向の長さΔＬから柱４１の鉛直方向の高さを特定できる。さらに差分６４の、トラック１００の車幅方向の幅、図９（ａ）では最短幅ΔＷから、柱４１の幅を特定できる。また柱４１のＺ方向の長さやＹ方向の幅が大きくなるほど差分６４の面積ΔＳが大きくなるので、柱４１の長さや幅を差分６４の面積ΔＳから推定することもできる。そのため、差分６４の位置と大きさからトラック１００の後端の上端より後方かつ上方にある物体の位置、大きさを特定できる。
また、所定の間隔で撮像した上部カメラ画像Ｇ１と下部カメラ画像Ｇ２を上部鳥瞰ビューＴ１及び下部鳥瞰ビューＴ２に逐次変換した場合、差分６４の大きさや位置の変動から速度ベクトルを求められる。具体的には差分６４の大きさが時間の経過とともに次第に大きくなっている場合、物体のトラック１００に対する相対的な速度の向きは、トラック１００に近づく向きである。また、単位時間当たりの差分６４の大きさの変動が大きくなるほど、物体のトラック１００に対する相対速度が速い。
そのため、差分６４の位置と大きさの変動からトラック１００の後端の上端より後方かつ上方にある物体の速度ベクトルを特定できる。このように、差分６４の位置、大きさ、及びこれらの変動と、柱４１の位置、大きさ、及び速度ベクトルには相関がある。そのため、この相関を実験等で求めておき、求めた相関に差分６４を当てはめれば、柱４１の位置、大きさ、及び速度ベクトルを求められる。なお、第２の実施形態において物体を特定する手段以外の構成、例えば衝突の可能性や危険性の判定基準は第１の実施形態と同様であるため、説明を省略する。
第１の実施形態と第２の実施形態のいずれを採用するかは各々の利点を考慮して適宜選択すればよい。例えば第１の実施形態では物体検出部３を荷台１０７の後端の上端のみに設置すればよいので、物体検出部３の設置個所が第２の実施形態と比べて少ない点で有利である。一方で第２の実施形態では、物体検出部３として単眼カメラを用いても物体の位置と大きさを高精度で検出できる点で有利である。
以上、実施形態に基づき本開示を説明したが本開示は実施形態に限定されない。当業者であれば本開示の技術思想の範囲内において各種変形例及び改良例に想到するのは当然のことであり、これらも当然に本開示に含まれる。
１、１ａ ：後方監視システム
３ ：物体検出部
３ａ ：上部カメラ
３ｂ ：下部カメラ
７ ：物体特定部
９ ：衝突可能性判定部
１１ ：舵角センサ
１３ ：速度センサ
１５ ：表示部
１７ ：スピーカ
２１ ：目安線
２１ａ ：後方目安線
２１ｂ ：線
２３ ：領域
３１、３３：強調表示
４１ ：柱
６４ ：差分
６５ ：補正部
６７、６９：投影ライン
１００ ：トラック
１０３ ：シャシ
１０５ ：キャブ
１０７ ：荷台
１０９ ：路面
１１１ ：倉庫
１１３ ：入口
１１３ａ ：上枠
１１５ ：二階床
１２１ ：段差

Claims (11)

  1. 車両の後方かつ上方にある物体を監視する車両の後方監視システムであって、
    前記車両に設置され、前記車両の後端の上端より後方かつ上方の前記物体を検出する物体検出部と、
    前記物体検出部が検出した前記物体の位置、大きさ及び前記車両に対する速度ベクトルを特定する物体特定部と、
    前記物体特定部が特定した前記物体の位置、大きさ及び速度ベクトルから、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
    を備え、
    前記物体検出部は、
    前記車両の後端の上端に設置され、設置位置における水平方向より上方を含む車両後方の画像を予め定められた所定の時間間隔で繰り返し撮像する上部カメラと、
    前記車両の後端で前記上部カメラよりも低い位置に設置され、前記上部カメラの設置位置より上方を含む車両後方の画像を前記所定の時間間隔で繰り返し撮像する下部カメラを備え、
    前記物体特定部は、
    前記所定の時間間隔で前記上部カメラと前記下部カメラの撮像した画像を、路面から上方を見上げた見上げ図であって、前記車両の後端の上端より後方かつ上方にある前記物体の前記上部カメラ及び前記下部カメラが撮像した画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューと下部鳥瞰ビューに変換し、前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分から前記物体の位置、大きさ、及び速度ベクトルを特定することを特徴とする車両の後方監視システム。
  2. 前記物体検出部は、
    前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分がある位置から前記物体の前記位置を特定する、請求項１に記載の車両の後方監視システム。
  3. 前記物体検出部は、
    前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分の前記車両の前後方向の長さと前記車両の車幅方向の最短幅から前記物体の高さと前記物体の幅を前記物体の前記大きさとして特定する、請求項１又は２に記載の車両の後方監視システム。
  4. 前記物体検出部は、
    前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分の面積から前記物体の高さと前記物体の幅を前記物体の前記大きさとして特定する、請求項１又は２に記載の車両の後方監視システム。
  5. 前記物体検出部は、
    前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分の位置と大きさの変動から前記物体の前記速度ベクトルを特定する、請求項１～４のいずれか１項に記載の車両の後方監視システム。
  6. 前記衝突可能性判定部は、
    前記物体特定部が特定した前記物体の大きさが予め定められた所定以上の大きさで、
    前記車両の後端の外周を示す目安線を前記車両の後方に延ばしていった場合に、前記物体特定部が特定した前記物体が前記目安線で囲まれた領域内に入り、
    前記物体特定部が特定した前記物体の速度ベクトルの大きさが前記車両の速度以上で、前記物体と前記車両の速度ベクトルの向きが反対の場合に衝突する可能性があると判定して、衝突の可能性を前記車両の運転手に知得させる、請求項１～５のいずれか一項に記載の車両の後方監視システム。
  7. 前記車両の運転室に設けられた表示部に、前記車両の周囲の平面図、又は前記車両の周囲の、前記車両の後方かつ上方を含まない範囲を撮像した画像が表示されている場合に、前記物体検出部が前記物体を検出し、前記物体特定部が前記物体の位置、大きさ、及び速度ベクトルを特定し、前記衝突可能性判定部が衝突の可能性を判定して衝突の可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる、請求項１～６のいずれか一項に記載の車両の後方監視システム。
  8. 前記衝突可能性判定部は、
    前記物体検出部が検出した前記物体が前記車両に衝突する可能性があると判定した場合、前記表示部の表示を、前記平面図、又は前記車両の周囲の、前記車両の後方かつ上方を含まない範囲を撮像した画像から、検出した前記物体が撮像されたカメラ画像に切り替えることで、衝突の可能性を前記車両の運転手に知得させる、請求項７に記載の車両の後方監視システム。
  9. 前記表示部は、前記車両の周囲の平面図を表示する装置であり、
    前記衝突可能性判定部は、
    前記物体検出部が検出した前記物体が前記車両に衝突する可能性があると判定した場合、検出した前記物体の位置を前記平面図に投影した投影ラインを前記表示部に、前記平面図に重ねて描画することで、衝突の可能性を前記車両の運転手に知得させる、請求項７に記載の車両の後方監視システム。
  10. 前記衝突可能性判定部は、
    前記物体検出部が検出した前記物体が前記車両に衝突する可能性があると判定した場合、検出した前記物体が撮像されたカメラ画像を、前記表示部の一部の領域に前記平面図、又は前記車両の周囲の、前記車両の後方かつ上方を含まない範囲を撮像した画像に重ねて表示することで、衝突の可能性を前記車両の運転手に知得させる、請求項７に記載の後方監視システム。
  11. 車両の後方かつ上方にある物体を監視する車両の後方監視方法であって、
    後方監視システムにより、
    前記車両の後端の上端に設置され、設置位置における水平方向より上方を含む車両後方の画像を予め定められた所定の時間間隔で繰り返し撮像する上部カメラと、前記車両の後端で前記上部カメラよりも低い位置に設置され、前記上部カメラの設置位置より上方を含む車両後方の画像を前記所定の時間間隔で繰り返し撮像する下部カメラを用いて、前記車両の後端の上端より後方かつ上方の前記物体を検出する物体検出工程と、
    前記所定の時間間隔で前記上部カメラと前記下部カメラの撮像した画像を、路面から上方を見上げた見上げ図であって、前記車両の後端の上端より後方かつ上方にある前記物体の前記上部カメラ及び前記下部カメラが撮像した画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューと下部鳥瞰ビューに変換し、前記上部鳥瞰ビューと前記下部鳥瞰ビューのそれぞれの前記補正部の差分から前記物体検出工程で検出した前記物体の位置、大きさ及び前記車両に対する速度ベクトルを特定する物体特定工程と、
    前記物体特定工程で特定した前記物体の位置、大きさ及び速度ベクトルから、前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、
    を実施することを特徴とする車両の後方監視方法。
JP2022046661A 2022-03-23 2022-03-23 車両の後方監視システム及び車両の後方監視方法 Active JP7392754B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022046661A JP7392754B2 (ja) 2022-03-23 2022-03-23 車両の後方監視システム及び車両の後方監視方法
DE102023105893.2A DE102023105893A1 (de) 2022-03-23 2023-03-09 Fahrzeugrückwärtiges überwachungssystem und fahrzeugrückwärtiges überwachungsverfahren
CN202310259743.XA CN116803790A (zh) 2022-03-23 2023-03-17 车辆的后方监视系统及车辆的后方监视方法
US18/124,625 US20230302999A1 (en) 2022-03-23 2023-03-22 Vehicle rearward monitoring system and vehicle rearward monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022046661A JP7392754B2 (ja) 2022-03-23 2022-03-23 車両の後方監視システム及び車両の後方監視方法

Publications (2)

Publication Number Publication Date
JP2023140692A JP2023140692A (ja) 2023-10-05
JP7392754B2 true JP7392754B2 (ja) 2023-12-06

Family

ID=87930669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022046661A Active JP7392754B2 (ja) 2022-03-23 2022-03-23 車両の後方監視システム及び車両の後方監視方法

Country Status (4)

Country Link
US (1) US20230302999A1 (ja)
JP (1) JP7392754B2 (ja)
CN (1) CN116803790A (ja)
DE (1) DE102023105893A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027556A (ja) 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006131166A (ja) 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2007235529A (ja) 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2009093332A (ja) 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2009188635A (ja) 2008-02-05 2009-08-20 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010079455A (ja) 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2016072940A (ja) 2014-10-02 2016-05-09 いすゞ自動車株式会社 車両後方監視装置
JP2019069657A (ja) 2017-10-06 2019-05-09 株式会社Ｓｕｂａｒｕ 車両制御システム
JP2019110448A (ja) 2017-12-19 2019-07-04 クラリオン株式会社 表示制御装置及び表示システム
JP2019185105A (ja) 2018-04-02 2019-10-24 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7283514B2 (ja) 2017-07-19 2023-05-30 株式会社アイシン 表示制御装置
JP7433146B2 (ja) 2020-06-25 2024-02-19 日産自動車株式会社 物体検出方法及び物体検出装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027556A (ja) 2004-07-21 2006-02-02 Nissan Motor Co Ltd 車両用周辺監視装置
JP2006131166A (ja) 2004-11-09 2006-05-25 Alpine Electronics Inc 運転支援装置
JP2007235529A (ja) 2006-03-01 2007-09-13 Nissan Motor Co Ltd 車両周囲監視システム及び画像表示方法
JP2009093332A (ja) 2007-10-05 2009-04-30 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2009188635A (ja) 2008-02-05 2009-08-20 Nissan Motor Co Ltd 車両周辺画像処理装置及び車両周辺状況提示方法
JP2010079455A (ja) 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2016072940A (ja) 2014-10-02 2016-05-09 いすゞ自動車株式会社 車両後方監視装置
JP2019069657A (ja) 2017-10-06 2019-05-09 株式会社Ｓｕｂａｒｕ 車両制御システム
JP2019110448A (ja) 2017-12-19 2019-07-04 クラリオン株式会社 表示制御装置及び表示システム
JP2019185105A (ja) 2018-04-02 2019-10-24 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置

Also Published As

Publication number Publication date
CN116803790A (zh) 2023-09-26
JP2023140692A (ja) 2023-10-05
US20230302999A1 (en) 2023-09-28
DE102023105893A1 (de) 2023-09-28

Similar Documents

Publication Publication Date Title
JP4760831B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP6424263B2 (ja) 大型車両の移動オブジェクト衝突警告装置および方法
JP5620472B2 (ja) 車両の駐車に使用するためのカメラシステム
JP5550695B2 (ja) 作業車両用周辺監視システム及び作業車両
WO2020189085A1 (ja) 車両における運転支援制御装置、運転支援システムおよび運転支援方法
WO2012043184A1 (ja) 駐車支援装置
JP5516988B2 (ja) 駐車支援装置
CN109691088A (zh) 图像处理设备、图像处理方法、以及程序
JP6127659B2 (ja) 運転支援装置及び運転支援方法
JP6801786B2 (ja) 駐車支援方法及び駐車支援装置
JP2000128031A (ja) ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム
WO2019183981A1 (en) Vehicle and method for avoiding a collision of a vehicle with one or more obstacles
JP2013239015A (ja) 駐車支援装置、駐車支援方法およびプログラム
JP2016068712A (ja) 車載用画像処理装置
JP2004356845A (ja) 移動体周辺監視装置
JP5338417B2 (ja) 車両の周辺地上高を検出して作動する安全装置及び周辺地上高検出装置
JP5617396B2 (ja) 運転支援装置
JP6465919B2 (ja) 障害物検知システム
JP7392754B2 (ja) 車両の後方監視システム及び車両の後方監視方法
JP2004356846A (ja) 移動体周辺監視装置
JP4677820B2 (ja) 予測進路表示装置および予測進路表示方法
JP5788048B2 (ja) 作業車両用周辺監視システム及び作業車両
JP4539472B2 (ja) 車両用走行支援装置
JP4092509B2 (ja) 物体判定装置、および物体判定方法
JP7359243B1 (ja) 車両の間接視界提供システム及び車両の間接視界提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7392754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150