JP5692403B2 - 障害物警報装置 - Google Patents

障害物警報装置 Download PDF

Info

Publication number
JP5692403B2
JP5692403B2 JP2013541508A JP2013541508A JP5692403B2 JP 5692403 B2 JP5692403 B2 JP 5692403B2 JP 2013541508 A JP2013541508 A JP 2013541508A JP 2013541508 A JP2013541508 A JP 2013541508A JP 5692403 B2 JP5692403 B2 JP 5692403B2
Authority
JP
Japan
Prior art keywords
index
displayed
image
captured image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013541508A
Other languages
English (en)
Other versions
JPWO2013065119A1 (ja
Inventor
哲也 丸岡
哲也 丸岡
明 角屋
明 角屋
圭吾 池田
圭吾 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Application granted granted Critical
Publication of JP5692403B2 publication Critical patent/JP5692403B2/ja
Publication of JPWO2013065119A1 publication Critical patent/JPWO2013065119A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Description

本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に関する。
車両の周囲には運転者の位置から視認できない死角があり、運転者は車両の運転にあたり当該車両の周囲に細心の注意を払う必要がある。特に、車両を後退して駐車させる場合には、駐車自体に苦手意識を持っているユーザも多く、精神的疲労も少なくない。そこで、従来、車両の周囲の障害物を監視する技術が利用されてきた(例えば特許文献1及び2)。
特許文献1に記載の車両の障害物警報装置は、横移動障害物検出手段と、横移動方向検出手段と、横移動情報提供手段とを備えて構成される。横移動障害物検出手段は車両前方において進行方向を横切る方向に移動する障害物を検出する。横移動方向検出手段は横移動障害物検出手段により検出された障害物の横移動方向を検出する。横移動情報提供手段は横移動方向検出手段により検出された障害物の横移動方向に関する情報をドライバーに提供する。この際、横移動情報提供手段は表示部に横移動方向検出手段により検出された横移動方向を表わす矢印をディスプレイに表示する。
特許文献2に記載の車両周囲監視装置は、撮像手段と、障害物検出手段と、表示手段とを備えて構成される。撮像手段は自車両の一部を含む車両周囲を撮像する。障害物検出手段は車両周囲に位置する障害物を検出し、検出した障害物と自車両との距離を算出する。表示手段は撮像手段によって撮像された撮像画像と障害物検出手段によって算出された距離を示す障害物表示画像とを1つの画面に表示する。
特開平11−115660号公報 特開2009−217740号公報
特許文献1や特許文献2に記載の技術のように車両の周囲の障害物を検出し、当該障害物を明示する情報(矢印等)を画面表示することで運転者に車両の周囲の障害物の存在を報知することが可能である。しかしながら、車両に搭載されるディスプレイ(表示手段)の画面サイズは大きいものではない。このため、ディスプレイに表示される車両の周囲の状況を示す画像上に矢印等を表示すると、車両の周囲の状況が見難くなったり障害物を把握できなくなったりする可能性がある。
本発明の目的は、上記問題に鑑み、車両の周囲の状況を見難くすることなく、車両に接近する障害物の存在を運転者に明示することが可能な障害物警報装置を提供することにある。
上記目的を達成するための本発明に係る障害物警報装置の特徴構成は、
車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像の中央部分を注目撮影画像として生成する注目撮影画像生成部と、
前記撮影画像のうち前記注目撮影画像の外側に外側領域を生成する外側領域生成部と、
前記側領域に物体が存在するか否かを判定する物体存在判定部と、
前記外側領域の物体の移動方向を判定する移動方向判定部と、
前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記注目撮影画像のうち前記物体が存在する外側領域の側から中央側に向けて、一定時間点灯したのち消灯する複数の指標を順次異なる位置に表示させる表示を繰り返し行うと共に、前記複数の指標どうしを一部重畳する位置に表示させ、後に表示する指標と直前に表示した指標との重複部分については後に表示する指標を上書き表示させる表示を繰り返し行う明示画像出力部と、
を備えている点にある。
このような特徴構成とすれば、車両に備えられる表示装置(例えばモニタ)の画面内に物体が映っていなくても、車両に接近する物体が撮影範囲内に入った時点で、車両の周囲の状況を表示しつつ、運転者に車両に接近する物体の存在及び方向を明示することができる。したがって、表示装置の画面サイズが小さい場合でも、車両に接近する物体を見逃すことがなくなる。また、このような指標は画面の側端部に表示されるので、運転者が車両の周囲の状況が見難くなることがない。したがって、車両の周囲の状況を見難くすることなく、車両に接近する障害物(物体)の存在を運転者に明示することが可能となる。更には、指標が画面の中央に迫ってくるように表示することができる。したがって、運転者が障害物の接近を直感的に認識し易くなる。
また、前記後に表示する指標が、前記直前に表示した指標よりもサイズを大きく表示すると好適である。
このような構成とすれば、指標が、画面の中央に迫ってくる状態をより視覚的に表示することができる。したがって、運転者が障害物の接近をより効果的に認識し易くなる。
また、前記後に表示する指標が、前記直前に表示した指標よりも透明度を低く表示すると好適である。
このような構成とすれば、指標が、画面の中央に迫ってくる状態をより視覚的に表示することができる。したがって、運転者が障害物の接近をより効果的に認識し易くなる。また、画面の端部に表示される情景を隠すことがないので、急に障害物が飛び出してきた場合でも、適切に障害物を把握することが可能となる。
また、前記指標が、前記注目撮影画像の中央側に突出する凸部を有する矢印形状に構成してあると好適である。
このような構成とすれば、障害物の移動方向と凸部が向く方向とが一致しているので、運転者が直感的に障害物の移動方向を認識することができる。
また、前記明示画像出力部は、前記物体が前記注目撮影画像に対応する領域に進入した場合に前記指標の出力を中止するよう構成してあると好適である。
このような構成とすれば、物体が表示装置の画面(表示画像)内に映った時点で指標の表示を中止できるので、物体が指標に隠れることがない。したがって、車両に接近した物体を適切に視認することができる。
障害物警報装置の構成を模式的に示したブロック図である。 障害物警報装置の処理の一例を示した図である。 合成画像の一例を示した図である。 合成画像の一例を示した図である。 障害物警報装置の処理を模式的に示した図である。 その他の実施形態に係る合成画像を示した図である。
以下、本発明の実施の形態について、詳細に説明する。本発明に係る障害物警報装置100は、車両に接近する物体がある場合に当該車両の運転者に物体が接近していることを明示する機能を備えている。以下、図面を用いて説明する。
図1は、障害物警報装置100の構成を模式的に示したブロック図である。図1に示されるように、障害物警報装置100は、撮影画像取得部11、注目撮影画像生成部12、外側領域生成部13、物体存在判定部14、移動方向判定部15、明示画像出力部16、明示画像格納部17、合成画像生成部18、マスク領域設定部19、マスク領域強調表示部20、動作画像出力部30、動作画像格納部31の各機能部を備えて構成される。各機能部はCPUを中核部材として車両1の運転者に物体7の接近を明示する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
撮影画像取得部11は、車両1の周囲の情景を撮影した撮影画像Gを取得する。ここで、車両1にはカメラ5が備えられる。本実施形態におけるカメラ5は、CCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するとともに、撮影した情報を動画情報として出力するデジタルカメラにより構成される。このようなカメラ5は、図2(a)に示されるように、車両1の外側後部に備えられるライセンスププレートの近傍、或いは車両1の外側後部に備えられるエンブレムの近傍等に、車両1の後方に向けてやや俯角を有して配設される。また、カメラ5は広角レンズ(図示せず)を備えて構成される。これにより、車両1の後方を略180度に亘って、車両1の周囲の情景を撮影することができる。このような撮影範囲は、図2(a)の「広視野角」として示される。このカメラ5は、リアルタイムで動画を撮影画像Gとして出力する性能を有する。このような撮影画像Gは、撮影画像取得部11に伝達される。
このような撮影画像Gの一例が図2(b)に示される。図2(b)の全幅は、図2(a)の広視野角に対応する。ここで、撮影画像Gは、図2(a)に示されるような車両1から後方を見て左側にいる物体7が、図2(b)に示されるように撮影画像G内の右側にいるように鏡像処理が行われる。これは、モニタ50に車両1の後方の情景を表示する際、車両1の運転者が撮影画像Gに含まれる物体7が車両1の左側にいるのか右側にいるのかを感覚的に理解し易くするためである。
図1に戻り、注目撮影画像生成部12は、撮影画像Gに基づいて注目撮影画像を生成する。本実施形態では、撮影画像Gの撮影範囲は広視野角である。このため、注目撮影画像生成部12は、撮影画像Gの中央部分である狭視野領域Nを注目撮影画像として生成する。撮影画像Gは上述の撮影画像取得部11から伝達される。本実施形態では、注目撮影画像は、図2(b)に示される撮影画像Gの横方向の中央部分が相当する。このような狭視野領域Nは、図1(a)の「狭視野角」のような例えば車両1の後方120〜130度程度の領域とすると好適である。また、狭視野領域Nは車両1が後退する際の進行可能範囲に近いので、撮影画像Gのうち特に注目すべき領域であることから「注目撮影画像」と称される。このような注目撮影画像は、後述するモニタ50に表示される表示画像に対応する(図2(c)参照)。なお、本実施形態では、「注目撮影画像」は「狭視野領域」の画像であるとして説明する。
外側領域生成部13は、注目撮影画像の外側の外側領域Oを生成する。すなわち、撮影画像Gのうち狭視野領域Nの外側の外側領域Oを生成する。上述のように、撮影画像Gの横方向の中央部分に注目撮影画像生成部12により狭視野領域Nが生成される。外側領域生成部13はこのような狭視野領域Nの横方向の外側に、図2(b)のような外側領域Oを生成する。外側領域生成部13により生成された外側領域Oは、後述する物体存在判定部14に伝達される。
物体存在判定部14は、外側領域Oに物体7が存在するか否かを判定する。外側領域Oは、外側領域生成部13から伝達される。物体7が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能である。もちろん、パターンマッチング以外の処理により、外側領域Oに物体7が存在するか否かを判定することは可能である。物体存在判定部14の判定結果は、後述する移動方向判定部15に伝達される。
移動方向判定部15は、外側領域Oの物体7の移動方向を判定する。このような移動方向の判定は、物体存在判定部14により、外側領域Oに物体7が存在すると判定された場合に行われる。特に本実施形態では、移動方向判定部15により、外側領域Oの物体7が狭視野領域Nの側に移動するか否かが判定される。狭視野領域Nの側に移動するとは、車両1の後方において、車両1の幅方向外側から、車両1の真後ろの方向に移動することを示す。このような判定は、例えば現在の撮影画像Gにおける物体7の位置と所定時間前の撮影画像Gにおける物体7の位置とを比較して行うことも可能であるし、オプティカルフローを用いるなどの公知の手法を用いて行うことができる。このような移動方向の判定結果は、後述する明示画像出力部16に伝達される。
明示画像出力部16は、移動方向判定部15により外側領域Oの物体7が注目撮影画像の中央側に移動すると判定された場合に、注目撮影画像のうち物体7が存在する外側領域Oの側から中央側に向けて、一定時間点灯したのち消灯する指標Sを順次異なる位置に表示させると共に、当該表示を繰り返し行う。ここで、本実施形態では、注目撮影画像は、狭視野領域Nの画像に相当する。したがって、明示画像出力部16は、外側領域Oの物体7が車両1の狭視野領域Nの側に移動する場合に、狭視野領域Nのうち物体7が存在する外側領域Oの側から中央側に向けて、一定時間点灯したのち消灯する指標Sを順次異なる位置に表示させると共に、当該表示を繰り返し行う。外側領域Oの物体7が車両1の狭視野領域Nの側に移動するか否かは、上述の移動方向判定部15により判定される。狭視野領域Nのうち物体7が存在する外側領域Oの側とは、物体7が左側の外側領域Oにいる場合には狭視野領域N内の左側の領域が相当する。一方、物体7が右側の外側領域Oにいる場合には狭視野領域N内の右側の領域が相当する。
一定時間点灯したのち消灯する指標Sとは、指標Sが連続して表示されている状態ではなく、指標Sが点滅して表示されている状態を示す。本実施形態では、このような指標Sが表示されてから消灯し、更に次に表示される場合には、異なる位置に表示される。したがって、指標Sは、画面上の所定の2つの位置の間を点滅しながら移動している状態になる。明示画像出力部16は、このような指標Sの点滅しながらの移動を繰り返し行う。
ここで、指標Sについて説明する。本実施形態に係る指標Sは、注目撮影画像(狭視野領域N)の中央側に突出する凸部を有する矢印形状に構成されている。このような指標Sは、図2(d)に示されるように明示画像格納部17に格納されている。図2(c)には、図2(b)に示されるような撮影画像G、すなわち右側の外側領域Oに物体7がいる場合に車両1のモニタ50に表示される画像が示される。図2(c)に示されるように、本実施形態ではモニタ50に複数の指標Sが表示されることがある。係る場合、複数の指標Sどうしが一部重畳する位置に表示される。一部重複するとは、本実施形態では、複数の指標Sのうちの一方の矢印形状の凸部の側の部分と、複数の指標Sのうちの他方の矢印形状の凸部でない側の部分とが重複することをいう。また、複数の指標Sがある場合には、後に表示する指標Sと直前に表示した指標Sとの重複部分については後に表示する指標Sを上書き表示するよう構成される。すなわち、直前に表示された指標Sよりも、後の表示される指標Sの方が上の層に配置されるように構成される。本実施形態では、このような直前に表示される指標Sは、後に表示される指標Sよりも透明度が高く表示される。すなわち、後に表示される指標Sが、直前に表示された指標Sよりも透明度が低く表示される。したがって、指標Sが複数表示されている場合には、最上層の指標Sが最も透明度が低く、最下層の指標Sが最も透明度が高くなる。
また、指標Sは直前に表示された指標Sよりも、後に表示される指標Sの方が大きなサイズで構成される。したがって、指標Sが複数表示されている場合には、最上層の指標Sが最もサイズが大きく、最下層の指標Sが最もサイズが小さくなる。なお、夫々の指標Sは、互いに相似する形状でサイズの大小を設定しても良いし、指標Sの縦又は横の何れか一方の長さを変更してサイズの大小を設定しても良い。
明示画像出力部16は、このような表示を繰り返し行う。ここで、本実施形態では、図2(c)に示されるように、指標Sは狭視野領域Nである注目撮影画像に合成してモニタ50に表示される。そこで、合成画像生成部18は、注目撮影画像に指標Sを合成した合成画像を生成する。これにより、図2(c)に示されるような画像が生成される。
このように指標Sを表示することにより、指標Sが次第に大きくなるように表示させることが可能となる。これにより、車両1の乗員に対して当該車両1に物体7が接近していることを視覚的に明示することができる。
更に、明示画像出力部16は、移動方向判定部15により外側領域Oの物体7が注目撮影画像の中央側に移動すると判定された場合に、注目撮影画像の輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標Wを、注目撮影画像の外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう。ここで、本実施形態では、注目撮影画像は、狭視野領域Nの画像に相当する。したがって、明示画像出力部16は、外側領域Oの物体7が狭視野領域Nの側に移動する場合に、狭視野領域Nの輪郭よりも小さい外形を有し一定時間点灯したのち消灯する枠指標Wを、狭視野領域Nの外縁部から中央側に向けて順次異なる位置に表示させると共に、当該表示を繰り返し行なう。ここで、上述のようにモニタ50には狭視野領域Nである注目撮影画像が表示される。したがって、狭視野領域Nの輪郭よりも小さい外形を有する枠指標Wとは、枠指標Wがモニタ50の画面サイズよりも小さいことを意味する。外側領域Oの物体7が車両1の狭視野領域Nの側に移動するか否かは、上述の移動方向判定部15により判定される。
一定時間点灯したのち消灯する枠指標Wとは、枠指標Wが連続して表示されている状態ではなく、枠指標Wが点滅して表示されている状態を示す。本実施形態では、このような枠指標Wが表示されてから消灯し、更に次に表示される場合には、異なる中央側の位置に表示される。したがって、枠指標Wは、次第に小さくなるように表示される。明示画像出力部16は、このような枠指標Wの点滅しながらの移動を繰り返し行う。
ここで、枠指標Wについて説明する。本実施形態に係る枠指標Wは、注目撮影画像(狭視野領域N)の輪郭よりも小さい外形で構成されている。図2(c)に示されるように、本実施形態ではモニタ50に複数の枠指標Wが表示されることがある。係る場合、枠指標Wは直前に表示された枠指標Wよりも、後の表示される枠指標Wの方が小さなサイズで構成される。また、枠指標Wは直前に表示された枠指標Wよりも、後の表示される枠指標Wの方が透明度が低く構成される。これにより、枠指標Wが画面中央側から飛び出してくるように表示することが可能となる。なお、このような枠指標Wは、図2(d)に示されるように明示画像格納部17に格納されている。
明示画像出力部16は、このような表示を繰り返し行う。ここで、本実施形態では、図2(d)に示されるように、枠指標Wは狭視野領域Nである注目撮影画像に合成してモニタ50に表示される。そこで、合成画像生成部18は、注目撮影画像に枠指標Wを合成した合成画像を生成する。これにより、図2(c)に示されるような画像が生成される。
マスク領域設定部19は、注目撮影画像のうち、車両1の周囲の情景の少なくとも一部を非表示にするマスク領域Mを設定する。本実施形態では、マスク領域Mは図2(c)に示されるように、画面上部、すなわち、注目撮影画像内の上側部分に設定される。このマスク領域Mは、注目撮影画像の横方向両側に亘って形成される。マスク領域M内は、車両1の上方の情景が見えないように、例えば黒色で彩色される。もちろん、他の色で彩色しても良い。
動作画像出力部30は、外側領域Oの物体7が注目撮影画像に対応する領域、すなわち狭視野領域Nに進入した場合に、明示指標がマスク領域Mのうち物体7が存在する側から吸収される画像を出力する。外側領域Oの物体7が狭視野領域Nに進入したか否かは、移動方向判定部15により判定される。明示指標とは、物体7が狭視野領域Nに進入した場合にモニタ50に表示されている指標Sが相当する。マスク領域Mのうち物体7が存在する側とは、右側の外側領域Oに物体7が存在していた場合には、マスク領域Mの右側部であり、左側の外側領域Oに物体7が存在していた場合には、マスク領域Mの左側部である。吸収される画像とは、マスク領域Mに指標Sが吸収されて消滅していく画像である。このような画像は、動作画像格納部31に予め格納されている。
ここで、物体7が狭視野領域Nに進入した場合には、注目撮影画像の端部に物体7が表示される。このため、物体7が狭視野領域Nに進入した場合に、指標Sをマスク領域Mに吸収させることにより、狭視野領域Nの端部に表示される物体7を明示指標により隠すことなく表示することが可能となる。したがって、車両1の運転者に物体7の存在を適切に明示することが可能となる。
また、動作画像出力部30は、マスク領域Mへの明示指標の吸収に伴い、当該明示指標が吸収された位置からマスク領域Mの表示色を変更するよう構成されている。すなわち、明示指標がマスク領域Mの右側から吸収された場合には、マスク領域Mを右側から左側に向って彩色していく画像を出力し、明示指標がマスク領域Mの左側から進入した場合には、マスク領域Mを左側から右側に向って彩色していく画像を出力する。このようにマスク領域Mを彩色することにより、車両1の運転者に物体7が進入した側を明示することも可能となる。
このような明示指標がマスク領域Mに進入すると共に、マスク領域Mが彩色されていく一連の画像の一例が、図3及び図4に示される。図3は、外側領域Oにいる物体7が狭視野領域Nの側に移動している場合に、狭視野領域Nに指標S及び枠指標Wが重畳して表示されている例を示している。図4(a)に示されるように、物体7が右側の外側領域Oから狭視野領域Nに進入すると、枠指標Wの重畳が終了する。また、図4(b)−(e)に示されるように、指標Sがマスク領域Mの右側から吸い込まれるようにマスク領域Mに進入する。これに合わせて、マスク領域Mが右側から順次彩色され、最終的にはマスク領域Mの全域が彩色される(図4(f))。
図1に戻り、マスク領域強調表示部20は、外側領域Oの物体7が注目撮影画像に対応する領域、すなわち狭視野領域Nに進入した場合にマスク領域Mを強調表示させる。本実施形態では、強調表示とは、点滅表示である。外側領域Oの物体7が狭視野領域Nに進入したか否かは、移動方向判定部15により判定される。マスク領域強調表示部20は、移動方向判定部15の判定結果に応じて、マスク領域Mを点滅させる。これにより、車両1の運転者に、狭視野領域Nに物体7が存在することを視覚的に明示することが可能となる。
また、マスク領域強調表示部20は、物体7が注目撮影画像に対応する領域、すなわち狭視野領域Nから退出した場合にマスク領域Mの強調表示を中止する。物体7が狭視野領域Nから退出したか否かも、移動方向判定部15により判定することが可能である。すなわち、移動方向判定部15は、外側領域Oの狭視野領域N側から外側領域Oに進入する物体7があれば、物体7が狭視野領域Nから退出したと判定することが可能である。このような判定結果も、マスク領域強調表示部20に伝達される。また、本実施形態では、強調表示とは点滅表示である。したがって、マスク領域強調表示部20は、このような判定結果が伝達されると、マスク領域Mの点滅を中止する。これにより、車両1の運転者に、狭視野領域Nに物体7が存在していないことを視覚的に明示することが可能となる。
次に、障害物警報装置100が、注目撮影画像に明示画像を重畳した合成画像をモニタ50に表示する一連の処理について、図5の模式図を用いて説明する。まず、撮影画像取得部11が、車両1のカメラ5により撮影された撮影画像Gを取得する(ステップ#1)。
次に、注目撮影画像生成部12が、取得された撮影画像Gの中央部分を注目撮影画像として生成する(ステップ#2)。一方、外側領域生成部13が、取得された撮影画像Gの横方向両側部分を外側領域Oとして生成する(ステップ#3)。このように生成された外側領域Oに物体7が存在しているか否か、物体存在判定部14により判定される(ステップ#4)。
外側領域Oに物体7が存在していると判定されると、移動方向判定部15により当該物体7の移動方向が判定される(ステップ#5)。物体7の移動方向が、外側領域Oから注目撮影画像に対応する狭視野領域Nの側へのものである場合、明示画像出力部16により明示画像が出力される(ステップ#6)。この明示画像は、明示画像格納部17に格納されている明示画像を参照して出力される。
合成画像生成部18は、ステップ#2において生成された注目撮影画像に、ステップ#6で出力された明示画像を重畳して合成画像を生成する(ステップ#7)。生成された合成画像は、モニタ50に表示される(ステップ#8)。このように注目撮影画像をモニタ50に大きく表示することにより車両1の運転者に車両1の近傍を注視させることが可能であると共に、車両1に接近する物体7の方向を明示することが可能となる。したがって、車両1の周囲の状況を把握させることができると共に、障害物が接近していることを明示することが可能となる。
このように本発明に係る障害物警報装置100によれば、車両1に備えられるモニタ50の画面内に物体7が映っていなくても、車両1に接近する物体7が撮影範囲内に入った時点で、車両1の周囲の状況を表示しつつ、運転者に車両1に接近する物体7の存在及び方向を明示することができる。したがって、モニタ50の画面サイズが小さい場合でも、車両1に接近する物体7を見逃すことがなくなる。また、このよう指標Sは画面の側端部に表示されるので、運転者が車両1の周囲の状況が見難くなることがない。したがって、車両1の周囲の状況を見難くすることなく、車両1に接近する障害物(物体7)の存在を運転者に明示することが可能となる。
〔その他の実施形態〕
上記実施形態では、明示画像出力部16は、点滅表示した指標Sが移動する際、次第に大きくなるように表示するとして説明した。しかしながら、本発明に適用範囲はこれに限定されるものではない。指標Sを同じサイズで表示することも当然に可能である。もちろん、指標Sが、次第に小さくなるように表示することも当然に可能である。このような構成であっても、適切に車両1に接近する物体7を車両1の運転者に明示することが可能である。
上記実施形態では、直前に表示された指標Sは、後に表示された指標Sの透明度よりも高いとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、直前に表示された指標Sは、後に表示された指標Sの透明度よりも低く表示することも可能であるし、直前に表示された指標Sは、後に表示された指標Sの透明度と同じように表示することも当然に可能である。
上記実施形態では、指標Sが複数ある場合に当該複数の指標Sどうしが一部重畳する位置に表示されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。複数の指標Sを表示する場合であっても、指標Sどうしが重畳しないように構成することも可能である。
上記実施形態では、指標Sが、狭視野領域Nの中央側に突出する凸部を有する矢印形状に構成してあるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。指標Sを他の形状で構成することも当然に可能である。
上記実施形態では、動作画像出力部30は、外側領域Oの物体7が狭視野領域Nに進入した場合に、明示指標がマスク領域Mのうち物体7が存在する側から吸収される画像を出力するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。図6に示されるように、明示画像出力部16は、物体7が注目撮影画像に対応する領域(狭視野領域N)に進入した場合に指標Sの出力を中止するように構成することも可能である。もちろん、係る場合、枠指標Wの出力も中止するように構成することも可能である。物体7が狭視野領域Nに進入したか否かは、上述の移動方向判定部15により判定される。物体7が狭視野領域Nに進入した場合には、注目撮影画像の端部に物体7が表示される。このため、このように明示画像の出力を停止する場合でも、車両1の運転者は注目撮影画像の端部に表示される物体7を明示画像に隠されることなく視認することが可能となる。
上記実施形態では、指標S及び枠指標Wが画面内に複数表示される場合があるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。指標S及び枠指標Wが画面内に夫々一つずつ表示する構成とすることも可能であるし、指標Sのみを表示する構成とすることも可能である。
上記実施形態では、物体7が存在するか否かの判定は、例えばパターンマッチング等の公知の画像認識処理を用いて行うことが可能であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、ソナー等で検出することも当然に可能である。
上記実施形態では、注目撮影画像生成部12は、撮影画像Gの中央部分である狭視野領域Nを注目撮影画像として生成するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、狭視野領域Nに対応した狭視野角を持つカメラ5で撮影画像Gを取得した場合には、当該撮影画像Gをそのまま注目撮影画像として用いることも当然に可能である。係る場合、外側領域Oに物体7が存在するか否かの判定は、上記のように、例えばソナー等で検出すると好適である。
本発明は、車両に接近する障害物の存在を乗員に明示する障害物警報装置に用いることが可能である。
1:車両
7:物体
11:撮影画像取得部
12:注目撮影画像生成部
14:物体存在判定部
15:移動方向判定部
16:明示画像出力部
100:障害物警報装置
G:撮影画像
O:外側領域
S:指標

Claims (5)

  1. 車両の周囲の情景を撮影した撮影画像を取得する撮影画像取得部と、
    前記撮影画像の中央部分を注目撮影画像として生成する注目撮影画像生成部と、
    前記撮影画像のうち前記注目撮影画像の外側に外側領域を生成する外側領域生成部と、
    前記側領域に物体が存在するか否かを判定する物体存在判定部と、
    前記外側領域の物体の移動方向を判定する移動方向判定部と、
    前記移動方向判定部により前記外側領域の物体が前記注目撮影画像の中央側に移動すると判定された場合に、前記注目撮影画像のうち前記物体が存在する外側領域の側から中央側に向けて、一定時間点灯したのち消灯する複数の指標を順次異なる位置に表示させる表示を繰り返し行うと共に、前記複数の指標どうしを一部重畳する位置に表示させ、後に表示する指標と直前に表示した指標との重複部分については後に表示する指標を上書き表示させる表示を繰り返し行う明示画像出力部と、
    を備える障害物警報装置。
  2. 前記後に表示する指標が、前記直前に表示した指標よりもサイズが大きいことを特徴とする請求項1に記載の障害物警報装置。
  3. 前記後に表示する指標が、前記直前に表示した指標よりも透明度が低いことを特徴とする請求項2に記載の障害物警報装置。
  4. 前記指標が、前記注目撮影画像の中央側に突出する凸部を有する矢印形状に構成してある請求項1から3の何れか一項に記載の障害物警報装置。
  5. 前記明示画像出力部は、前記物体が前記注目撮影画像に対応する領域に進入した場合に前記指標の出力を中止するよう構成してある請求項1から4のいずれか一項に記載の障害物警報装置。
JP2013541508A 2011-11-01 2011-11-01 障害物警報装置 Expired - Fee Related JP5692403B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/075124 WO2013065119A1 (ja) 2011-11-01 2011-11-01 障害物警報装置

Publications (2)

Publication Number Publication Date
JP5692403B2 true JP5692403B2 (ja) 2015-04-01
JPWO2013065119A1 JPWO2013065119A1 (ja) 2015-04-02

Family

ID=48191515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541508A Expired - Fee Related JP5692403B2 (ja) 2011-11-01 2011-11-01 障害物警報装置

Country Status (5)

Country Link
US (1) US9691283B2 (ja)
EP (1) EP2775467A4 (ja)
JP (1) JP5692403B2 (ja)
CN (1) CN103733239B (ja)
WO (1) WO2013065119A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113173137A (zh) * 2020-01-24 2021-07-27 丰田自动车株式会社 车辆报知装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5958459B2 (ja) * 2013-12-26 2016-08-02 トヨタ自動車株式会社 状態判定システム、状態判定方法及び移動ロボット
US10279742B2 (en) * 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
JP2016013888A (ja) * 2014-07-01 2016-01-28 株式会社タダノ クレーン車の障害物報知システム
US9656621B2 (en) 2015-09-14 2017-05-23 Pearl Automation Inc. System and method for sensor module power management
JP6401733B2 (ja) * 2016-04-15 2018-10-10 本田技研工業株式会社 画像表示装置
JP6595401B2 (ja) * 2016-04-26 2019-10-23 株式会社Soken 表示制御装置
US10788840B2 (en) * 2016-12-27 2020-09-29 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location
JP2019054395A (ja) * 2017-09-14 2019-04-04 オムロン株式会社 表示装置
CN109510266B (zh) * 2018-11-30 2024-02-06 广东银狐医疗科技股份有限公司 一种电动轮椅充电装置、充电系统
CN113316529A (zh) * 2019-01-21 2021-08-27 三菱电机株式会社 信息提示装置和信息提示控制方法、以及程序和记录介质
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
CN113034978B (zh) * 2021-05-26 2021-08-13 浙江口碑网络技术有限公司 信息提示方法、装置、电子设备、存储介质及程序产品

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389276B2 (ja) * 1997-10-21 2009-12-24 マツダ株式会社 車両の障害物警報装置
US6690268B2 (en) * 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4238429B2 (ja) * 1999-09-14 2009-03-18 住友電気工業株式会社 移動体の走行支援装置
AU7685500A (en) * 1999-10-15 2001-04-23 Omron Corporation Network system, control method, control apparatus, and multiprocessor
JP2007133644A (ja) * 2005-11-10 2007-05-31 Hino Motors Ltd 歩行者認識装置
JP2007221200A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置
JP2009040272A (ja) 2007-08-09 2009-02-26 Alpine Electronics Inc 車両周辺監視装置
JP2009217740A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2009265803A (ja) * 2008-04-23 2009-11-12 Panasonic Corp 車両視界支援装置
JP2010071881A (ja) * 2008-09-19 2010-04-02 Denso Corp 障害物検知システム
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
JP2010009607A (ja) * 2009-07-03 2010-01-14 Mazda Motor Corp 車両の障害物警報装置
JP5483535B2 (ja) 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
ES2538827T3 (es) * 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
JP5071743B2 (ja) 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
CN101877177A (zh) * 2010-06-28 2010-11-03 向军锋 运动物体防碰撞装置
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113173137A (zh) * 2020-01-24 2021-07-27 丰田自动车株式会社 车辆报知装置
CN113173137B (zh) * 2020-01-24 2022-11-18 丰田自动车株式会社 车辆报知装置

Also Published As

Publication number Publication date
US20140198214A1 (en) 2014-07-17
US9691283B2 (en) 2017-06-27
CN103733239B (zh) 2016-05-18
EP2775467A1 (en) 2014-09-10
WO2013065119A1 (ja) 2013-05-10
JPWO2013065119A1 (ja) 2015-04-02
CN103733239A (zh) 2014-04-16
EP2775467A4 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5692403B2 (ja) 障害物警報装置
WO2013065120A1 (ja) 障害物警報装置
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
US9396401B2 (en) Obstacle alarm device
US9393908B2 (en) Obstacle alarm device
JP5861449B2 (ja) 障害物警報装置
JP5660395B2 (ja) 障害物警報装置
JP5974476B2 (ja) 障害物警報装置
WO2013065325A1 (ja) 障害物警報装置
JP5845909B2 (ja) 障害物警報装置
JP5704416B2 (ja) 障害物警報装置
JP5787168B2 (ja) 障害物警報装置
JP5754605B2 (ja) 障害物警報装置
JP5765576B2 (ja) 障害物警報装置
JP5704417B2 (ja) 障害物警報装置
JP5674071B2 (ja) 障害物警報装置
WO2013094496A1 (ja) 障害物警報装置
JP2013131178A (ja) 障害物警報装置
JP5765575B2 (ja) 撮影領域明示装置
JP5825091B2 (ja) 撮影領域明示装置
WO2013094345A1 (ja) 撮影領域明示装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R151 Written notification of patent or utility model registration

Ref document number: 5692403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees