JPWO2011030699A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JPWO2011030699A1
JPWO2011030699A1 JP2011530811A JP2011530811A JPWO2011030699A1 JP WO2011030699 A1 JPWO2011030699 A1 JP WO2011030699A1 JP 2011530811 A JP2011530811 A JP 2011530811A JP 2011530811 A JP2011530811 A JP 2011530811A JP WO2011030699 A1 JPWO2011030699 A1 JP WO2011030699A1
Authority
JP
Japan
Prior art keywords
image
vehicle
display screen
displayed
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011530811A
Other languages
English (en)
Inventor
渡邊 一矢
一矢 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Publication of JPWO2011030699A1 publication Critical patent/JPWO2011030699A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Abstract

車両周辺を撮影した撮影画像から、車両が停止状態のときに表示するための画像を含む表示画面と車両が停止状態でないときに表示するための画像を含む表示画面とを生成すると共に、これらの生成された表示画面をモニタに表示する。車両が停止状態でないときに表示するための画像が映し出す車両周辺の領域は、車両が停止状態のときに表示するための画像が映し出す車両周辺の領域よりも狭くなっている。

Description

本発明は、カメラによって撮影された車両周辺の撮影画像に所定の処理を施して車室内の表示装置に表示する車両の周辺監視装置に関する。
カメラによって撮影された車両周辺の撮影画像を車室内の表示装置に表示する際、運転者が見易いように所定の画像処理(歪み補正)を施す技術として、例えば特許文献1に記載の方法が知られている。
歪み補正をすることにより、表示する画像に対する運転者の視認性は向上する。すなわち、広い画角(例えば、水平160度以上)を有するカメラで撮影した車両周辺の画像(映像)をひとつの画像で表示することで広い領域を表示画面上で視認ことができ、障害物や歩行者の有無を認識することができる。
特開2009−12652号公報
しかしながら、このような広い画角の画像(映像)を2次元の表示画面上で表示した状態で車両が走行を開始すると、この車両移動に応じて画像が移動するため、方向感や距離感を正確に認識することが困難となる問題がある。また、走行(後退)をこれから開始しようと停車している状態では広い領域を表示画面上で視認することで障害物や歩行者の有無を認識したいが、一旦、走行(後退)を開始すると車両の運転者は走行中には周囲の監視も行いながら走行(後退)しているので、必ずしも広い領域を表示する必要は無い。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、車両の使用状況(走行状況)に合わせて、適切に周辺の障害物や人等の存在する状況を運転者に提示する事を目的とする。
上記の技術的課題を解決するために本発明に講じられた技術的手段は、車両周辺を撮影する少なくとも一つの撮像手段と、前記撮像手段が撮影した撮影画像に基づいて、前記車両が停止状態のときに表示するための停止時表示画像を含む表示画面と、前記車両が停止状態でないときに表示するための画像であり、当該停止時表示画像が映し出す前記車両周辺の領域よりも狭い前記車両周辺の領域を映し出す非停止時表示画像を含む表示画面とを生成する画面生成手段と、画面生成手段が生成した表示画面を表示する表示手段と、を備えたことである。
本発明に講じられた技術的手段において、撮像手段は1つであり、前記非停止時表示画像は、前記停止時表示画像の部分画像であるとより好適である。
本発明に講じられた技術的手段において、停止状態とは、車両のシフト位置を後退位置に変更してから車両が走行を開始したと判定するまでの間の状態であり、車両が停止状態でないとは、停止状態から車両が走行を開始したと判定された状態とするとより好適である。
さらには、一旦、前記非停止時表示画像を含む表示画面を表示した後には、再度、前記車両のシフト位置を後退位置に変更しなければ、前記停止時表示画像を含む表示画面を表示しないように構成するとより好適である。
さらには、車両が走行を開始したと判定するに際し、車両のシフト位置を後退位置に変更してから所定の距離を走行したときに車両が走行を開始したと判定する、または、車両の速度が所定の値以上であるときに前記車両が走行を開始したと判定するように構成するとより好適である。
本発明に講じられた技術的手段によると、車両の使用状況(走行状況)に合わせて、適切に周辺の障害物や人等の存在する状況を運転者に提示することができる。
本発明の実施形態に係る車両周辺監視装置を備える車両の概略図である。 本発明の実施形態に係る車両周辺監視装置を示す図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面を説明するための図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面の実映像である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面を説明するための図である。 本発明の実施形態に係る画面生成部の動作を説明するための図である。 本発明の実施形態に係る画面切り替え時の動作を説明するための図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面の変形例を示す概略図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面の変形例を示す概略図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面の変形例を示す概略図である。 本発明の実施形態に係る車両周辺監視装置で表示する表示画面の変形例を示す概略図である。
以下、本発明の実施形態を図面に基づいて説明する。
図1は、本発明に係る車両周辺監視装置50を備える車両100の概略図である。車両100には、車両100の後方の情景を撮影するリアカメラ11が備えられる。
リアカメラ11は、図1に示されるように、車両100のリア部分に備えられ、水平方向に対してやや下方向に向くように備えられる。すなわち、リアカメラ11の光軸は車両100の存在する路面に対して鋭角を成している。例えば、リアカメラ11は、車両100の後方に向けて30度程度の俯角を有して設置され、概ね車両100の後方8m程度までの領域を撮影することができる。
また、リアカメラ11は、例えばCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。リアカメラ11は、例えば広角レンズ(例えば、画角160°以上)や、魚眼レンズを用いて構成すると好適である。
また、車両100は、図1に図示する電子制御ユニット20を備える。電子制御ユニット20は、例えば、ROM、RAMを備えたマイクロコンピュータ等で構成されている。
リアカメラ11で撮影された撮像画像(映像)は、後述するように、電子制御ユニット20に伝達され、電子制御ユニット20で所定の処理がなされた後、図1に図示する車室内のモニタ200(表示手段)に表示される。車両100にナビゲーションシステムが搭載される場合、モニタ200はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
車両100には、図示しない車両100の速度を検出する車速センサが備えられている。車速センサで検出した車輪パルスや車両の速度は、所定の通信手段で電子制御ユニット20に伝達される。
図2は、車両周辺監視装置50を示すものであって、リアカメラ11で撮影された撮影画像は、電子制御ユニット20に伝達される。電子制御ユニット20は画面生成部21と出力部22を有する。後述するように、画面生成部21は入力されたリアカメラ11で撮影された撮影画像に基づいて表示画面を生成する。生成された表示画面は画面生成部21から出力部22を介してモニタ200に伝達されて、モニタ200に表示される。
図3は、本発明に係る車両周辺監視装置50によるモニタ200に表示される表示画面210を示す図である。たとえば、運転者がシフト位置をR位置(リバース)にすると、この図3に示される表示画面に切り替えられる。後述するように、リアカメラ11で撮影された撮像画像は、中央画像211と、中央画像211の右側に配置される略平行四辺形形状の右画像212、中央画像211の左側に配置される略平行四辺形形状の左画像213として表示される。
中央画像211と右画像212の間、及び、中央画像211と左画像213の間は、分割線250にて仕切られている。換言すると、中央画像211と右画像212の間、及び、中央画像211と左画像213の間は、所定の隙間が設けられている。このように、中央画像211と右画像212の間、及び、中央画像211と左画像213の間が分割して表示されることで後方と側方の区別がつきやすくなる。
また、図3に示すように中央画像211と右画像212とは、分割線250を挟んで画像内容が連続して(画像内容の連続性を保持して)いる。また、中央画像211と右画像212の隣接する辺同士が平行となっている。中央画像211と左画像213も同様である。このような中央画像211、右画像212、左画像213の生成および、これらの画像の表示画面への配置は画面生成部21の働きによるものである。
なお、画像内容が連続するとは、中央画像211と右画像212(または左画像213)とが繋がりを有しているということである。例えば、本実施形態のように、中央画像211と右画像212(または左画像213)とを横方向に並べたとき(図3参照)に対向する辺上での画像値が一致(または連続)する場合や、中央画像211と右画像212(または左画像213)の対向する辺上での画像値が一致(または連続)していなくとも、中央画像211と右画像212(または左画像213)の間に設けられた所定の隙間の長さ分に対応して画素値が連続する場合に、画像内容が連続しているという。後者の場合を換言すると、中央画像211と右画像212(または左画像213)の対向する辺上での画素値が一致(または連続)するような状況で、中央画像211と右画像212(または左画像213)とを隙間なく横方向に並べた場合の中央画像211と右画像212(左画像213)の境界上を所定の幅を有する分割線でマスクしたような場合である。
本実施形態における車両周辺監視装置50による表示画面210は、車両後方とその左右の状況を、あたかも中央の鏡に対して左右の鏡を所定の角度で保持した三面鏡で視認しているように運転者に認識させる。すなわち、本実施形態では中央画像211はハンドルが略直進状態での進行方向(正面)の映像であり、右画像212と左画像213は、それぞれ中央画像211の表示する内容の左右の周辺状況が表示される。つまり、中央画像211,右画像212および左画像213の位置関係は実際の位置関係と対応しており、正面の画像(中央画像211)は長方形で表示され、正面の画像の左右に対応する画像(右画像212,左画像213)は平行四辺形形状で表示される。従って、車両100の後方の広い範囲の安全性確認ができると共に、後方と側方のいずれに障害物や人がいるのかを区別がしやすい。
また、表示画面210の上部には、車両100を模した図と2つの三角形と台形で構成されたアイコン260が表示される。これは、中央画像211、右画像212、左画像213が車両100の周辺のどこを表示しているかを運転者に認識させるものである。
表示画面210の下部には注意喚起文が表示される。
中央画像211には、運転者が運転する際の指標となる指標線300が重畳表示される。この指標線300のうち、画面横方向に延びる指標線は車両100の後端からの予測位置を指し示す。例えば、画面横方向に延びる指標線は画面下側からそれぞれ、車両100の後端から50cm、1m、3mの位置を指し示す指標線である。
また、この指標線300のうち、表示画面210の略上下方向に延在する左右の2本の線は、車両100の幅もしくは車両100の幅に所定の値を増減させた幅を示すものである。
指標線300は、固定線でもよいし、操舵角に連動するものでもよい。
また、指標線300は、影部もしくは側面部の少なくともいずれか一方を備えて立体的に表示することもできる。これによれば、指標線300が中央画像211に表示される路面上に沿っていることを運転者に認識させることができる。
図4は、本発明の実施形態に係る車両周辺監視装置で表示する表示画面の実映像である。
次に、表示画面を生成する画面生成部21の処理について説明する。
画面生成部21では、まず、リアカメラ11が撮影した撮影画像に対して、例えば、特開2009−12652に記載の歪み補正処理を行う。特開2009−12652に記載の歪み補正処理の概略を本実施形態に適用する場合において説明すると、撮影画像に対して、第1軸(表示画面横方向)方向は略固定としつつ、第2軸(表示画面縦方向)方向をこの第2軸からの距離に依存した非線形的に増加する拡大率で拡大する処理を行う。第1軸方向は固定されており、第2軸方向については拡大率γで拡大される。この拡大率は第2軸から離れるほど、すなわち表示画面横方向座標の大きさ(表示画面横方向座標の絶対値)が大きくなるほど増加するものである。
図6(a)において、リアカメラ11が撮影した撮影画像に対して歪み補正処理を行った後の画像をIM0とする。
以下、x座標は右方向を正の方向とし、y座標は上方向を正の方向として説明する。また、原点Oは撮影画像(撮像素子)の中心とする。
次に、以下のようにして、中央画像211、右画像212、左画像213を生成する。
まず、IM0のうち、図6(b)に示す、x座標が−t≦x≦t(t>0)、y座標が−H/2≦y≦H/2(H>0)の長方形領域であるIM1を中央画像211とする。換言すると、中央画像211は、図6(b)に示すように、縦辺長さがH、横辺長さが2tの長方形形状を有したIM0の部分画像(IM1)である。
右画像212は、以下のように生成される。まず、図6(b)に示すように、IM0のうちx座標がt≦x≦t+Wの領域であるIM2を特定する。すなわち、IM2はIM0の部分画像であって、IM0中においてIM1と隣り合っている。したがって、IM2は、図6(b)に示すように縦辺長さがH、横辺長さがWの長方形である。ここで、IM2を画像変形し、IM2´を生成する。この画像変形とは、IM2内の座標値(X0,Y0)における画素値をpを、IM2´内の座標値(X1、Y1)における画素値に設定することをいう。
具体的には、X1=X0、Y1=a×(X0−t)/W+Y0の座標変換が行われる。すなわち、長方形形状のIM2は、図6(c)に示す底辺H、高さWの平行四辺形形状のIM2´に画像変形(一次変換)される。Wはせん断領域幅、aはせん断量であり、所定の値である。また、この画像変形を換言すると、座標(X0,Y0)を、座標(X0、Y1)に移動させる(y軸方向に持ち上げる)ものである。このIM2´を右画像212とする。
この画像変換により、右画像212は、元の画像IM2(IM0)に対して右側(x座標が大きくなる方向)にいくほどy軸方向にせん断処理にて画像が持ち上がるような画像となる。これにより、歪み補正処理でも軽減されうるIM2内の画面右端付近の立体物の倒れこみを、より軽減することができる。
同様に、左画像213も、以下のように生成される。まず、図6(b)に示すように、IM0のうちx座標がt−W≦x≦−tの領域であるIM3を特定する。すなわち、IM3は、IM0の部分画像であって、IM0中においてIM1と隣り合っている。IM3は、図6(b)に示すように縦辺長さがH、横辺長さがWの長方形である。ここで、IM3を画像変形し、IM3´を生成する。この画像変形とは、IM3内の座標値(X0,Y0)における画素値をpを、IM3´内の座標値(X1、Y1)における画素値にpを設定することをいう。
具体的には、X1=X0、Y1=a×(−X0−t)/W+Y0の座標変換が行われる。すなわち、長方形形状のIM3は、図6(c)に示す底辺H、高さWの平行四辺形形状のIM3´に画像変形(一次変換)される。このIM3´を左画像213とする。
この画像変換により、左画像213は、元の画像IM3(IM0)に対して左側(x座標が小さくなる方向)にいくほどy軸方向にせん断処理にて画像が持ち上がるような画像となる。これにより、歪み補正処理でも軽減されうるIM3内の画面左端付近の立体物の倒れこみを、より軽減することができる。
画面生成部21は、このようにして生成した右画像212、左画像213をそれぞれ中央画像211の右および左に配置し、図3、図4の表示画面210を生成する。
次に、本実施形態における車両周辺監視装置50の作動形態を説明する。
運転者が車両100を停止し、駐車等を行うべく後退するために、シフト位置を後退位置(R位置、リバース位置)に他のシフト位置から変更すると、図3及び図4に示される表示画面210に切り替えられる。すなわち、図3及び図4に示される表示画面210が、車両100が停止状態のときに表示するための画像(停止時表示画像)を含む表示画面となる。これにより、これから後退を行う場合において、運転者は車両100の後側方も含む車両後方周囲に障害物、走行車両や人等が居ないかを認識でき、広範囲の安全確認を適切にすることができる。なお、この状態で、シフト位置を後退位置(R位置、リバース位置)から他のシフト位置に変更すると、車両周辺監視装置は、周辺監視のための表示は行わずに待機する待機モードに移る。この待機モードでは、例えば、ナビゲーションの画面を表示する。なお、本実施形態では、中央画像211、右画像212、左画像213が停止時表示画像となる。
安全を確認後、車両100が後退(走行、移動)を開始したら、車両周辺監視装置は車両100が停止状態でないときに表示する画像(非停止時表示画像)を含む表示画面として図5に示す表示画面220(走行時画面)に切り替える。したがって、本実施形態では、中央画像211が非停止時表示画像となる。
したがって、画像生成部21は、停止時表示画像を含む表示画面と、非停止時表示画像を含む表示画面とを生成している。なお、上述したように、中央画像211、右画像212、左画像213が停止時表示画像であり、中央画像211が非停止時表示画像であるため、非停止時表示画像が映し出す車両100の周辺領域は、停止時表示画像が映し出す車両100の周辺の領域よりも狭くなっている。すなわち、停止時表示画像は広画角の画像であり、非停止時表示画像は狭画角の画像である。また、非停止時表示画像は停止時表示画像の部分画像となっている。
本実施形態では、非停止時表示画像を含む表示画面は、図5に示す表示画面220である。この表示画面220では、右画像212と左画像213とを表示しない分、中央画像211を拡大して表示している。しかしながら、非停止時表示画像として、中央画像211を拡大せず、単に図3、図4の表示画面から右画像212と左画像213とを表示しない画像(中央画像211のみ)を用いてもよい。
停止時表示画像を含む表示画面(表示画面210)から非停止時表示画像を含む表示画面(表示画面220)に切り換える際に、すぐに中央画像211の拡大表示に切り替えてもよいが、本実施形態では、次のようにして切り替える。まず、表示画面210から右画像212、左画像213を消去する。その後、図7に模式的に記載するように、中央画像211a(右画像212、左画像213を消去した直後の中央画像211)を中央画像211b、中央画像211c、中央画像211dと徐々に拡大していく。このときに連続的に拡大していってもよいし、段階的(ステップ的に)に拡大していってもよい。このように表示画面の切り替えの過程を運転者に提示することによって、運転者が、切り替え後の表示画面(画像)が切り替え前の表示画面(画像)のどこに相当(対応)するかを認識、理解しやすくなる。
ここで、車両100の後退開始とは、例えば、車速センサが検出した車両100の速度が所定の速度よりも大きくなった、もしくは移動距離を検出する移動距離検出手段としての車速センサからの車輪パルスの積算数を用いて停止状態から所定の距離を走行したことを電子制御ユニット20が判定した際である。また、所定の速度よりも車速センサが検出した車両100の速度が大きくなったことを判定する処理と、車速センサからの車輪パルスの積算数を用いて停止状態から所定の距離を走行したことを判定する処理を共に備え、どちらか一方が先に成立したら「車両100の後退開始」と判定してもよい。さらに、確実に判定するために、両方の条件が成立したら「車両100の後退開始」と判定してもよい。
なお、非停止時表示画像を含む表示画面(表示画面220)を表示した状態で、シフト位置を後退位置(R位置、リバース位置)から他のシフト位置に変更すると、車両周辺監視装置50は待機モードに移り、例えば、ナビゲーションの画面を表示する。なお、車両を停止状態が比較的長い時間(例えば、5秒または10秒)続いたら、停止時表示画像を含む表示画面(表示画面210)に戻すようにしてもよい。この際に、停止時表示画像を含む表示画面に切り替わったことを音もしくは音声で運転者に報知してもよい。
このように、後退中(走行中)においては、必要以上の広画角の画像でなく、適切な範囲の画像に自動的に切り替えることで、運転者は状況に応じた適切な周辺監視が可能となる。また、運転者にとってもスイッチ操作が不要となり、煩わしくない。
また、車両100には、右画像212、左画像213の領域を照らすための照明が備えられていない場合がある。従って、夜間(もしくは屋内などの照度が低い場所に車両100が居る場合)と判定された場合において、中央画像211、右画像212、左画像213のうち、右画像212、左画像213のみ輝度補正処理を加えて明るく表示することで、視認性を向上させると好適である。この際、夜間の判定は、撮影画像全体の輝度情報に基づいて行ってもよい。また、右画像212もしくは右画像212の元となる部分画像(IM2)の輝度情報に基づいて右画像212の輝度補正処理を行い、同様に、左画像213もしくは左画像213の元となる部分画像(IM3)の輝度情報に基づいて、左画像213の輝度補正処理を行ってもよい。この際、例えば、輝度情報が所定のしきい値以下であれば夜間であると判定して、右画像212、左画像213を明るく表示する。また、夜間の判定は、輝度情報ではなく、時刻情報に基づいてもよいし、運転者によるヘッドライト、車幅灯の点灯に基づいてもよい。これらの判定及び処理は、電子制御ユニット20で行う。
なお、本実施形態は、以下のように変更を加えてもよい。
本実施形態では、リアカメラ11とは別に電子制御ユニット20を有したが、これに限定されるものではなく、電子制御ユニット20をリアカメラ11に備えて一体化した構成としてもよい。
本実施形態では、車両100の後退時について説明をしたが、当然ながら、車両100の前進時にも適用可能である。この場合には、本実施形態において、リアカメラ11に代えてフロントカメラを備え、シフト位置の判定は後進位置に代えて前進位置(D位置など)とすればよい。
本実施形態では、1つのリアカメラ11からの撮影画像を分割して、中央画像211と右画像212と左画像213に表示したが、複数のカメラにより撮影された画像を用いても構わない。例えば、リアカメラ11に加え、車両100の後方右側を撮影する右サイドカメラ及び車両100の後方左側を撮影する左サイドカメラを備え、リアカメラ11の撮影画像を中央画像211に表示し、右サイドカメラの映像を右画像212に表示し、左サイドカメラの映像を左画像213に表示してもよい。すなわち、1つのカメラからの映像を分割することに限られず、複数のカメラからの映像を表示するにあたって、各映像の位置関係及び車両との位置、方向関係を的確に運転者に提示することができる。この際に、リアカメラ11と右サイドカメラと左サイドカメラの撮像範囲は重複していてもよいし、していなくてもよい。
本実施形態では、リアカメラ11による車両100の後方の周辺を監視する例を例示したが、もちろん、フロントカメラによる車両100の前方の周辺を監視する場合にも適用できる。また、車両100の側方を監視するサイドカメラによる車両100の側方周辺を監視する場合にも適用できる。
本実施形態では、右画像212、左画像213を中央画像211側でない縦辺を中央画像211より上方になるような平行四辺形形状としたが、その変形例を図8〜図10に示す。図8では、右画像212、左画像213を長方形形状とした。図9では、右画像212、左画像213を台形形状とした。図10では、右画像212、左画像213を、右画像212、左画像213の中央画像211側でない縦辺を中央画像211より下方になるような平行四辺形形状とした。その他、右画像212、左画像213を三角形や多角形とすることも可能である。右画像212、左画像213はその表示画面で表示される形状に合わせて前述したような画像変形を行ってもよいし、画像変形を行わず、単にその表示画面で表示される形状に合わせて特定の画像から切り出した画像でもよい。
本実施形態では、中央画像211を長方形形状としたが、これに限定されるものではなく図11に示すように六角形でもよいし、その他の多角形でもよい。
なお、図8〜10の変形例においては、いずれも、中央画像211と右画像212(左画像213)との隣り合う辺が平行であって、所定の隙間を有しており、該所定の隙間(分割線)を挟んで画像内容が連続している。
本実施形態では、車両100の停止中に中央画像211と左画像213と右画像212とを表示させて、走行中は中央画像211のみを表示させたが、車両100の停止中には広画角(例えば、160°)のカメラの画像を表示し、走行中には、当該広画角の画像から一部を抽出(部分画像)した狭画角(例えば、130°程度に相当)の画像を表示させてもよい。また、広画角のカメラと、狭画角のカメラを2つ備えて、同様に表示を切り替えてもよい。または、リアカメラ11と車両100の後方右側を撮影する右サイドカメラと車両100の後方左側を撮影する左サイドカメラの映像とを備え、停止中にはリアカメラ11の映像を表示すると共に右サイドカメラ及び左サイドカメラの映像の少なくともいずれか一方を表示し、走行中にはリアカメラ11の映像のみ表示することとしてもよい。
本実施形態では、夜間と判定された場合に、右画像212および左画像213に対して輝度補正処理を施して明るく表示したが、これ以外にも右画像212および左画像213に対して、モノクロ化や、反転(ネガポジ反転)、モノクロ化してから反転(ネガポジ反転)する画像処理を施してもよい。モノクロ化することで、被写体が暗い場合でも、可能な限り高い輝度の映像を得ることができる。また、反転することにより、被写体が暗い場合には明るい画像が得られることになる。人間の眼の感度調整は、暗順応よりも明順応の方が急速であり、水晶体のピント調整も指標が明るい方がより良い応答が得られるため、低輝度の画像をネガポジ反転させることは人間工学の観点からも好ましい。また、カラー画像をネガポジ反転すると、現実と大きく乖離した色となるため、撮影画像がカラー画像の場合には、違和感を低減させるためにも濃淡画像をネガポジ反転することが望ましい。
本実施形態では、狭画角の画像を含む表示画面(表示画面220)の表示状態となった後、車両100の停止状態が継続(例えば、5秒、10秒)したら広画角の画像(停止時表示画像)を含む表示画面(表示画面210)に戻したが、一旦、狭画角の画像(非停止時表示画像)を含む表示画面の表示状態となったら、その後車両100を停止したとしても、広画角の画像(停止時表示画像)を含む表示画面(図3及び図4に示される表示画面210)に戻さないようにしてもよい。この場合には、一旦走行(後退)を開始した後で、周辺状況に応じて停止する度に画面の切り換えがなされないため、頻繁な切り換えを好まない運転者にとっては好適である。なお、この動作を換言すると、一旦、非停止時表示画像を含む表示画面を表示した後には、再度、車両100のシフト位置を後退位置に変更しなければ、停止時表示画像を含む表示画面を表示しないということである。ここで、前者(本実施形態)の動作形態と後者の動作形態(別実施形態)を、スイッチにより運転者が切り換え可能としてもよい。
本実施形態では、カメラ(リアカメラ11)で撮影した撮影画像を視点変換(視点位置、視線方向の変更)することなく使用したが、それに限定されるものではなく、視点変換した撮影画像を使用してもよい。例えば、水平方向に対して鋭角を成す視線方向である範囲内で撮影画像の俯角を増減するように処理した視点変換画像(俯角が鋭角である車両周辺を表示する画像)や、視点位置の変更をした視点変換画像、もしくはそれらの処理を組み合わせた視点変換画像を使用してもよい。
本発明は、カメラによって撮影された車両周辺の撮影画像に所定の処理を施して車室内の表示装置に表示する車両の周辺監視装置に利用することができる。
11・・・リアカメラ(撮像手段)
20・・・電子制御ユニット
21・・・画面生成部(画面生成手段)
50・・・車両周辺監視装置
100・・・車両
200・・・モニタ(表示手段)
210・・・表示画面
220・・・表示画面
211・・・中央画像(第1画像)
212・・・右画像(第2画像)
213・・・左画像(第2画像)
250・・・分割線
260・・・アイコン
300・・・指標線

Claims (6)

  1. 車両周辺を撮影する少なくとも一つの撮像手段と、
    前記撮像手段が撮影した撮影画像に基づいて、前記車両が停止状態のときに表示するための停止時表示画像を含む表示画面と、前記車両が停止状態でないときに表示するための画像であり、当該停止時表示画像が映し出す前記車両周辺の領域よりも狭い前記車両周辺の領域を映し出す非停止時表示画像を含む表示画面とを生成する画面生成手段と、
    前記画面生成手段が生成した表示画面を表示する表示手段と、を備えたことを特徴とする車両周辺監視装置。
  2. 前記撮像手段は1つであり、前記非停止時表示画像は、前記停止時表示画像の部分画像である請求項1に記載の車両周辺監視装置。
  3. 前記停止状態とは、前記車両のシフト位置を後退位置に変更してから前記車両が走行を開始したと判定するまでの間の状態であり、
    前記車両が停止状態でないとは、前記停止状態から前記車両が走行を開始したと判定された状態である請求項1または2に記載の車両周辺監視装置。
  4. 一旦、前記非停止時表示画像を含む表示画面を表示した後には、再度、前記車両のシフト位置を後退位置に変更しなければ、前記停止時表示画像を含む表示画面を表示しない請求項3に記載の車両周辺監視装置。
  5. 前記車両のシフト位置を後退位置に変更してから所定の距離を走行したときに前記車両が走行を開始したと判定する請求項3または4に記載の車両周辺監視装置。
  6. 前記車両の速度が所定の値以上であるときに前記車両が走行を開始したと判定する請求項3または4に記載の車両周辺監視装置。
JP2011530811A 2009-09-11 2010-09-01 車両周辺監視装置 Pending JPWO2011030699A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009210053 2009-09-11
JP2009210053 2009-09-11
PCT/JP2010/064866 WO2011030699A1 (ja) 2009-09-11 2010-09-01 車両周辺監視装置

Publications (1)

Publication Number Publication Date
JPWO2011030699A1 true JPWO2011030699A1 (ja) 2013-02-07

Family

ID=43732372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011530811A Pending JPWO2011030699A1 (ja) 2009-09-11 2010-09-01 車両周辺監視装置

Country Status (5)

Country Link
US (1) US20120154590A1 (ja)
EP (1) EP2476588B1 (ja)
JP (1) JPWO2011030699A1 (ja)
CN (1) CN102481876B (ja)
WO (1) WO2011030699A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741321B2 (ja) * 2011-08-23 2015-07-01 株式会社富士通ゼネラル 運転支援装置
JP5820305B2 (ja) * 2012-02-29 2015-11-24 株式会社村上開明堂 車外音導入装置
US9242602B2 (en) * 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
WO2014156220A1 (ja) 2013-03-28 2014-10-02 アイシン精機株式会社 周辺監視装置、及びプログラム
JP2017208750A (ja) * 2016-05-20 2017-11-24 ローム株式会社 映像監視装置、映像表示システム、及び車両
EP3498554B1 (en) * 2016-08-09 2020-06-24 JVC KENWOOD Corporation Display control device, display device, display control method, and program
JP6781010B2 (ja) * 2016-10-26 2020-11-04 株式会社デンソーテン 画像表示装置及び画像処理方法
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
JP7091955B2 (ja) * 2018-09-06 2022-06-28 トヨタ自動車株式会社 車両用周辺表示装置
JP7159801B2 (ja) * 2018-11-15 2022-10-25 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7051667B2 (ja) * 2018-11-26 2022-04-11 本田技研工業株式会社 車載装置
JP2020158114A (ja) * 2020-06-02 2020-10-01 株式会社ユピテル 撮像装置、システム、及びこのシステムを装備したフォークリフト

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
JPH10244891A (ja) * 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2003240560A (ja) * 2002-02-13 2003-08-27 Alpine Electronics Inc 視線を用いた画面制御装置
JP2003255925A (ja) * 2002-03-05 2003-09-10 Matsushita Electric Ind Co Ltd 画像表示制御装置
JP2004257837A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ撮像システム
JP2005346648A (ja) * 2004-06-07 2005-12-15 Denso Corp 視界支援装置およびプログラム
JP2006140908A (ja) * 2004-11-15 2006-06-01 Matsushita Electric Ind Co Ltd 画像合成装置
JP2006256419A (ja) * 2005-03-16 2006-09-28 Clarion Co Ltd 駐車支援装置
JP2006270586A (ja) * 2005-03-24 2006-10-05 Aisin Aw Co Ltd 車両周辺視認装置
JP2007081932A (ja) * 2005-09-15 2007-03-29 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008236403A (ja) * 2007-03-20 2008-10-02 Mazda Motor Corp 車両用運転支援装置
JP2008242597A (ja) * 2007-03-26 2008-10-09 Yuhshin Co Ltd 車両用監視装置
JP2009012652A (ja) * 2007-07-05 2009-01-22 Aisin Seiki Co Ltd 車両の周辺監視装置
JP2009081664A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009173286A (ja) * 2009-05-07 2009-08-06 Fujitsu Ten Ltd 車両の運転支援装置
JP2009231978A (ja) * 2008-03-19 2009-10-08 Sharp Corp 帯電検知装置、及びそれを搭載した原稿読取装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424386B2 (ja) * 1995-05-01 2003-07-07 三菱自動車工業株式会社 車両後方監視装置
US6512858B2 (en) * 1998-07-21 2003-01-28 Foveon, Inc. Image scanning circuitry with row and column addressing for use in electronic cameras
JP3803021B2 (ja) * 2000-10-02 2006-08-02 松下電器産業株式会社 運転支援装置
JP3815291B2 (ja) * 2001-10-24 2006-08-30 日産自動車株式会社 車両後方監視装置
JP4153202B2 (ja) * 2001-12-25 2008-09-24 松下電器産業株式会社 映像符号化装置
JP4021662B2 (ja) * 2001-12-28 2007-12-12 松下電器産業株式会社 運転支援装置及び画像出力装置並びにカメラ付きロッド
US20050168441A1 (en) * 2002-11-05 2005-08-04 Fujitsu Limited Display control device, display control method, computer product
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP4316619B2 (ja) * 2004-02-20 2009-08-19 シャープ株式会社 車両用表示装置及び車両表示システム並びに車両
DE102004015806A1 (de) * 2004-03-29 2005-10-27 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
JP2006033793A (ja) * 2004-06-14 2006-02-02 Victor Co Of Japan Ltd 追尾映像再生装置
US7423521B2 (en) * 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2009060404A (ja) * 2007-08-31 2009-03-19 Denso Corp 映像処理装置
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
CN102027744A (zh) * 2008-05-19 2011-04-20 松下电器产业株式会社 车辆周围监视装置和车辆周围监视方法
EP2380348A4 (en) * 2008-12-19 2012-06-13 Delphi Tech Inc ELECTRONIC SIDE VIEW INDICATOR SYSTEM

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
JPH10244891A (ja) * 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2003212041A (ja) * 2002-01-25 2003-07-30 Toyota Central Res & Dev Lab Inc 車輌後方表示装置
JP2003240560A (ja) * 2002-02-13 2003-08-27 Alpine Electronics Inc 視線を用いた画面制御装置
JP2003255925A (ja) * 2002-03-05 2003-09-10 Matsushita Electric Ind Co Ltd 画像表示制御装置
JP2004257837A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ撮像システム
JP2005346648A (ja) * 2004-06-07 2005-12-15 Denso Corp 視界支援装置およびプログラム
JP2006140908A (ja) * 2004-11-15 2006-06-01 Matsushita Electric Ind Co Ltd 画像合成装置
JP2006256419A (ja) * 2005-03-16 2006-09-28 Clarion Co Ltd 駐車支援装置
JP2006270586A (ja) * 2005-03-24 2006-10-05 Aisin Aw Co Ltd 車両周辺視認装置
JP2007081932A (ja) * 2005-09-15 2007-03-29 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2008236403A (ja) * 2007-03-20 2008-10-02 Mazda Motor Corp 車両用運転支援装置
JP2008242597A (ja) * 2007-03-26 2008-10-09 Yuhshin Co Ltd 車両用監視装置
JP2009012652A (ja) * 2007-07-05 2009-01-22 Aisin Seiki Co Ltd 車両の周辺監視装置
JP2009081664A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009231978A (ja) * 2008-03-19 2009-10-08 Sharp Corp 帯電検知装置、及びそれを搭載した原稿読取装置
JP2009173286A (ja) * 2009-05-07 2009-08-06 Fujitsu Ten Ltd 車両の運転支援装置

Also Published As

Publication number Publication date
EP2476588B1 (en) 2014-07-30
EP2476588A1 (en) 2012-07-18
EP2476588A4 (en) 2013-02-13
US20120154590A1 (en) 2012-06-21
CN102481876A (zh) 2012-05-30
CN102481876B (zh) 2014-12-17
WO2011030699A1 (ja) 2011-03-17

Similar Documents

Publication Publication Date Title
JP5598731B2 (ja) 車両周辺監視装置
WO2011030699A1 (ja) 車両周辺監視装置
JP6077210B2 (ja) 車両用後方監視装置
JP5459154B2 (ja) 車両用周囲画像表示装置及び方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2019125920A (ja) モニター表示システム及びその表示方法
JP6287406B2 (ja) ヘッドアップディスプレイ装置
CN103765489B (zh) 障碍物警报装置
JP2016020876A (ja) 車両用表示装置
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2010118935A (ja) 車体透過表示装置
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
WO2017038123A1 (ja) 車両の周囲監視装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
WO2015129280A1 (ja) 画像処理装置および画像処理方法
KR101657673B1 (ko) 파노라마뷰 생성 장치 및 방법
JP2008285105A (ja) 情報表示装置
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2019139273A (ja) 表示システム
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP2011065280A (ja) 画像処理装置、周辺監視システム、及び操作支援システム
JP6149379B2 (ja) 画像表示制御装置
JP2015070280A (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2006024120A (ja) 車両用画像処理システム及び画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141106