JP3941926B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP3941926B2
JP3941926B2 JP2002067103A JP2002067103A JP3941926B2 JP 3941926 B2 JP3941926 B2 JP 3941926B2 JP 2002067103 A JP2002067103 A JP 2002067103A JP 2002067103 A JP2002067103 A JP 2002067103A JP 3941926 B2 JP3941926 B2 JP 3941926B2
Authority
JP
Japan
Prior art keywords
vehicle
image
area
monitoring device
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002067103A
Other languages
Japanese (ja)
Other versions
JP2003274393A (en
Inventor
毅 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002067103A priority Critical patent/JP3941926B2/en
Publication of JP2003274393A publication Critical patent/JP2003274393A/en
Application granted granted Critical
Publication of JP3941926B2 publication Critical patent/JP3941926B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両に搭載する車両周辺監視装置に関するものである。
【0002】
【従来の技術】
従来、車両にカメラを搭載して周囲を撮影し、得られた画像を処理して道路上の白線などを認識し、認識結果をモニタに表示するシステムが提案されている。例えば、特開平10−76272号公報には、近赤外光まで撮像できるカメラの撮像画像にエッジ強調処理を加えることにより映像の鮮明度を上げ、これを運転者に提示する車両周辺監視装置が記載されている。
【0003】
映像の鮮明度すなわち鮮鋭度を上げるには、例えば、画像の各個所の輝度値からその輝度値の2次微分であるラプラシアン値を引けばよい。現実には、画素という離散的な輝度しか得られないので、隣接画素の輝度値を利用して、変換後の各画素の輝度値を、
g(i,j)=f(i,j)−Δf(i,j)
として求めることができる。
【0004】
ここで、画素の位置は水平位置iと垂直位置jの2次元座標で表わされる。また、Δは入力画像f(i,j)の2次微分であるデジタルラプラシアンであり、Δf(i,j)=f(i+1,j)+f(i−1,j)+f(i,j+1)+f(i,j−1)−4f(i,j)
となり、これを数1に代入することにより、
【0005】
g(i,j)=5f(i,j)−[f(i+1,j)+f(i−1,j)+f(i,j+1)+f(i,j−1)]
となる。このような変換により、画像全体のエッジ強調を行い、画像の鮮鋭度を上げることができる。
【0006】
ちなみに、画像に例えば1次微分やラプラシアンを用いたエッジ強調を施したり、鮮鋭化を行なうことは、谷口慶治編、共立出版株式会社発行の「画像処理工学基礎編」p.64,p.70-77に記載されており、公知の技術である。
【0007】
【発明が解決しようとする課題】
車両周辺監視において、運転者に注視して欲しい部分は画面の中の一部分であることが多く、その部分だけを強調して分かりやすく表示し、残りの部分はそのままか、あるいは逆に目立たなくする方が、運転者が障害物等を発見しやすくなり、有効である。例えば、運転中に運転者がモニタ画面を通して前方を眺望する際、本当に注視したいのは自車の進行路の状況であり、斜め方向の対向車線のヘッドライトや対向車両等の情報の優先度はかなり低いか、あるいはむしろノイズであり、無くしたい場合が大半である。
【0008】
しかしながら、上記従来技術では、画像全体に同じ鮮鋭化のためのフィルタ処理を施すため、画面全体で鮮鋭化の効果が得られてしまい、運転者の注目が画面全体に分散してしまう。即ち、目立たせるためのフィルタ処理が、逆に、ノイズに相当する個所や注視しなくても良い部分までも強調してしまうため、注意を喚起することのない、目立ちにくいモニタ画面を運転者に提示することになるという問題がある。
【0009】
本発明の目的は、上記従来技術の有する問題を解決するものであり、注視すべき個所のみを効果的に強調して見易くし、運転者に注意を喚起しやすいモニタ画面を提示することができる車両周辺監視装置を提供することにある。
【0010】
【課題を解決するための手段】
上記目的を達成する車両周辺監視装置は、車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、前記撮像画像の一部エリアと前記一部エリアを除いた他エリアとで画像表示の鮮鋭度を異ならせる制御手段を備えたことを特徴とする。この構成により、モニタ画面を見る運転者の注目は、一部エリアと他エリアの夫々の画像表示に対し鮮鋭度が高い画像に向き、運転者の注目を鮮鋭度の高い画像に集中させることが可能となる。
【0011】
また、上記目的を達成する車両周辺監視装置は、車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、前記撮像画像の一部エリアを鮮鋭化して前記モニタ画面に表示すると共に前記撮像画像から前記一部エリアを除いた他のエリアを非鮮鋭化して前記モニタ画面に表示する制御手段を備えたことを特徴とする。この構成により、上記と同様に、モニタ画面を見る運転者に対し、昼夜を問わず運転者の注目を鮮鋭化させた一部エリアに対して向けさせることができる。撮像画像の鮮鋭化させる一部エリアは、予め定められた規則に則って或いは現在の道路周辺状況及び車両状況により定める。
【0012】
好適には、前記撮像画像中の前記鮮鋭化を行う一部エリアを、前記モニタ画面に表示される前記撮像画像の車両進行予測方向に対して所要範囲内に入るエリアとすることを特徴とする。この構成により、運転者の注目を、常に車両進行方向に向けさせることが可能となる。
【0013】
好適には、前記一部エリアは、車両速度が高速度になるほど遠方まで眺望可能な範囲に広げられることを特徴とする。この構成により、高速度で運転しているときは遠方まで鮮鋭化した画像で注視することが可能となる。
【0014】
更に好適には、前記一部エリアの前記モニタ画面上の表示位置が、前記車両進行予測方向に応じて変化することを特徴とする。この構成により、車両進行方向が変化した場合でも、運転者の注目を常に車両進行方向に向けさせることが可能となる。
【0015】
更に好適には、前記車両進行予測方向を、カーナビゲーションシステムにより予測する、あるいは、ステアリングに取り付けられた舵角センサの検出値から予測することを特徴とする。この構成により、精度良く車両進行方向を予測することが可能となり、運転者の注目範囲を精度良く車両進行方向に向けさせることが可能となる。
【0016】
更に好適には、前記一部エリアに前記撮像画像のうちの該当する部分を表示するとき、画素データの感度を上げ、或いは表示色を強調することを特徴とする。この構成により、鮮鋭化した画像中の注視対象を更に注目させることが可能となる。
【0017】
更に好適には、非鮮鋭化して表示する画像は、前記撮像画像そのままの画像あるいは前記撮像画像をぼかした画像とすることを特徴とする。この構成により、非鮮鋭化画像に対する運転者の注目度が低下し、運転者の注目を鮮鋭化した画像に向けさせることができる。
【0018】
更に好適には、前記鮮鋭化を行う処理は、前記撮像画像の個々の画素の水平方向の隣接画素及び周辺画素の輝度値から前記輝度値の2次微分であるラプラシアン値を引くことで行うことを特徴とする。この構成により、フィルタ手段の構成が容易となり、演算速度を向上させることが可能となる。
【0019】
更に好適には、前記鮮鋭化は、前記撮像画像のRGB信号の各々に対してフィルタ処理することで行うことを特徴とする。この構成により、更にフィルタ手段の構成が容易となり、高速処理が可能となる。
【0020】
【発明の実施の形態】
以下、本発明の一実施形態を、図面を参照して説明する。
【0021】
(第1の実施の形態)
図1は、本発明の第1の実施形態に係る車両周辺監視装置のブロック構成図である。この車両周辺監視装置は、乗用車等の車両に搭載されるものであり、撮像手段1と、この撮像手段1の撮像データを記録する撮像データ記録手段2と、演算制御手段9と、演算制御手段9による画像処理結果の画像データを記録する画像処理データ記録手段5と、画像処理結果の画像を表示する表示手段6とを備えて構成される。
【0022】
演算制御手段9は、撮像データの画像処理内容を決定する画像処理内容決定手段3と、画像処理内容決定手段3の決定した処理内容に基づいて撮像手段1の撮像データを画像処理するフィルタ手段4とで構成される。画像処理内容決定手段3やフィルタ手段4は、専用ハードウエアで構成されても、あるいは、CPU(中央演算処理装置)やDSP(デジタルシグナルプロセッサ)によるソフト処理によって構成されてもよい。
【0023】
撮像手段1は、例えばCCDやCMOS等の撮像素子を内蔵したカメラであり、可視光領域から近赤外光領域までの光を集光し、被写体画像を撮像することができる。撮像手段1の撮像画像は、ディジタル化された後、撮像データ記録手段2に記録される。撮像データ記録手段2は例えば半導体メモリで成り、後段における処理がしやすいように一時的に撮像データを蓄えておくものであり、リアルタイムで後段の処理が可能であるならば省略することも可能である。
【0024】
画像処理内容決定手段3は、取得された撮像画像のうち、どのエリアを運転者に注視させるために強調あるいは鮮鋭化させたいか(このエリアを以下「Aエリア」という。)、逆に、どの部分は運転者には無関係の部分であり意識から遠ざけたり或いは外乱の影響が極力入らないようにしておきたいか(このエリアを以下「Bエリア」という。)を決定する。
【0025】
図2は、AエリアとBエリアの一例を示す説明図である。この例では、図2(a)に示す様に、自車両10が真っ直ぐな道路11を直進している。表示手段6(図1)に表示されているモニタ画面6a(図2(b))には撮像手段1の撮像画像、即ち、自車両10の前方の、水平線14まで延びる道路画像11aが表示される。この画面6aの表示画像を、Aエリアと、それ以外のBエリアに分け、Aエリアの画像を鮮鋭化処理してモニタ画面6aに表示し、Bエリアの画像は撮像画像のまま、あるいは、ぼかした画像として表示する。
【0026】
この図2の例では、先ず、図2(a)に示す自車両10の進行方向の「車幅+1m」の範囲12をとる。そして、この範囲12のモニタ画面6a上の撮像画像(台形範囲)12aと、この台形範囲12aを2m鉛直方向に持ち上げた空間範囲12cとを合わせた範囲をAエリア(図2(c)にハッチングを施した範囲)、即ち鮮鋭化処理する所要範囲とし、それ以外をBエリアとする。これにより、自車両10の直進方向の「車幅+1m」の範囲を歩行する歩行者の画像が鮮鋭化され、車両進行方向に歩行者がいたとき、運転者の注目を歩行者に集中させることが可能となる。
【0027】
図1のフィルタ手段4は、画像処理内容決定手段3により指定された内容に即して、それぞれに適当なフィルタあるいはフィルタ係数を決定し、撮像画像を加工する。例えば、鮮鋭化したいAエリアであるならば、まず最初に、画像ノイズの影響を取り除くために、ガウシアンフィルタやローパスフィルタを通す。例えば、ローパスフィルタならば、
d(i,j)=0.5*f(i,j)+0.125*[f(i+1,j)+f(i−1,j)+f(i,j+1)+f(i,j−1)]
のような計算を各画素に施す。但し、0.5や0.125の値は、ローパスフィルタの程度により調整する。そして、その後は、従来例と同様に鮮鋭化処理を施し、
g(i,j)=d(i,j)−α*Δd(i,j)
としてAエリアの各画素の輝度値を求める。ここで、Δは入力画像d(i,j)の2次微分であるデジタルラプラシアンであり、また、αは適当な重み係数である。
【0028】
また、注視しなくてもよいBエリアの画素データの場合には、ガウシアンフィルタやローパスフィルタのみを通してぼかしたり、単に輝度を落とすだけでも良い。例えば、
g(i,j)=0.5*f(i,j)
としてBエリアの各画素の輝度値を求める。尚、上述した各フィルタの係数は、エリアで共通でも構わないし、画素毎あるいはいくつかの画素の集合であるブロック毎に変えても構わない。
【0029】
フィルタ手段4によって個々の画素にフィルタをかけた結果は、画像処理データ記録手段5に記録する。画像処理データ記録手段5は、例えば半導体メモリで成るが、無論、この画像処理データ記録手段5は、撮像データ記録手段2と共有化してもよい。表示手段6は、運転者が安全にその表示部を眺めることができる場所に設置され、画像処理データ記録手段5の画像を運転者に表示提供する。尚、フィルタ処理からリアルタイムで表示手段6にデータを送ることができるのであれば、画像処理データ記録手段5は省略可能である。
【0030】
図3は、本発明の第1の実施形態を適用した実際の画像例を示す図である。図3(a)が撮像手段1の撮像画像(原画像)そのままを示し、自車両進行方向に歩行者が歩いており、画面の右斜め上方には、街路灯が映っている。この原画像を、従来技術のように全画面で鮮鋭化した画像が図3(b)である。この従来画像では、歩行者画像は鮮鋭化されるが、街路灯の画像も同時に鮮鋭化され、運転者の注目は、歩行者ばかりでなく、街路灯にも分散されてしまう。
【0031】
そこで、本実施形態では、画面をAエリアとそれ以外のBエリアに分割し、Aエリアの画像を鮮鋭化すると共にもBエリアの画像はぼかした画像として画面に表示する。図3(c)は、エリア分割範囲を示す図である。図2で説明したAエリアは、車幅+1mの範囲12を2m持ち上げた範囲をAエリアの上縁とした。しかし、撮像手段1は車両に固定されており、Aエリアの上縁をその都度演算により求めるよりも、概ね予め設定しておくことが可能であり、その方が演算速度が速くなる。
【0032】
そのため、本実施形態では、図3(c)に示す様に、AエリアとBエリアの境界Kを予め決めておく。そして、図3(d)に示す様に、Aエリアの画像のみを鮮鋭化し、Bエリアの画像はぼかして表示する。これにより、街路灯の画像はボケ、歩行者の画像は鮮鋭化されるため、運転者の注目を歩行者に集中させることが可能となる。
【0033】
このように、本実施形態によれば、運転者に注視させたいAエリアの画像だけを効果的に、また、鮮明に提示することができ、優れた車両周辺監視装置を提供することができる。
【0034】
(第2の実施の形態)
次に、本発明の第2の実施形態について説明する。本実施形態における車両周辺監視装置の構成は、図1と同様であるので、その説明は省略する。本実施形態では、撮像手段の撮像感度が画素毎に変えられるようになっている。例えば、撮像画素をCMOSセンサとすると、個々の画素データは、対応するフォトダイオードで光電変換され、後段のトランジスタ回路で増幅されるが、その増幅率を上記注目すべきところ(Aエリア)では上げ、その他(Bエリア)では下げるようにする。
【0035】
その後の処理は第1の実施形態と同様に処理する。この構成により、フィルタだけでなく画像撮像の感度まで変えて、注目すべきAエリアだけをより鮮明かつ効果的に運転者に提示することができる優れた車両周辺監視装置を提供することが可能となる。
【0036】
(第3の実施の形態)
次に、本発明の第3の実施形態について説明する。本実施形態の車両周辺監視装置も図1に示す構成と同じであるが、本実施形態の画像処理内容決定手段3は、自車両が直進する際に予め画像のどの部分が進行路を映し出すかを把握しておく。これにより、自車両の予想進路であるべき上記部分及びその周辺を、注視すべきAエリアとして鮮鋭化するように処理内容を決定することができる。
【0037】
例えば、図3の例では、自車両の直進予想進路が画面中央に表示されるため、画面中央を中心に鮮鋭化しているが、画面の左半分に自車両の走行車線が表示される様にモニタ調整が行われている場合には、画面の左半分を中心にAエリアを設定し、画像の鮮鋭化を行う。
【0038】
また、同じ進行路上であっても、自車両の速度が速ければより遠くまでを見渡す必要があるので、速度センサあるいは画像のオプティカルフローより車両速度を推測し、速度が速いときほど遠方まで鮮鋭化する。即ち、図3(c)における境界Kを上方向に移動させ、より遠方までAエリアを広げる。これにより、車両速度に応じて鮮鋭化する画像範囲を変えることができる。これにより、例えば60kmで走行中には前方200mまでの範囲の画像が鮮鋭化され、高速道路で100km走行中は前方500mまでの範囲の画像が鮮鋭化される。
【0039】
以上の例は、車両前方を監視する撮像手段を車両に搭載した例であるが、車両後方監視用のカメラを車両に搭載し、車両が後退する時にも、車両後方の画像に上述した各実施形態を適用することで、上述と同様の効果を得ることができる。
【0040】
(第4の実施の形態)
次に、本発明の第4の実施形態について説明する。図4は、本実施形態に係る車両周辺監視装置のブロック構成図である。本実施形態の車両周辺監視装置は、図1に示す構成に加え、ナビゲーションシステム7を備え、画像処理内容決定手段3が、ナビゲーションシステム7からの信号に基づいて処理内容、特にAエリアの範囲を決定することを特徴とする。
【0041】
本実施形態に係るカーナビゲーションシステム7は、GPS等の位置検出手段と地図データにより、現在位置及び走行道路を推測し、また、その道路の情報より今後どのような道路形状の場所を通過するか予測する。この予測に基づき、画像処理内容決定手段3は、今後の進行予測方向の地図データに基づき、Aエリアの範囲を決定する。
【0042】
例えば、図5(a)に示す様に、自車両位置15に対し今後の進行予測路が地図データにより直進路16であると推測された場合には、図5(b)に示す様に、直進路画像16aと重なる画像中央方向を、注視すべき対象すなわち鮮鋭化処理の対象(Aエリア)とする。
【0043】
また、図6(a)に示す様に、自車両位置15に対し今後の進行予測路が地図データにより曲進路17であると推測される時には、図6(b)に示す様に、曲進路画像17aの曲がる方向と道路曲率に応じて、注視すべきAエリアを画面中央から曲がる方向にずらす。
【0044】
この様に、本実施形態では、地形の変化を事前に推測しながら、必要な方向のみを運転者に注視させることができる優れた車両周辺監視装置を提供することができる。
【0045】
(第5の実施の形態)
次に、本発明の第5の実施形態について説明する。図7は、本実施形態に係る車両周辺監視装置のブロック構成図である。本実施形態の車両周辺監視装置は、図4の構成に加えて、ステアリング舵角検出手段8を備え、画像処理内容決定手段3は、カーナビゲーションシステム7ばかりでなく、ステアリング舵角検出手段8の検出値に応じて処理内容とくにAエリアの範囲を決定することを特徴とする。ステアリング舵角検出手段8は、例えば、ホール素子等によりステアリングの回転角を検出し、画像処理内容決定手段3は、この検出値に基づいて、タイヤの曲がる量を推測する。
【0046】
画像処理内容決定手段3は、ステアリング舵角検出手段8の検出値により、現時点から車両が進むであろう方向を知ることができるので、その方向に応じて、注視すべきエリアすなわち鮮鋭化すべきAエリアを中央から曲がる方向にずらすことができる。これにより、常に車両の進行方向の画像を鮮鋭化し、それ以外はぼかすことが可能となり、運転者がステアリングを切って今後進みたいと欲している方向のみを注視させることができる優れた車両周辺監視装置を提供することが可能となる。
【0047】
(第6の実施の形態)
次に本発明の第6の実施形態について説明する。本実施形態に係る車両周辺監視装置の構成は、図1、図4、図7のいずれかの構成と同一であり、本実施形態のフィルタ手段4は、注目すべきAエリアの鮮鋭化だけではなく、予め指定した色あるいは色調を強調する処理も行う。例えば、図3に示す道路上の白線及び人物は白く映っているが、画面上の表示色「白」に近い所ほど黄色く表示したり、あるいはその輝度を上げて表示する方が、運転者の注目を喚起し易い。
【0048】
あるいは、前方を映し出すカラー画像において、赤い色だけを強調するようにする。具体的にはRGB値でRがG、Bより一定量大きい場合、赤っぽい色であると判断し、その色の赤さをさらに上げるべく、R値を増やす。これにより、前を走る車のストップランプや信号機の赤色だけが他の色より強調されることになる。
【0049】
このように、本実施形態では、撮像画像を単純に鮮鋭化するだけでなく、色の強調も行い、より注視効果を高めた優れた車両周辺監視装置を提供することができる。
【0050】
(第7の実施の形態)
次に、本発明の第7の実施形態について説明する。本実施形態の車両周辺監視装置の構成も、図1、図4、図7のいずれかの構成と同一であり、本実施形態のフィルタ手段4は、対象画素に対してその水平方向の隣接画素、及び周辺画素でフィルタを構成する。例えば、
g(i,j)=f(i,j)−h(i,j)
において、ローパスフィルタによるノイズ除去の効果とラプラシアンフィルタによる輝度鮮鋭化の効果とを同時に得るためにローパスフィルタとラプラシアンフィルタの両機能を持つフィルタに相当するhの値を求める際に、
h(i.j)=f(i−2,j)+2f(i−1,j)−6f(i,j)+2f(i+1,j)+f(i+2,j)
と、水平方向の画素だけで構成する。
【0051】
このフィルタによっても、画面上、垂直方向に伸びる棒状のエッジ、例えば人物やあるいは白線のエッジは良好に捉えることが出来るし、垂直画素の情報を使わないだけ計算量等も節約でき、ハード等も簡略化できる。
【0052】
これにより、本実施形態では、所望の鮮鋭化を少ない計算量かつ簡略なハードで実現可能となる。
【0053】
(第8の実施の形態)
次に、本発明の第8の実施形態について説明する。本実施形態の車両周辺監視装置の構成も、図1、図4、図7のいずれかの構成と同一である。上述した実施形態では、フィルタ手段4は、撮像画像の輝度値について上記のフィルタ演算を行う。例えば撮像画像がカラー画像であるならば、RGBの3値をYUV変換してカラーテレビジョンで標準化されているYUV信号を求め、その輝度情報Yの値に対してフィルタ処理をかけることとしている。しかし、本実施形態では、輝度情報Yを求めることなく、RGBの各値をフィルタ処理することで、鮮鋭化処理することを特徴とする。
【0054】
Aエリアを鮮鋭化するためのフィルタ手段4におけるフィルタ処理は、運転者に注視して欲しいための強調、鮮鋭化を目的としている。このため、多少の色の変化は無視できるので、本実施形態のフィルタ手段4は、RGBそれぞれの色ごとにフィルタ処理を行い、第1から第6の各実施形態と同様の鮮鋭効果を得ることとし、また、色毎にフィルタ手段を構成できるゆえに、色強調を行うフィルタの構成も安価となる。
【0055】
即ち、本実施形態では、各画素で得られたRGB値それぞれについて、例えば、数4から数6のフィルタ演算処理を行う。これにより、振幅値(輝度値)をわざわざ求めなくても、RGB値を使って強調フィルタを構成でき、簡単かつ効果的な車両周辺監視装置を提供することが可能となる。
【0056】
尚、以上述べた各実施形態では、注視させたい部分を鮮鋭化する例で説明したが、注視させたい部分を撮像画像のまま表示し、注視させたくない部分をぼけさせて表示させても、同じ効果を得られることはいうまでもない。要するに注視させたい部分とそうでない部分を異ならせて表示すればよい。
【0057】
また、鮮鋭化エリアとそれ以外を分けるだけでなく、その中間の鮮鋭度合を有する領域があってもよい。鮮鋭化の種類も、実施の形態で説明した、輝度を高めたり、白色ほど黄色に表示したり、赤色ほど強調したりする例に限るものではなく、運転者が注意を払うべき範囲(上記のAエリア)内の画像表示に対して運転者の注意が集中するように、モニタ画面内の他の範囲(運転者が注意を払わなくても良い範囲:上記のBエリア)と比較して画像がより明瞭に視認できればよい。従って、ボケについても同様であり、単に輝度を低下させたり画像の解像度を落として表示することに限るものではなく、運転者の注意がBエリアの画像表示に向かないように完全にぼかして画像が見えない様にすることでもよい。
【0058】
【発明の効果】
本発明によれば、撮像画像のうち運転者に注視させたいエリアの画像を他のエリアに比べて鮮鋭に表示することができ、運転者に注意を喚起しやすい画面を提示することができる車両周辺監視装置を提供可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る車両周辺監視装置のブロック構成図
【図2】本発明の第1の実施形態に係る車両周辺監視装置における鮮鋭化エリア(Aエリア)の説明図
【図3】本発明の第1の実施形態に係る車両周辺監視装置における表示画像を例示する図
【図4】本発明の第4の実施形態に係る車両周辺監視装置のブロック構成図
【図5】本発明の第4の実施形態に係る車両周辺監視装置において車両進行路を直進路と予測したときの鮮鋭化エリアの説明図
【図6】本発明の第4の実施形態に係る車両周辺監視装置において車両進行路を曲進路と予測したときの鮮鋭化エリアの説明図
【図7】本発明の第5の実施形態に係る車両周辺監視装置のブロック構成図
【符号の説明】
1 撮像手段
2 撮像データ記録手段
3 画像処理内容決定手段
4 フィルタ手段
5 画像処理データ記録手段
6 表示手段
7 カーナビゲーションシステム
8 ステアリング舵角検出手段
9 演算制御手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle periphery monitoring device mounted on a vehicle.
[0002]
[Prior art]
Conventionally, a system has been proposed in which a camera is mounted on a vehicle, the surroundings are photographed, the obtained image is processed to recognize white lines on a road, and the recognition result is displayed on a monitor. For example, Japanese Patent Laid-Open No. 10-76272 discloses a vehicle periphery monitoring device that increases the sharpness of an image by applying edge enhancement processing to a captured image of a camera that can capture even near-infrared light, and presents this to the driver. Are listed.
[0003]
In order to increase the sharpness, that is, the sharpness of an image, for example, the Laplacian value that is the second derivative of the luminance value may be subtracted from the luminance value of each part of the image. In reality, since only discrete brightness of pixels can be obtained, the brightness value of each pixel after conversion is obtained using the brightness value of adjacent pixels.
g (i, j) = f (i, j) −Δf (i, j)
Can be obtained as
[0004]
Here, the position of the pixel is represented by a two-dimensional coordinate of a horizontal position i and a vertical position j. Δ is a digital Laplacian that is a second derivative of the input image f (i, j), and Δf (i, j) = f (i + 1, j) + f (i−1, j) + f (i, j + 1). + F (i, j-1) -4f (i, j)
By substituting this into Equation 1,
[0005]
g (i, j) = 5f (i, j)-[f (i + 1, j) + f (i-1, j) + f (i, j + 1) + f (i, j-1)]
It becomes. Such conversion can enhance the edge of the entire image and increase the sharpness of the image.
[0006]
By the way, applying edge enhancement using, for example, first-order differentiation or Laplacian to the image, or sharpening is the “Image Processing Engineering Basics” published by Keiji Taniguchi and Kyoritsu Publishing Co., Ltd. p.64, p.70. -77, which is a known technique.
[0007]
[Problems to be solved by the invention]
In vehicle periphery monitoring, the part that the driver wants to watch is often a part of the screen, and only that part is highlighted and displayed in an easy-to-understand manner, and the remaining part is left as it is, or conversely inconspicuous The driver is more effective because it makes it easier for the driver to find obstacles. For example, when the driver looks forward through the monitor screen while driving, what he really wants to watch is the situation of the traveling path of the vehicle, and the priority of information such as headlights and oncoming vehicles in diagonally opposite lanes is In most cases, it is quite low or rather noise and you want to eliminate it.
[0008]
However, in the above prior art, the same sharpening filter processing is performed on the entire image, so that the sharpening effect is obtained on the entire screen, and the driver's attention is distributed over the entire screen. In other words, the conspicuous filtering process emphasizes the parts corresponding to noise and the parts that do not need to be watched. There is a problem that it will be presented.
[0009]
An object of the present invention is to solve the above-described problems of the prior art, and it is possible to present a monitor screen that easily emphasizes only the point to be watched and makes it easy to see and draws attention to the driver. The object is to provide a vehicle periphery monitoring device.
[0010]
[Means for Solving the Problems]
The vehicle periphery monitoring device that achieves the above-described object provides a sharp image display in a partial area of the captured image and other areas excluding the partial area when displaying a captured image of the vehicle periphery by an in-vehicle camera on a monitor screen. It is characterized by comprising control means for varying the degree. With this configuration, the driver's attention looking at the monitor screen can be directed to images with high sharpness relative to the image display in some areas and other areas, and the driver's attention can be concentrated on images with high sharpness. It becomes possible.
[0011]
In addition, the vehicle periphery monitoring device that achieves the above object sharpens a part of the captured image and displays it on the monitor screen when the captured image around the vehicle by the in-vehicle camera is displayed on the monitor screen. Control means for unsharpening and displaying other areas excluding the partial area on the monitor screen. With this configuration, in the same manner as described above, the driver who watches the monitor screen can be directed to a partial area where the driver's attention is sharpened regardless of day or night. The partial area where the captured image is sharpened is determined according to a predetermined rule or according to the current road surrounding situation and vehicle situation.
[0012]
Preferably, the part of the captured image in which the sharpening is performed is an area that falls within a required range with respect to a vehicle traveling prediction direction of the captured image displayed on the monitor screen. . With this configuration, the driver's attention can always be directed in the vehicle traveling direction.
[0013]
Preferably, the partial area is widened to a far viewable range as the vehicle speed increases. With this configuration, when driving at a high speed, it is possible to gaze at an image sharpened far away.
[0014]
More preferably, the display position of the partial area on the monitor screen changes according to the vehicle travel prediction direction. With this configuration, even when the vehicle traveling direction changes, the driver's attention can always be directed to the vehicle traveling direction.
[0015]
More preferably, the vehicle travel prediction direction is predicted by a car navigation system or is predicted from a detection value of a steering angle sensor attached to a steering wheel. With this configuration, the vehicle traveling direction can be predicted with high accuracy, and the driver's attention range can be accurately directed toward the vehicle traveling direction.
[0016]
More preferably, when a corresponding portion of the captured image is displayed in the partial area, the sensitivity of the pixel data is increased or the display color is emphasized. With this configuration, it is possible to further pay attention to the gaze target in the sharpened image.
[0017]
More preferably, the unsharpened image to be displayed is an image of the captured image as it is or a blurred image of the captured image. With this configuration, the driver's attention to the unsharpened image is reduced, and the driver's attention can be directed to the sharpened image.
[0018]
More preferably, the sharpening process is performed by subtracting a Laplacian value that is a second derivative of the luminance value from the luminance values of the adjacent pixels in the horizontal direction of the individual pixels of the captured image and the peripheral pixels. It is characterized by. With this configuration, the filter means can be easily configured, and the calculation speed can be improved.
[0019]
More preferably, the sharpening is performed by filtering each of the RGB signals of the captured image. This configuration further facilitates the configuration of the filter means and enables high-speed processing.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0021]
(First embodiment)
FIG. 1 is a block configuration diagram of a vehicle periphery monitoring device according to a first embodiment of the present invention. This vehicle periphery monitoring device is mounted on a vehicle such as a passenger car, and includes an imaging unit 1, an imaging data recording unit 2 that records imaging data of the imaging unit 1, an arithmetic control unit 9, and an arithmetic control unit. 9 includes image processing data recording means 5 for recording image data of the result of image processing according to 9, and display means 6 for displaying an image of the result of image processing.
[0022]
The arithmetic control unit 9 includes an image processing content determination unit 3 that determines the image processing content of the imaging data, and a filter unit 4 that performs image processing on the imaging data of the imaging unit 1 based on the processing content determined by the image processing content determination unit 3. It consists of. The image processing content determination unit 3 and the filter unit 4 may be configured by dedicated hardware, or may be configured by software processing by a CPU (Central Processing Unit) or DSP (Digital Signal Processor).
[0023]
The image pickup means 1 is a camera incorporating an image pickup device such as a CCD or a CMOS, for example, and can collect light from a visible light region to a near infrared light region and pick up a subject image. The captured image of the imaging unit 1 is digitized and then recorded in the imaging data recording unit 2. The imaging data recording means 2 is composed of, for example, a semiconductor memory, and temporarily stores imaging data so that subsequent processing is easy. If the subsequent processing is possible in real time, it can be omitted. is there.
[0024]
The image processing content determination means 3 determines which area of the acquired captured image is to be emphasized or sharpened in order to make the driver gaze (this area is hereinafter referred to as “A area”), and conversely which. The part is irrelevant to the driver and determines whether it is desired to keep away from consciousness or to prevent the influence of disturbance as much as possible (this area is hereinafter referred to as “B area”).
[0025]
FIG. 2 is an explanatory diagram illustrating an example of the A area and the B area. In this example, as shown in FIG. 2A, the host vehicle 10 travels straight on a straight road 11. On the monitor screen 6a (FIG. 2B) displayed on the display means 6 (FIG. 1), a picked-up image of the image pickup means 1, that is, a road image 11a extending to the horizontal line 14 in front of the host vehicle 10 is displayed. The The display image of this screen 6a is divided into A area and B area other than that, the image of A area is sharpened and displayed on the monitor screen 6a, and the image of B area remains as a captured image or is blurred. Displayed as an image.
[0026]
In the example of FIG. 2, first, a range 12 of “vehicle width + 1 m” in the traveling direction of the host vehicle 10 shown in FIG. Then, a range obtained by combining the captured image (trapezoid range) 12a on the monitor screen 6a in the range 12 and the spatial range 12c obtained by lifting the trapezoid range 12a in the vertical direction by 2 m is hatched in the A area (FIG. 2C). ), That is, a required range for sharpening processing, and the other area is defined as area B. As a result, the image of a pedestrian walking in the range of “vehicle width + 1 m” in the straight direction of the host vehicle 10 is sharpened, and when the pedestrian is in the vehicle traveling direction, the driver's attention is concentrated on the pedestrian. Is possible.
[0027]
The filter means 4 of FIG. 1 determines an appropriate filter or filter coefficient for each according to the content specified by the image processing content determination means 3, and processes the captured image. For example, if the area A is to be sharpened, first, a Gaussian filter or a low-pass filter is passed to remove the influence of image noise. For example, if it is a low-pass filter,
d (i, j) = 0.5 * f (i, j) + 0.125 * [f (i + 1, j) + f (i-1, j) + f (i, j + 1) + f (i, j-1) ]
The following calculation is performed on each pixel. However, the values of 0.5 and 0.125 are adjusted depending on the degree of the low-pass filter. After that, sharpening treatment is performed as in the conventional example,
g (i, j) = d (i, j) −α * Δd (i, j)
The luminance value of each pixel in the A area is obtained Here, Δ is a digital Laplacian that is a second derivative of the input image d (i, j), and α is an appropriate weighting factor.
[0028]
In the case of pixel data of area B that does not need to be watched, it may be blurred only through a Gaussian filter or a low-pass filter, or simply reduced in luminance. For example,
g (i, j) = 0.5 * f (i, j)
As described above, the luminance value of each pixel in area B is obtained. Note that the coefficients of the above-described filters may be common to the areas, or may be changed for each pixel or for each block that is a set of several pixels.
[0029]
The result of filtering the individual pixels by the filter unit 4 is recorded in the image processing data recording unit 5. The image processing data recording means 5 is composed of, for example, a semiconductor memory. Of course, the image processing data recording means 5 may be shared with the imaging data recording means 2. The display means 6 is installed in a place where the driver can safely view the display unit, and provides the driver with the image of the image processing data recording means 5. Note that the image processing data recording means 5 can be omitted if the data can be sent to the display means 6 in real time from the filter processing.
[0030]
FIG. 3 is a diagram showing an actual image example to which the first embodiment of the present invention is applied. FIG. 3A shows the captured image (original image) of the imaging means 1 as it is. A pedestrian is walking in the traveling direction of the host vehicle, and a street lamp is shown on the upper right side of the screen. FIG. 3B shows an image obtained by sharpening this original image on the entire screen as in the prior art. In this conventional image, the pedestrian image is sharpened, but the image of the street light is also sharpened at the same time, and the driver's attention is distributed not only to the pedestrian but also to the street light.
[0031]
Therefore, in the present embodiment, the screen is divided into the A area and the other B areas, and the image of the A area is sharpened and the image of the B area is displayed on the screen as a blurred image. FIG. 3C shows an area division range. In the A area described with reference to FIG. 2, the upper edge of the A area is a range obtained by lifting the range 12 of the vehicle width + 1 m by 2 m. However, the image pickup means 1 is fixed to the vehicle, and can be set in advance in general, rather than obtaining the upper edge of the A area by calculation each time, and the calculation speed becomes faster.
[0032]
Therefore, in this embodiment, as shown in FIG. 3C, the boundary K between the A area and the B area is determined in advance. Then, as shown in FIG. 3D, only the image of the A area is sharpened, and the image of the B area is displayed in a blurred manner. As a result, the streetlight image is blurred and the pedestrian image is sharpened, so that the driver's attention can be concentrated on the pedestrian.
[0033]
As described above, according to the present embodiment, it is possible to effectively and clearly present only the image of the area A that the driver wants to watch, and to provide an excellent vehicle periphery monitoring device.
[0034]
(Second Embodiment)
Next, a second embodiment of the present invention will be described. Since the configuration of the vehicle periphery monitoring device in the present embodiment is the same as that in FIG. 1, the description thereof is omitted. In the present embodiment, the imaging sensitivity of the imaging means can be changed for each pixel. For example, when an imaging pixel is a CMOS sensor, each pixel data is photoelectrically converted by a corresponding photodiode and amplified by a subsequent transistor circuit. However, the amplification factor is increased in the above noted area (A area). In other areas (B area), it is lowered.
[0035]
Subsequent processing is the same as in the first embodiment. With this configuration, it is possible to provide an excellent vehicle periphery monitoring apparatus that can change not only the filter but also the sensitivity of image capturing and present only the A area to be noticed to the driver more clearly and effectively. Become.
[0036]
(Third embodiment)
Next, a third embodiment of the present invention will be described. Although the vehicle periphery monitoring apparatus of this embodiment is the same as the structure shown in FIG. 1, the image processing content determination means 3 of this embodiment determines which part of the image shows the traveling path in advance when the host vehicle goes straight ahead. Keep track of. Thereby, the processing content can be determined so as to sharpen the above-mentioned portion that should be the expected course of the host vehicle and the vicinity thereof as an A area to be watched.
[0037]
For example, in the example of FIG. 3, the predicted straight course of the host vehicle is displayed at the center of the screen, so the center of the screen is sharpened, but the driving lane of the host vehicle is displayed on the left half of the screen. When monitor adjustment is performed, an A area is set around the left half of the screen, and the image is sharpened.
[0038]
Even on the same traveling path, if the speed of the host vehicle is high, it is necessary to look farther, so the vehicle speed is estimated from the speed sensor or the optical flow of the image, and the higher the speed, the sharper the distance. To do. That is, the boundary K in FIG. 3C is moved upward, and the A area is further extended. Thereby, the image range to be sharpened can be changed according to the vehicle speed. Thus, for example, an image in a range up to 200 m ahead is sharpened while traveling at 60 km, and an image in a range up to 500 m forward is sharpened while traveling 100 km on a highway.
[0039]
The above example is an example in which the imaging means for monitoring the front of the vehicle is mounted on the vehicle. However, when the vehicle for monitoring the rear of the vehicle is mounted on the vehicle and the vehicle moves backward, By applying the form, the same effect as described above can be obtained.
[0040]
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. FIG. 4 is a block configuration diagram of the vehicle periphery monitoring device according to the present embodiment. The vehicle periphery monitoring device according to the present embodiment includes a navigation system 7 in addition to the configuration shown in FIG. 1, and the image processing content determination means 3 determines the processing content, particularly the range of area A based on the signal from the navigation system 7. It is characterized by determining.
[0041]
The car navigation system 7 according to the present embodiment estimates a current position and a traveling road from position detection means such as GPS and map data, and what kind of road shape place will be passed in the future based on the road information. Predict. Based on this prediction, the image processing content determination means 3 determines the range of the A area based on the map data in the future progress prediction direction.
[0042]
For example, as shown in FIG. 5 (a), when it is estimated by the map data that the future progress predicted road is the straight road 16 with respect to the own vehicle position 15, as shown in FIG. An image center direction overlapping the straight path image 16a is set as an object to be watched, that is, a sharpening process target (A area).
[0043]
Further, as shown in FIG. 6 (a), when it is estimated from the map data that the future progress predicted road is the curved road 17 with respect to the own vehicle position 15, the curved road as shown in FIG. 6 (b). The A area to be watched is shifted from the center of the screen in the direction of bending according to the direction of the image 17a and the road curvature.
[0044]
As described above, according to the present embodiment, it is possible to provide an excellent vehicle periphery monitoring device that can make a driver gaze only in a necessary direction while estimating a change in terrain in advance.
[0045]
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. FIG. 7 is a block configuration diagram of the vehicle periphery monitoring device according to the present embodiment. The vehicle periphery monitoring apparatus according to the present embodiment includes a steering rudder angle detection unit 8 in addition to the configuration of FIG. 4, and the image processing content determination unit 3 includes not only the car navigation system 7 but also the steering rudder angle detection unit 8. The processing content, in particular, the range of the A area is determined according to the detection value. The steering rudder angle detection means 8 detects the rotation angle of the steering by using, for example, a hall element, and the image processing content determination means 3 estimates the amount of bending of the tire based on this detection value.
[0046]
Since the image processing content determination means 3 can know the direction in which the vehicle will travel from the current time based on the detection value of the steering angle detection means 8, the area to be watched, that is, the A to be sharpened according to the direction. The area can be shifted in the direction of turning from the center. This makes it possible to always sharpen the image of the direction of travel of the vehicle and to blur the rest, allowing the driver to turn off the steering wheel and watch only the direction he wants to proceed in the future. An apparatus can be provided.
[0047]
(Sixth embodiment)
Next, a sixth embodiment of the present invention will be described. The configuration of the vehicle periphery monitoring device according to the present embodiment is the same as the configuration of any one of FIGS. 1, 4 and 7, and the filter means 4 of the present embodiment is only required to sharpen the area A to be noticed. In addition, processing for emphasizing a color or tone specified in advance is also performed. For example, the white line and the person on the road shown in FIG. 3 appear white. However, it is better to display the yellow color near the display color “white” on the screen, or to increase the brightness. It is easy to attract attention.
[0048]
Alternatively, only the red color is emphasized in the color image that projects the front. Specifically, when R is an RGB value and R is larger than G and B by a certain amount, it is determined that the color is reddish, and the R value is increased to further increase the redness of the color. As a result, only the stop lamp of the car running ahead and the red color of the traffic light are emphasized over the other colors.
[0049]
As described above, according to the present embodiment, it is possible to provide an excellent vehicle periphery monitoring apparatus that not only sharpens the captured image but also enhances the color and enhances the gaze effect.
[0050]
(Seventh embodiment)
Next, a seventh embodiment of the present invention will be described. The configuration of the vehicle periphery monitoring device of the present embodiment is also the same as the configuration of any of FIGS. 1, 4, and 7, and the filter means 4 of the present embodiment is adjacent to the target pixel in the horizontal direction. , And peripheral pixels constitute a filter. For example,
g (i, j) = f (i, j) -h (i, j)
In order to obtain simultaneously the effect of noise removal by the low-pass filter and the effect of brightness sharpening by the Laplacian filter, the value of h corresponding to a filter having both functions of the low-pass filter and the Laplacian filter is obtained.
h (i.j) = f (i−2, j) + 2f (i−1, j) −6f (i, j) + 2f (i + 1, j) + f (i + 2, j)
And only the pixels in the horizontal direction.
[0051]
Even with this filter, vertical edges on the screen, for example, the edges of people or white lines, can be captured well, and the amount of calculation can be saved by not using vertical pixel information. It can be simplified.
[0052]
Thereby, in this embodiment, desired sharpening can be realized with a small amount of calculation and simple hardware.
[0053]
(Eighth embodiment)
Next, an eighth embodiment of the present invention will be described. The configuration of the vehicle periphery monitoring device of the present embodiment is also the same as the configuration of any one of FIGS. In the embodiment described above, the filter unit 4 performs the above-described filter calculation on the luminance value of the captured image. For example, if the captured image is a color image, YUV conversion of RGB three values is performed to obtain a YUV signal standardized by color television, and the luminance information Y value is filtered. However, the present embodiment is characterized in that the sharpening process is performed by filtering each value of RGB without obtaining the luminance information Y.
[0054]
The filter processing in the filter means 4 for sharpening the A area is aimed at emphasis and sharpening for the driver to pay attention. For this reason, since a slight change in color can be ignored, the filter unit 4 of this embodiment performs a filtering process for each color of RGB and obtains the same sharpening effect as in the first to sixth embodiments. In addition, since the filter means can be configured for each color, the configuration of the filter for performing color enhancement is also inexpensive.
[0055]
That is, in the present embodiment, for example, the filter calculation processing of Equation 4 to Equation 6 is performed for each of the RGB values obtained in each pixel. Thus, an enhancement filter can be configured using RGB values without bothering to obtain an amplitude value (luminance value), and a simple and effective vehicle periphery monitoring device can be provided.
[0056]
In each of the embodiments described above, the example of sharpening the portion to be watched has been described.However, even if the portion to be watched is displayed as a captured image and the portion that is not to be watched is blurred and displayed, Needless to say, the same effect can be obtained. In short, it is only necessary to display the part that is desired to be watched and the part that is not so different.
[0057]
Moreover, not only the sharpening area and the other areas but also a region having an intermediate sharpness level may be present. The sharpening type is not limited to the example described in the embodiment, in which the brightness is increased, the white color is displayed in yellow, or the red color is emphasized. The range that the driver should pay attention to (see above) Compared to other areas in the monitor screen (area where the driver does not have to pay attention: area B above) so that the driver's attention concentrates on the image display in area A) It is sufficient that can be visually recognized more clearly. Therefore, the same applies to blurring, and is not limited to display with reduced brightness or reduced image resolution. The image is completely blurred so that the driver's attention is not suitable for B area image display. It is also possible not to see.
[0058]
【The invention's effect】
Advantageous Effects of Invention According to the present invention, a vehicle that can display an image of an area that a driver wants to watch from a captured image is sharper than other areas, and can present a screen that is easy to call the driver. A peripheral monitoring device can be provided.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a vehicle periphery monitoring device according to a first embodiment of the present invention. FIG. 2 is an explanation of a sharpening area (A area) in the vehicle periphery monitoring device according to the first embodiment of the present invention. FIG. 3 is a diagram illustrating a display image in the vehicle periphery monitoring device according to the first embodiment of the present invention. FIG. 4 is a block configuration diagram of the vehicle periphery monitoring device according to the fourth embodiment of the present invention. 5 is an explanatory view of a sharpening area when a vehicle traveling path is predicted to be a straight traveling path in a vehicle periphery monitoring apparatus according to a fourth embodiment of the present invention. FIG. 6 is a view of a vehicle periphery according to a fourth embodiment of the present invention. FIG. 7 is an explanatory diagram of a sharpening area when a vehicle traveling path is predicted to be a curved path in the monitoring apparatus. FIG. 7 is a block diagram of a vehicle periphery monitoring apparatus according to a fifth embodiment of the present invention.
DESCRIPTION OF SYMBOLS 1 Imaging means 2 Imaging data recording means 3 Image processing content determination means 4 Filter means 5 Image processing data recording means 6 Display means 7 Car navigation system 8 Steering angle detection means 9 Calculation control means

Claims (5)

車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、前記撮像画像の一部エリアと前記一部エリアを除いた他エリアとで画像表示の鮮鋭度を異ならせる制御手段を備え、前記一部エリアを、前記モニタ画面に表示される車両進行予測方向の所要範囲内のエリアとすることを特徴とする車両周辺監視装置。When displaying a captured image of surroundings of the vehicle by the vehicle-mounted camera on a monitor screen, a control means for varying the sharpness of the image displayed on the other area except a part area of the portion area of the captured image, the one The vehicle periphery monitoring device , wherein the partial area is an area within a required range in the vehicle travel prediction direction displayed on the monitor screen . 車載カメラによる車両周辺の撮像画像をモニタ画面に表示するとき、前記撮像画像の一部エリアを鮮鋭化して前記モニタ画面に表示すると共に前記撮像画像から前記一部エリアを除いた他のエリアを非鮮鋭化して前記モニタ画面に表示する制御手段を備え、前記一部エリアを、前記モニタ画面に表示される車両進行予測方向の所要範囲内のエリアとすることを特徴とする車両周辺監視装置。When a captured image of a vehicle periphery by an in-vehicle camera is displayed on a monitor screen, a part of the captured image is sharpened and displayed on the monitor screen, and other areas excluding the partial area from the captured image are not displayed. A vehicle periphery monitoring device comprising control means for sharpening and displaying on the monitor screen , wherein the partial area is an area within a required range of a vehicle travel prediction direction displayed on the monitor screen . 前記一部エリアは、車両速度が高速度になるほど遠方まで眺望可能な範囲に広げられることを特徴とする請求項1または請求項2に記載の車両周辺監視装置。 3. The vehicle periphery monitoring device according to claim 1, wherein the partial area is expanded to a range that can be viewed far away as the vehicle speed increases. 4. 前記一部エリアの前記モニタ画面上の表示位置が、前記車両進行予測方向に応じて変化することを特徴とする請求項1乃至請求項3のいずれかに記載の車両周辺監視装置。The display position on the monitor screen some areas, the vehicle surroundings monitoring apparatus according to any one of claims 1 to 3, characterized in that changes in accordance with the vehicle traveling prediction direction. 前記車両進行予測方向を、カーナビゲーションシステムにより予測する、あるいは、ステアリングに取り付けられた舵角センサの検出値から予測することを特徴とする請求項乃至請求項のいずれかに記載の車両周辺監視装置。The vehicle traveling prediction direction is predicted by a car navigation system or the vehicle periphery according to any one of claims 1 to 4, characterized in that predicted from the detected value of the steering angle sensor attached to a steering Monitoring device.
JP2002067103A 2002-03-12 2002-03-12 Vehicle periphery monitoring device Expired - Fee Related JP3941926B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002067103A JP3941926B2 (en) 2002-03-12 2002-03-12 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002067103A JP3941926B2 (en) 2002-03-12 2002-03-12 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2003274393A JP2003274393A (en) 2003-09-26
JP3941926B2 true JP3941926B2 (en) 2007-07-11

Family

ID=29198593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002067103A Expired - Fee Related JP3941926B2 (en) 2002-03-12 2002-03-12 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP3941926B2 (en)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4211588B2 (en) * 2003-12-02 2009-01-21 日産自動車株式会社 Driving support apparatus and method
JP4561470B2 (en) * 2005-05-19 2010-10-13 アイシン・エィ・ダブリュ株式会社 Parking assistance device
JP4735339B2 (en) * 2006-03-03 2011-07-27 日産自動車株式会社 Video display device
JP4791222B2 (en) * 2006-03-27 2011-10-12 パナソニック株式会社 Display control device
JP4882571B2 (en) * 2006-07-20 2012-02-22 日産自動車株式会社 Vehicle monitoring device
JP2008053901A (en) * 2006-08-23 2008-03-06 Konica Minolta Holdings Inc Imaging apparatus and imaging method
JP2008060650A (en) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc On-vehicle imaging apparatus and its imaging method
JP5023872B2 (en) * 2007-08-06 2012-09-12 株式会社デンソー Image display control device and image display control system
JP5115171B2 (en) * 2007-12-13 2013-01-09 株式会社デンソー In-vehicle image processing apparatus and in-vehicle image display apparatus
JP5470716B2 (en) * 2008-02-28 2014-04-16 日産自動車株式会社 Vehicular image display system, image display apparatus, and image enhancement method
JP5196265B2 (en) * 2008-12-03 2013-05-15 アイシン精機株式会社 Vehicle periphery recognition support device
JP5442353B2 (en) * 2009-08-10 2014-03-12 株式会社Ihi Image display apparatus and method for vehicle control
JP5442354B2 (en) * 2009-08-10 2014-03-12 株式会社Ihi Image display apparatus and method for vehicle control
JP2012027773A (en) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc Pseudo grayscale image generation device and program
JP2012247847A (en) * 2011-05-25 2012-12-13 Denso Corp Information transmission control device for vehicle and information transmission control device
US9773172B2 (en) 2011-11-01 2017-09-26 Aisin Seiki Kabushiki Kaisha Obstacle alert device
JP6036065B2 (en) 2012-09-14 2016-11-30 富士通株式会社 Gaze position detection device and gaze position detection method
JP6478138B2 (en) * 2014-03-17 2019-03-06 株式会社リコー Image processing apparatus, imaging apparatus, image processing program, and image processing method
US10279742B2 (en) 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
KR102384971B1 (en) * 2015-06-12 2022-04-11 현대모비스 주식회사 Apparatus and method for preprocessing of image recognition
JP2016027740A (en) * 2015-09-18 2016-02-18 株式会社ニコン Imaging apparatus
JP2018006943A (en) * 2016-06-30 2018-01-11 アイシン精機株式会社 Vehicle periphery monitoring device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0414383A (en) * 1990-05-08 1992-01-20 Canon Inc Picture processing unit
JPH07240841A (en) * 1994-02-25 1995-09-12 Oki Electric Ind Co Ltd Image sharpening processing unit
JP2000237176A (en) * 1999-02-17 2000-09-05 Fuji Photo Film Co Ltd Radiation image display method and device
JP3855552B2 (en) * 1999-08-26 2006-12-13 松下電工株式会社 Obstacle monitoring device around the vehicle
JP2001289654A (en) * 2000-04-11 2001-10-19 Equos Research Co Ltd Navigator, method of controlling navigator and memory medium having recorded programs

Also Published As

Publication number Publication date
JP2003274393A (en) 2003-09-26

Similar Documents

Publication Publication Date Title
JP3941926B2 (en) Vehicle periphery monitoring device
US10899277B2 (en) Vehicular vision system with reduced distortion display
JP4882571B2 (en) Vehicle monitoring device
JP6145497B2 (en) Visual system
US10449899B2 (en) Vehicle vision system with road line sensing algorithm and lane departure warning
US20090016571A1 (en) Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
WO2019026785A1 (en) Attached object detection device, and vehicle system provided with same
JP6364797B2 (en) Image analysis apparatus and image analysis method
JP6289681B2 (en) Imaging apparatus and method, program, and recording medium
JP5260696B2 (en) Edge point extraction device, lane detection device, and program
JP7200572B2 (en) Deposit detection device
JP4826355B2 (en) Vehicle surrounding display device
JP2000207563A (en) Image recognizing device
JP2011076214A (en) Obstacle detection device
CN111815556B (en) Vehicle-mounted fisheye camera self-diagnosis method based on texture extraction and wavelet transformation
JP2021114775A (en) Image display device for moving body and method of the same
JP5470716B2 (en) Vehicular image display system, image display apparatus, and image enhancement method
US20190124292A1 (en) Image processing device
JP3900508B2 (en) Vehicle surrounding information notification device
WO2019177036A1 (en) Vehicle imaging system
US20210001773A1 (en) Automated Creation of a Freeform Mask for Automotive Cameras
JP4697063B2 (en) Approaching vehicle detection device
JPH0948282A (en) Indirect visual confirmation device for vehicle
JP3210758B2 (en) Display image contrast improvement method
JP2005276041A (en) Lane position detecting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050303

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070328

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110413

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120413

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees