JP5115171B2 - 車載用画像処理装置及び車載用画像表示装置 - Google Patents

車載用画像処理装置及び車載用画像表示装置 Download PDF

Info

Publication number
JP5115171B2
JP5115171B2 JP2007322236A JP2007322236A JP5115171B2 JP 5115171 B2 JP5115171 B2 JP 5115171B2 JP 2007322236 A JP2007322236 A JP 2007322236A JP 2007322236 A JP2007322236 A JP 2007322236A JP 5115171 B2 JP5115171 B2 JP 5115171B2
Authority
JP
Japan
Prior art keywords
image
vehicle
energy
speed
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007322236A
Other languages
English (en)
Other versions
JP2009147627A (ja
Inventor
直輝 川崎
玉津  幸政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007322236A priority Critical patent/JP5115171B2/ja
Publication of JP2009147627A publication Critical patent/JP2009147627A/ja
Application granted granted Critical
Publication of JP5115171B2 publication Critical patent/JP5115171B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。
従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある(例えば、特許文献1参照)。
一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある(例えば、特許文献2参照)。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してSeamと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている(例えば、非特許文献1参照)。
これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
特開2003−274393 US2007/0025637 "Seam Carving for Content-Aware Image Resizing", S.Avidan (Mitsubishi Electric Research Labs), SIGGRAPH’07
しかし、非特許文献1に記載されている手法では、画像エネルギ画像の算出方法によっては、重要物体が十分に強調されなかったり、縮小画像がひずんだりするという問題がある。例えば、一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、車線変更の可否を判定するには余り重要でないにもかかわらず重要度が高くなる。したがって、真に重要な周辺車両の重要度が相対的に低くなり、十分車両が強調されない。また、車両の凹凸が少ない、いわゆるのっぺりした形状の車両も同様に画像エネルギが相対的に低くなり、車両の形状がひずむ。
さらに、車両が非常に多い状況や路面に模様がある状況などの画像全体が複雑すぎる場合も、削除にふさわしい箇所がないにも拘わらず削除処理がされてしまうので、車両がひずんでしまう。
本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。
かかる問題を解決するためになされた請求項1に記載の車載用画像処理装置(5:この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。)は、画像取得手段(10)、速度検出手段(20)、画像エネルギ算出手段(30)及び画像縮小手段(30)を備えている。
画像取得手段(10)は、自車両周辺の画像を取得するためのものであり、速度検出手段(20)は、画像中の自車両以外の物体を抽出し、抽出した物体の速度を検出する。また、画像エネルギ算出手段(30)は、画像取得手段(10)で取得した画像中における線の粗密及び色のうち少なくともいずれか一方の変化量を示す画像エネルギを算出する。
画像縮小手段(30)は、画像エネルギ算出手段(30)で算出した画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。さらに、画像エネルギ算出手段(30)は、速度検出手段(20)で検出した物体の速度に基づき、画像中で速度を有する物体の占める画像領域の画像エネルギを変化させる。
以上のような車載用画像処理装置(5)は、車両走行中に、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる画像処理装置となる。以下説明する。
まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体のエネルギ分布を作成した物をエネルギ画像と呼ぶ。
この算出方法、すなわちエネルギの定義の方法はさまざまな方法が考えられ、例えばエッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることが出来る。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。
このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様が無い重要なもの、例えばのっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。
このように定義した「画像中の画像エネルギ」によれば、請求項1に記載の車載用画像処理装置(5)では、画像エネルギ算出手段(30)で画像中における線の粗密及び色のうち少なくともいずれか一方の変化量を示す画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。
その際、速度検出手段(20)で画像中の自車両以外の物体の速度を検出し、検出した物体の速度に基づき、画像中で速度を有する物体の占める画像領域の画像エネルギの値を変化させるようになっている。したがって、画像中で速度を有する物体、例えば、他車両や自転車あるいは人などについては、その部分の画像エネルギの値を高くして画像中から削除されないようにしたり、縮小画像中で強調したりするようなことができる。
つまり、請求項1に記載の車両用画像装置(5)によれば、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができるのである。
ここで、画像中で速度を有する物体は、他車両や自転車あるいは人のように、運転者が自車両を運転する際に危険性があると認識すべきものであるので、画像縮小の際、それらが削除されないで画像中に残っていたり、縮小画像中で強調されたりすれば、運転者は、それらを画像中から容易に認識することができるので運転時の安全性を向上することができる。
ところで、静止画像の縮小とは異なり、車載用画像処理装置(5)においては、自車両に対し衝突などの危険性のあるものは、縮小画像中で強調した状態で画像の縮小を行うことが重要である。
そこで、請求項2に記載のように、速度検出手段(20)を自車両に対する画像中の物体の相対速度を検出可能に構成し、画像エネルギ算出手段(30)は、速度検出手段(20)で検出した画像中の物体の自車両に対する相対速度から物体と自車両とが接近しているか否かを判定し、物体と自車両とが接近していると判定した場合には、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも高く設定するようにするとよい。
このようにすると、自車両に接近してくる物体の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、接近してくる物体は縮小されることがない。つまり、自車両に接近してくる物体は縮小画像中で強調されて表示されることになる。換言すれば、自車両に衝突する危険性のある物体が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。
また、物体と自車両の相対速度が大きくなくとも、物体の絶対速度が速い場合には、その物体は自車両にとって危険である可能性が高い。例えば、物体が他車両であり、他車両と自車両とが高速で併走しているような場合である。
そこで、請求項3に記載のように、速度検出手段(20,40)を画像中の物体の絶対速度を検出可能に構成し、画像エネルギ算出手段(30)は、速度検出手段(20,40)で検出した画像中の物体の絶対速度が所定の値よりも大きい場合に、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも高く設定するようにするとよい。
このようにすると、速度検出手段(20,40)で検出した画像中の物体の絶対速度が所定の値よりも大きい場合には、物体の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、絶対速度が大きい物体は縮小されることがない。
つまり、絶対速度が高い物体は縮小画像中で強調されて表示されることになる。換言すれば、自車両に危険を及ぼすおそれがある物体が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。
ところで、速度検出手段(20)には種々のものが考えられるが、請求項4に記載のように、速度検出手段(20)は、車載レーダ(20)であるとよい。つまり、レーダでは、物体の距離及び方位が計測でき、また、物体の距離及び方位の変化率あるいはドップラシフトから物体の自車両に対する相対速度が計測できる。したがって、物体の方位に相当する画像の箇所の画像エネルギをその相対速度に応じて変化させることができる。
また、請求項5に記載のように、速度検出手段(20)は、画像取得手段(10)により取得した画像を画像処理することにより物体の速度を検出するようにしてもよい。
このようにすると、画像取得手段(10)として、例えば、ステレオカメラ、単眼などを用い、それらによる移動ステレオ視、オプティカルフロー、画像の拡大率計算、物体トラッキングなど、カメラで取得した画像から画像処理により物体を抽出し、抽出した物体の位置の変化率から物体の速度を検出することができる。
請求項6に記載の画像表示装置(1)は、車載用の表示手段(50)と、請求項1〜請求項5の何れかに記載の車載用画像処理装置(5)と、車載用画像処理装置(5)で縮小した画像を表示手段(50)で表示する表示制御手段(30)を備えたことを特徴とする。
このような車載用画像表示装置(1)によれば、請求項1〜請求項5の何れかに記載の車載用画像処理装置の特徴を有する縮小画像を表示することができる車載用画像表示装置(1)とすることができる。
ところで、表示手段(50)を自車両に装着する際、装着する位置や表示の方向には種々の方法が考えられる。例えば、車室内の前部に装着されているカーナビゲーション装置の表示画面を表示手段(50)として用い、車両内に対して表示を行うようにしてもよいが、請求項7に記載のように、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられるようにしてもよい。
このようにすると、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、縮小画像中で強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
図1は、本発明が適用された車載用画像表示装置1の概略の構成を示すブロック図である。車載用画像表示装置1は、図1に示すように、車載用画像処理装置5及び表示装置50を備えている。
車載用画像処理装置5は、側後方カメラ10、ミリ波レーダ20、車速センサ40及び画像処理部30を備えている。
側後方カメラ10は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角CCDカメラであり、車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。
ミリ波レーダ20は、画像中の物体(本実施形態では他車両)の相対速度を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ20は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位及び反射波のドップラシフトから車両側後方の他車両のまでの距離と方位及び相対速度を検出する。
車速センサ40は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、GPS車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。
画像処理部30は、図示しないCPU、ROM、RAM及びI/Oなどから構成されており、以下の(ア)〜(オ)の処理を実行する。
(ア)側後方カメラ10で取得した画像中の画像エネルギを算出する。
(イ)ミリ波レーダ20で検出した画像中の他車両の自車両に対する相対速度から他車両と自車両とが接近しているか否かを判定する。そして、他車両と自車両とが接近していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域以外の領域の画像エネルギよりも高く設定する。
(ウ)ミリ波レーダ20で検出した画像中の他車両の自車両に対する相対速度と車速センサ40で検出した自車両の速度から他車両の絶対速度を算出する。
(エ)他車両の絶対速度が所定の値よりも大きい場合に、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも高く設定する。
(オ)(ア)〜(エ)の処理で得られた画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。
(カ)(オ)の処理で縮小した画像を表示装置50で表示させる。
表示装置50は、車載用画像処理装置5で縮小した画像を表示するものであり、液晶ディスプレイや有機ELディスプレイを有している。表示装置50は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。
(画像処理部30における処理)
次に図2〜図4に基づき画像処理部30で実行される処理について説明する。図2は、画像処理部30で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図3は、サブルーチンである画像エネルギ画像生成処理のフローチャートであり、図4は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
画像処理では、図2に示すように、S100において側後方カメラ10から自車両の側後方の画像が取得され、続くS105においてミリ波レーダ20から他車両の位置、方位及び自車両に対する相対速度が取得され、続くS110において車速センサ40から自車両の速度が取得される。
続くS115では、S100において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
続くS120では、S115において生成された画像エネルギ画像に対して、低画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。
S125では、S120において得られた縮小画像が表示装置50に表示され、処理がS100に戻されて、画像処理が繰り返される。
(画像エネルギ画像生成処理)
次に、図3に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、S200においてベース画像エネルギパターン画像が生成される。例えば全領域で一律一定値の値を持つ画像や、格子模様などの一定パターンなど、エネルギ画像のベースとなる基本画像(ベース画像エネルギパターン画像)が生成される。
S205では、S200において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像(エッジ画像)が生成される。原画像の例を図5(a)及びエッジ画像の例を図5(b)に示す。
S210では、S205において生成されたエッジ画像がS200において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳される。
S215では、S105(図2参照)でミリ波レーダ20から得られた、他車両の自車両に対する相対速度から他車両が自車両に接近しているか否かが判定される。そして、他車両に自車両が接近していると判定された場合(S215:Yes)、処理がS235へ移行され、他車両に自車両が接近していないと判定された場合(S215:No)、処理がS220へ移行される。
S220では、S105(図2参照)においてミリ波レーダ20から取得された自車両に対する他車両の相対速度に、S110(図2参照)において車速センサ40から取得された自車両の速度が加算され、他車両の絶対速度が算出される。
S225では、S220において算出された他車両の絶対速度が所定の値以上であるか否かが判定される。そして、所定の値以上であると判定された場合(S225:Yes)、処理がS235へ移行され、所定の値以上でないと判定された場合(S225:No)、処理がS230へ移行される。
S230では、他車両部分の画像エネルギが低く設定され、処理がS240へ移行される。また、S235では、他車両部分の画像エネルギが高く設定され、処理がS240へ移行される。
S240では、S230又はS235において他車両部分の画像エネルギが設定されたものがS210で得られた画像エネルギ画像へ加算され、処理が終了される。
(低画像エネルギ箇所削除処理)
次に、図4に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、S115(図2参照)の画像エネルギ画像生成処理で得られた画像エネルギ画像に対してまず、削減すべきライン(以下、このラインを「Seam」と呼ぶ。)の本数が算出される。
具体的には、S100(図2参照)で取得された画像の大きさと縮小画像との縦横の長さの比率及びSeam1本を画面から削除した場合に画面から削除されるSeamの幅から削除すべきSeamの本数が算出される。
続くS305では、Seamが算出される。Seamは画像上端から下端まで最小のエネルギで通過できる筋のことであり、最短経路問題を解くことにより求められる。具体的にはSeamの算出は、S240(図3参照)において得られた画像エネルギ画像と同サイズの経路合計値を保存するメモリ空間(以下経路画像と呼ぶ)を確保し、元画像上辺の2行目から下の行に向かって以下のように全ピクセルに対して計算する。
ある画像中の1点のピクセルに対し、その上3ピクセルの経路画像エネルギ値のうち最も小さい値と、元画像の自身のピクセル位置のエネルギ値の合算値を、経路画像に保存する。これにより、経路画像には画像上端からそのピクセルへの最短経路値が保存され、経路画像の最下辺の値のうち最小の物が、求めるSeamの合計エネルギ値、その箇所から逆に経路画像を上端に向かってさかのぼることで、Seamの形状が得られる。Seamの例を図6(a)に示す。図6(a)中で、画像の上辺から下辺へ描かれている多数の線がSeamである。
続く、S310では、S305で算出されたSeamの画像エネルギ値から、削除したSeamの画像エネルギの合計値が所定の値以上であるか否かが判定される。そして、削除したSeamの画像エネルギの合計値が所定の値以上の場合(S310:Yes)、処理が終了される。また、削除したSeamの画像エネルギの合計値が所定の値よりも小さい場合(S310:No)、処理がS315へ移行される。
S315では、S305において算出されたSeam部分が画像エネルギ画像から削除され、続くS320では、S315において削除されたSeamの総本数がS300において算出された削除すべきSeamの本数以下か否かが判定される。
そして、削除されたSeamの総本数が削除すべきSeamの本数以下の場合(S320:Yes)、処理がS305へ移行され処理が繰り返される。また、削除されたSeamの総本数が削除すべきSeamの本数よりも多い場合(S320:No)、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図6(b)に示す。
(車載用画像表示装置1の特徴)
以上のような車載用画像表示装置1では、側後方カメラ10で取得された自車両後方の画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。
その際、ミリ波レーダ20で画像中の他車両の速度を検出し、検出した他車両の速度に応じて他車両の占める画像領域の画像エネルギを変化させるようになっている。つまり、自車両に対する他車両の相対速度から他車両と自車両とが接近しているか否かを判定している。
そして、他車両と自車両とが接近していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも高く設定し、他車両と自車両とが離間していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも低く設定している。
したがって、自車両に接近してくる他車両の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、接近してくる他車両は縮小されることがない。つまり、自車両に接近してくる他車両は縮小画像中で強調されて表示されることになる。換言すれば、自車両に衝突する危険性のある他車両が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。
また、他車両の代わりに自転車あるいは人などについては、その部分の画像エネルギを高くして画像中から削除されないようにしたり、縮小画像中で強調したりするようなこともできる。
ところで、他車両と自車両の相対速度が大きくなくとも、他車両の速度が速い場合には、その他車両は自車両にとって危険である可能性が高い。ところが、車載用画像表示装置1では、ミリ波レーダ20で検出した画像中の他車両と車速センサ40で検出した自車両の速度から他車両の絶対速度を算出し、他車両の絶対速度が所定の値よりも大きい場合に、他車両の占める画像領域の画像エネルギを他車両の占める以外の画像領域の画像エネルギよりも高く設定している。
このようにしているので、算出した絶対速度が所定の値よりも大きい場合には、他車両の占める画像領域の画像エネルギが高く設定される。したがって、他の部分が縮小されても、絶対速度が大きい他車両は縮小されることがない。
つまり、絶対速度が高い他車両は縮小画像中で強調されて表示されることになる。換言すれば、自車両に危険を及ぼすおそれがある他車両が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。
また、表示装置50を自車両の後方視認用ミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。したがって、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、縮小画像中で強調表示された他車両を視認することができるので、他車両の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
(1)上記実施形態では、ミリ波レーダ20を用いて他車両の相対速度を検出していたが、ミリ波レーダ20の代わりに、側後方カメラ10で取得した画像から公知の画像処理方法により他車両の位置を抽出し、抽出した他車両の位置の変化率から他車両の相対速度を検出するようにしてもよい。
このようにすると、ミリ波レーダ20によらずに他車両の速度を検出できるので、車載用画像表示装置1を簡易に構成することができる。
(2)上記実施形態では、表示装置50は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、車両内に対して表示を行うようにしてもよい。
(3)上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた(図3のS205参照)が、エッジに代わりに、縮小対象画像の特定にあわせて、他の関数を用いてもよい。具体的には、エッジ2乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはHoG(Histogram of Gradientsの略)関数などの関数を用いてもよい。
(4)また側後方カメラ10は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。
(5)上記実施形態では、画像の左右幅を縮小するよう、Seam方向は上下を想定したが、上下幅を縮小する場合は、Seam方向を左右に置き換えて適用できる。
車載用画像表示装置1の概略の構成を示すブロック図である。 画像処理のメインルーチンの処理の流れを示すフローチャートである。 サブルーチンである画像エネルギ画像生成処理のフローチャートである。 サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。 画像エネルギ画像生成処理中で生成されるエッジ画像の例を示す図である。 低画像エネルギ箇所削除処理がなされた画像の例を示す図である。
符号の説明
1…車載用画像表示装置、5…車載用画像処理装置、10…側後方カメラ、20…ミリ波レーダ、30…画像処理部、40…車速センサ、50…表示装置。

Claims (7)

  1. 自車両周辺の画像を取得するための画像取得手段と、
    前記画像取得手段で取得した前記画像中の前記自車両以外の物体の速度を検出する速度検出手段と、
    前記画像取得手段で取得した前記画像中における線の粗密及び色のうち少なくともいずれか一方の変化量を示す画像エネルギを算出する画像エネルギ算出手段と、
    前記画像エネルギ算出手段で算出した前記画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより前記画像を縮小する画像縮小手段と、
    を備え、
    前記画像エネルギ算出手段は、
    前記速度検出手段で検出した前記物体の速度に基づき、前記画像中で速度を有する前記物体の占める画像領域の画像エネルギの値を変化させることを特徴とする車載用画像処理装置。
  2. 請求項1に記載の車載用画像処理装置において、
    前記速度検出手段は、前記自車両に対する前記画像中の物体の相対速度を検出可能に構成され、
    前記画像エネルギ算出手段は、
    前記速度検出手段で検出した前記画像中の物体の前記自車両に対する相対速度から前記物体と前記自車両とが接近しているか否かを判定し、前記物体と前記自車両とが接近していると判定した場合には、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも高く設定することを特徴とする車載用画像処理装置。
  3. 請求項1又は請求項2に記載の車載用画像処理装置において、
    前記速度検出手段は、前記画像中の物体の絶対速度を検出可能に構成され
    前記画像エネルギ算出手段は、
    前記速度検出手段で検出した前記画像中の物体の絶対速度が所定の値よりも大きい場合に、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも高く設定することを特徴とする車載用画像処理装置。
  4. 請求項2又は請求項3に記載の車載用画像処理装置において、
    前記速度検出手段は、車載レーダであることを特徴とする車載要画像処理装置。
  5. 請求項2又は請求項3に記載の車載用画像処理装置において、
    前記速度検出手段は、
    前記画像取得手段により取得した前記画像を画像処理することにより前記物体の速度を検出することを特徴とする車載用画像処理装置。
  6. 車載用の表示手段と、
    請求項1〜請求項5の何れかに記載の車載用画像処理装置と、
    前記車載用画像処理装置で縮小した画像を前記表示手段で表示させる表示制御手段と、
    を備えたことを特徴とする車載用画像表示装置。
  7. 請求項6に記載の車載用画像表示装置において、
    前記表示手段は、
    前記自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられていることを特徴とする車載用画像表示装置。
JP2007322236A 2007-12-13 2007-12-13 車載用画像処理装置及び車載用画像表示装置 Expired - Fee Related JP5115171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007322236A JP5115171B2 (ja) 2007-12-13 2007-12-13 車載用画像処理装置及び車載用画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007322236A JP5115171B2 (ja) 2007-12-13 2007-12-13 車載用画像処理装置及び車載用画像表示装置

Publications (2)

Publication Number Publication Date
JP2009147627A JP2009147627A (ja) 2009-07-02
JP5115171B2 true JP5115171B2 (ja) 2013-01-09

Family

ID=40917742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007322236A Expired - Fee Related JP5115171B2 (ja) 2007-12-13 2007-12-13 車載用画像処理装置及び車載用画像表示装置

Country Status (1)

Country Link
JP (1) JP5115171B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572707B1 (ko) 2016-06-14 2023-08-30 주식회사 에이치엘클레무브 차량제어장치 및 차량제어방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4110561B2 (ja) * 1998-12-24 2008-07-02 マツダ株式会社 車両の障害物警報装置
JP3941926B2 (ja) * 2002-03-12 2007-07-11 松下電器産業株式会社 車両周辺監視装置
JP4147470B2 (ja) * 2003-02-25 2008-09-10 日本精機株式会社 路面表示方法およびその装置
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
JP2006051850A (ja) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd 運転支援装置及び運転支援方法
JP4321483B2 (ja) * 2005-04-12 2009-08-26 日本ビクター株式会社 空間解像度変換方法及び空間解像度変換プログラム
JP4601505B2 (ja) * 2005-07-20 2010-12-22 アルパイン株式会社 トップビュー画像生成装置及びトップビュー画像表示方法
US7574069B2 (en) * 2005-08-01 2009-08-11 Mitsubishi Electric Research Laboratories, Inc. Retargeting images for small displays
US7747107B2 (en) * 2007-03-06 2010-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for retargeting images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572707B1 (ko) 2016-06-14 2023-08-30 주식회사 에이치엘클레무브 차량제어장치 및 차량제어방법

Also Published As

Publication number Publication date
JP2009147627A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
EP3554062B1 (en) Imaging apparatus
CN111247575B (zh) 车辆驾驶辅助系统、方法及计算机可读取的存储介质
CN107176165B (zh) 车辆的控制装置
EP3367366B1 (en) Display control method and display control device
US8988525B2 (en) System and method for providing guidance information to a driver of a vehicle
EP1504276B1 (en) Object detection system for vehicle
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
KR101433837B1 (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
CN109204136B (zh) 周边图像显示控制装置
KR20180072139A (ko) 차량 및 그 제어 방법
CN107848465A (zh) 具有盲区显示和警示系统的车辆视觉系统
US10410514B2 (en) Display device for vehicle and display method for vehicle
JP6460019B2 (ja) 車両の制御装置
JP5966513B2 (ja) 車両の後側方撮影装置
JP6355161B2 (ja) 車両用撮像装置
JP4962291B2 (ja) 車載用画像処理装置及び車載用画像表示装置
JP5115171B2 (ja) 車載用画像処理装置及び車載用画像表示装置
JP4952561B2 (ja) 車載用画像処理装置及び車載用画像表示装置
JP2009147628A (ja) 車載用画像処理装置及び車載用画像表示装置
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
JP5831331B2 (ja) 車両の後側方撮影装置
JP6781035B2 (ja) 撮像装置、画像処理装置、表示システム、および車両
CN114693572A (zh) 图像形成设备和图像形成方法
JP2009146134A (ja) 車載用車両画像処理装置及び車載用画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees