JP5501476B2 - 車載用画像処理装置 - Google Patents

車載用画像処理装置 Download PDF

Info

Publication number
JP5501476B2
JP5501476B2 JP2012543999A JP2012543999A JP5501476B2 JP 5501476 B2 JP5501476 B2 JP 5501476B2 JP 2012543999 A JP2012543999 A JP 2012543999A JP 2012543999 A JP2012543999 A JP 2012543999A JP 5501476 B2 JP5501476 B2 JP 5501476B2
Authority
JP
Japan
Prior art keywords
unnecessary area
unit
vehicle
unnecessary
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012543999A
Other languages
English (en)
Other versions
JPWO2012066589A1 (ja
Inventor
正之 井作
剛史 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2012066589A1 publication Critical patent/JPWO2012066589A1/ja
Application granted granted Critical
Publication of JP5501476B2 publication Critical patent/JP5501476B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置に関するものである。
従来から、車両後方にカメラを取り付け、バック駐車を行う際に、このカメラにより撮影されたバック画像をモニタに表示するものが存在している。これにより、運転者は、モニタに表示されたバック画像を見ながら、容易にバック駐車を行うことができる。
このカメラには、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラの取り付け位置・角度が予め決められている場合がある。そのため、カメラにより撮影された画像に、車両後方のバンパやナンバープレート等が映りこんでしまう恐れがある。この場合、バンパやナンバープレートは不要な領域であるにも関わらず周辺情報と同様にモニタに表示されてしまうため、駐車支援の妨げとなってしまう。そこでこの不要領域の画像を除去することが望まれている。
これに対して、画像上の不要領域をマスクする画像処理装置が存在している(例えば特許文献1参照)。この特許文献1に開示される画像処理装置では、車両のシフトがバック位置であり、かつ荷降ろし動作以外の場合にのみ、車両バックに必要な画像領域以外をマスクしている。なお、マスクする領域は固定領域として予め設定されている。
特開平7−205721号公報
しかしながら、バンパやナンバープレート等の不要領域は、カメラの取り付け位置・角度や車両の違い等により異なる領域となる。そのため、特許文献1に開示される映像処理装置のように、マスク領域を固定する方法では、不要領域を完全に除去することができないという課題があった。また、不要領域以外の領域もマスクされてしまうという課題があった。さらに、不要領域は複雑な形状をしているため、ユーザが簡単な手順で除去することは困難であるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる車載用画像処理装置を提供することを目的としている。
この発明に係る車載用画像処理装置は、自車の移動距離を検出する移動距離検出部と、移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、初期位置から移動距離判断部により所定距離移動したと判断されるまでの間に車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部とを備えたものである。
また、この発明に係る車載用画像処理装置は、車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部とを備えたものである。
この発明によれば、上記のように構成したので、車載用カメラにより撮影された画像上の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。
この発明の実施の形態1に係る車載用画像処理装置の構成を示す図である。 この発明の実施の形態1における制御部の構成を示す図である。 この発明の実施の形態1におけるカメラにより撮影されたバック画像を示す図である。 この発明の実施の形態1に係る車載用画像処理装置による不要領域特定動作を示すフローチャートである。 この発明の実施の形態1に係る車載用画像処理装置による不要領域除去動作を示すフローチャートである。 この発明の実施の形態1に係る車載用画像処理装置による不要領域の除去(マスク表示)を説明する図である。 この発明の実施の形態1に係る車載用画像処理装置による不要領域の除去(マスク表示)を説明する図である。 この発明の実施の形態1に係る車載用画像処理装置による不要領域の除去(非表示)を説明する図である。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
車載用画像処理装置は、図1に示すように、カメラ1、車速計測部2、GPS(Global Positioning System)3、操作入力部4、シフト位置検出部5、マスク情報記憶部6、制御部7、除去情報記憶部8および表示部(モニタ)9から構成されている。
カメラ1は、車両後方に取り付けられ、バック画像を撮影するものである。このカメラ1には、駐車支援に必要な周辺情報を映し出すため、広角レンズが使用されている。また、撮影したバック画像上に駐車支援のガイド線を表示するため、カメラ1の取り付け位置・角度が予め決められている。そのため、このカメラ1により撮影されたバック画像には、図3に示すように、車両後方のバンパやナンバープレート等の不要領域(図3ではナンバープレートのみ図示)も映りこんでいる。このカメラ1により撮影されたバック画像は制御部7に出力される。
車速計測部2は、自車の車速を計測するものである。この車速計測部2により計測された車速を示す情報は制御部7に出力される。
GPS3は、GPS情報(自車位置情報や時刻情報等)を取得するものである。このGPS3により取得されたGPS情報は制御部7に出力される。
操作入力部4は、ユーザによる操作を受け付けるものであり、タッチパネル等により構成される。この操作入力部4は、不要領域の特定方法(自動特定、手動特定)の選択を受け付ける。ここで、手動特定が選択された場合には、手動特定方法(なぞり指定、ポイント指定)の選択も受け付ける。
また、操作入力部4は、不要領域の除去方法(マスク表示、非表示)の選択を受け付ける。ここで、マスク表示が選択された場合には、マスク方法(マスクパターン、形状、色)およびガイド文字表示位置(上部表示、下部表示)の選択を受け付ける。
この操作入力部4により受け付けられた各情報は制御部7に出力される。
シフト位置検出部5は、車両のシフト位置を検出するものである。ここで、シフト位置検出部5は、シフトがバック位置に切替えられたと判断した場合には、制御部7にバック画像の表示を要求する。
マスク情報記憶部6は、不要領域をマスクする際の複数のマスクパターン(塗りつぶし、色変更、モザイク化)、モザイク化する際の形状、塗りつぶしや色変更を行う際の色等のマスク情報を記憶するものである。このマスク情報記憶部6に記憶されているマスク情報は制御部7により抽出される。
制御部7は、車載用画像処理装置の各部を制御するものである。この制御部7は、カメラ1により撮影されたバック画像の不要領域を特定し、この不要領域の除去を行う。この制御部7の構成は後述する。
除去情報記憶部8は、制御部7からの除去情報(不要領域、除去方法、マスク情報やガイド文字表示位置)を記憶するものである。この除去情報記憶部8に記憶されている除去情報は制御部7により抽出される。
表示部9は、制御部7による指示に従い、制御部7により不要領域の画像が除去されたバック画像や、操作ガイド画面等を表示するものである。
次に、制御部7の構成について説明する。
制御部7は、図2に示すように、特定方法判断部71、明度判断部72、移動距離判断部73、不要領域特定部74、除去方法判断部75、マスク情報抽出部76および不要領域除去部77から構成されている。
特定方法判断部71は、操作入力部4を介してユーザにより選択された不要領域の特定方法を確認するものである。ここで、特定方法判断部71は、不要領域の自動特定が選択されていると判断した場合には、その旨を明度判断部72および不要領域特定部74に通知する。
一方、特定方法判断部71は、不要領域の手動特定が選択されていると判断した場合には、その旨を不要領域特定部74に通知する。この際、特定方法判断部71は、操作入力部4を介してユーザにより選択された手動特定方法も確認し、不要領域特定部74に通知する。
明度判断部72は、特定方法判断部71により不要領域の自動特定が選択されていると判断された場合に、現在の周囲の明度(夜間、昼間)を判断するものである。この明度判断部72は、GPSにより取得されたGPS情報(時刻情報)やカメラ1により撮影されたバック画像の輝度等に基づいて、周囲の明度を判断する。ここで、明度判断部72は、現在の周囲の明度が高い(夜間ではない)と判断した場合には、その旨を不要領域特定部74および移動距離判断部73に通知する。
移動距離判断部73は、明度判断部72により現在の周囲の明度が高いと判断された後、自車が初期位置から所定距離以上移動したかを判断するものである。この際、移動距離判断部73は、車速計測部2により計測された車速に基づいて、自車の移動距離を検出する。この車速計測部2および移動距離判断部73は本願の移動距離検出部に対応する。また、移動距離判断部73は、最低移動距離を予め設定し、車速に応じて、移動距離を最適化する。すなわち、車速が高速になるにつれて、移動距離が長くするように設定する。ここで、移動距離判断部73は、自車が初期位置から所定距離以上移動したと判断した場合には、その旨を不要領域特定部74に通知する。
不要領域特定部74は、カメラ1に撮影されたバック画像の不要領域を特定するものであり、RAM(Random Access Memory)から構成されている。この不要領域特定部74は、特定方法判断部71により不要領域の自動特定が選択されていると判断された場合に、明度判断部72により現在の周囲の明度が高いと判断された後の初期位置から、移動距離判断部73により所定距離以上移動したと判断されるまでの間に、カメラ1により撮影されたバック画像を保持する。そして、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する。すなわち、不要領域特定部74は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。
また、不要領域特定部74は、特定方法判断部71により不要領域の手動特定が選択されていると判断された場合には、手動特定方法に応じて、操作入力部4を介してユーザにより入力された不要領域を示す情報を取得し、この情報に基づいて、不要領域を特定する。
この不要領域特定部74により特定された不要領域を示す情報は除去情報記憶部8に出力される。
除去方法判断部75は、操作入力部4を介してユーザにより選択された除去方法を確認するものである。ここで、除去方法判断部75は、マスク表示が選択されていると判断した場合には、その旨をマスク情報抽出部76および不要領域除去部77に通知する。
一方、除去方法判断部75は、非表示が選択されていると判断した場合には、その旨を不要領域除去部77に通知する。
また、除去方法判断部75により確認された除去方法を示す情報は除去情報記憶部8にも出力される。
マスク情報抽出部76は、除去方法判断部75によりマスク表示が選択されていると判断された場合に、操作入力部4を介してユーザにより選択されたマスク方法に従い、マスク情報記憶部6に記憶されている該当するマスク情報を抽出するものである。このマスク情報抽出部76により抽出されたマスク情報は不要領域除去部77および除去情報記憶部8に出力される。
不要領域除去部77は、カメラ1により撮影されたバック画像の不要領域を除去するものである。この不要領域除去部77は、除去方法判断部75によりマスク表示が選択されていると判断された場合には、マスク情報抽出部76により抽出されたマスク情報および除去情報記憶部8に記憶されている不要領域情報に基づいて、バック画像の不要領域をマスクする。この際、不要領域除去部77は、マスク領域とガイド文字領域との大きさ、操作入力部4を介してユーザにより選択されたガイド文字表示位置に基づいて、画像の表示修正を行う。また、不要領域除去部77により確認されたガイド文字表示位置を示す情報は除去情報記憶部8に出力される。
一方、不要領域除去部77は、除去方法判断部75により非表示が選択されていると判断された場合には、除去情報記憶部8に記憶されている不要領域情報に基づいて、画像上の不要領域以外の領域を、不要領域分引き伸ばして、不要領域の画像を除去する。
この不要領域除去部77により不要領域が除去されたバック画像は表示部9に出力される。
次に、上記のように構成された車載用画像処理装置による不要領域特定動作について説明する。
この車載用画像処理装置による不要領域特定動作では、図4に示すように、まず、特定方法判断部71は、操作入力部4を介してユーザにより不要領域の自動特定が選択されているかを判断する(ステップST41)。
このステップST41において、特定方法判断部71が、不要領域の自動特定が選択されていると判断した場合には、明度判断部72は、現在、夜間であるかを判断する(ステップST42)。
このステップST42において、明度判断部72が、現在、夜間であると判断した場合には、シーケンスは終了する。ここで、フレーム間差分により不要領域を特定する場合、夜間で周囲が暗いと誤認識を生じる恐れがある。そのため、夜間の場合には不要領域の自動特定は実施しない。
一方、ステップST42において、明度判断部72が、現在、夜間ではないと判断した場合には、カメラ1によるバック画像の撮影を開始し、不要領域特定部74はこのバック画像を保持する。このようにカメラ1によりバック画像を撮影している状態で、ユーザは自車を移動させる。
次いで、移動距離判断部73は、車速計測部2により計測された車速に基づいて、自車が初期位置から所定距離以上移動したかを判断する(ステップST43)。なお、自車の移動は前進または後退のどちらであっても構わない。また、高速移動時には移動距離を長く設定することにより、フレーム数を増加させて認識精度を向上させる。
このステップST43において、移動距離判断部73は、自車が所定距離以上移動していないと判断した場合には、シーケンスはステップST43に戻り、待機状態となる。
一方、ステップST43において、移動距離判断部73は、自車が所定距離移動したと判断した場合には、不要領域特定部74は、保持している初期位置から移動後位置までの間のバック画像に基づいて、不要領域を特定する(ステップST44,49)。すなわち、不要領域特定部74は、初期位置から移動後位置までの間のバック画像に対してフレーム間差分を行い、画像の色や輝度等の変化量が閾値以下である領域を不要領域として特定する。なお、フレーム間差分は、1pixel単位やブロック単位(例えば10×10pixel)等で求める。
また、不要領域特定部74は、車速計測部2により計測された車速に応じて、変化量に対する閾値を変更する。すなわち、高速移動時は、画像の変化が激しいため、閾値を高くして、微細な変化を無視して誤認識を避けるようにする。さらに、バンパやナンバープレート等の不要領域は画像の下部に存在すると推測されるため、画像の下部のみに限定して、不要領域の特定を行う。これにより誤認識を避けることができ、演算時間を短縮できる。
このように、バンパやナンバープレート等の不要領域はカメラ1と一緒に移動するため、車両が移動しても画像に変化が少ないという特徴を利用して、フレーム間差分により画像の変化を検出することによって、不要領域を容易に特定することができる。なお、以上の処理は、バックグラウンド処理で行い、表示部9にバック画像を表示する必要ない。
一方、ステップST41において、特定方法判断部71は、操作入力部4を介してユーザにより不要領域の手動特定が選択されていると判断した場合には、操作入力部4を介してユーザにより、なぞり指定が選択されているかを判断する(ステップST45)。
このステップST45にいて、特定方法判断部71が、なぞり指定が選択されていると判断した場合には、不要領域特定部74は、操作入力部4を介してユーザによりなぞられた軌跡を取得し、この軌跡に基づいて不要領域を特定する(ステップST46,49)。ここで、ユーザは、表示部9に表示されているバック画像を見ながら、操作入力部4を介して必要領域と不要領域との境界線上をなぞる。この際、ユーザによりなぞられた領域は凸凹であることが想定されるため、不要領域特定部74は、取得した軌跡を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上をなぞるだけで容易に不要領域を特定することができる。また、なぞった軌跡が凸凹であったとしても、自動的に補正するため、ユーザが微調整を行う必要はない。
一方、ステップST45において、特定方法判断部71が、ポイント指定が選択されたと判断した場合には、不要領域特定部74は、操作入力部4を介してユーザによりポイント指定された各点の位置を取得する(ステップST47)。ここで、ユーザは、表示部9に表示されているバック画像を見ながら、操作入力部4を介して必要領域と不要領域との境界線上の複数点をポイント指定する。
次いで、不要領域特定部74は、取得した各点を線形補間し、線形補間した軌跡に基づいて不要領域を特定する(ステップST48,49)。すなわち、不要領域特定部74は、まず、取得した各点を線形補間する。次に、線形補間した軌跡は凸凹であることが想定されるため、不要領域特定部74は、取得した各点を滑らかに補正する。そして、不要領域は画像の下部に存在すると推測されるため、補正した軌跡の下部の領域を不要領域として特定する。これにより、ユーザが境界線上の複数点を指定するだけで容易に不要領域を特定することができる。また、線形補間した軌跡を自動的に補正するため、ユーザが微調整を行う必要はない。
このように、ユーザは、手動で、操作入力部4を用いてなぞり指定、ポイント指定を行うことにより、直感的に不要領域を決定することができる。
以上の処理により、カメラ1により撮影された画像上に映りこんでいる不要領域を容易に特定することができる。なお、不要領域特定部74により特定された不要領域を示す情報は除去情報記憶部8に記憶される。
次に、上記のように構成された車載用画像処理装置による不要領域除去動作について説明する。
車載用画像処理装置による不要領域除去動作では、シフト位置検出部5により、車両のシフトがバック位置に切替えられたと判断され、バック画像の表示要求がなされた場合に、図5に示すように、まず、除去方法判断部75は、操作入力部4を介してユーザによりマスク表示が選択されているかを判断する(ステップST51)。
このステップST51において、除去方法判断部75は、マスク表示が選択されていると判断した場合には、マスク情報抽出部76は、操作入力部4を介したユーザにより選択されたマスク方法(マスクパターン、形状、色)に従い、マスク情報記憶部6に記憶されている該当するマスク情報を抽出する(ステップST52)。このマスク情報抽出部76により抽出されたマスク情報は不要領域除去部77に出力される。
次いで、不要領域除去部77は、マスク情報抽出部76により抽出されたマスク情報および除去情報記憶部8に記憶されている不要領域情報に基づいて、画像上の不要領域をマスクする(ステップST53)。これにより、図6(b)に示すように、バック画像の不要領域をマスクすることができる。
次いで、不要領域除去部77は、マスク領域がガイド文字領域より大きいかを判断する(ステップST54)。
このステップST54において、不要領域除去部77は、マスク領域がガイド文字領域よりも小さいと判断した場合には、シーケンスは終了する。その後、不要領域除去部77により不要領域の画像が除去されたバック画像が表示部9に表示される。例えば図7(b)に示すように、マスクした領域がガイド文字領域よりも小さい場合には、画像の表示修正は行わず、そのまま表示する。
一方、ステップST54において、不要領域除去部77は、マスク領域がガイド文字領域より大きいと判断した場合には、操作入力部4を介してユーザによりガイド文字の下部表示が選択されているかを判断する(ステップST55)。
このステップST55において、不要領域除去部77は、ガイド文字の下部表示が選択されていると判断した場合には、ガイド文字を下部のマスク領域上に移動させる(ステップST56)。その後、シーケンスは終了し、不要領域除去部77により不要領域の画像が除去されたバック画像が表示部9に表示される。これにより、図6(c)に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
一方、ステップST55において、不要領域除去部77は、ガイド文字の上部表示が選択されていると判断した場合には、不要領域以外の領域の画像を、不要領域の高さ分だけ下部に移動させる(ステップST57)。その後、シーケンスは終了し、不要領域除去部77により不要領域の画像が除去されたバック画像が表示部9に表示される。これにより、図6(d)に示すように、バック画像がガイド文字で隠れることなく表示させることができ、視認性を向上させることができる。
一方、ステップST51において、除去方法判断部75が、非表示が選択されていると判断した場合には、除去情報記憶部8に記憶されている不要領域情報に基づいて、バック画像の不要領域以外の領域の画像を、不要領域の高さ分引き伸ばす(ステップST58)。すなわち、不要領域の画像を非表示とし、不要領域以外の領域の画像を引き伸ばして表示する。その後、シーケンスは終了し、不要領域除去部77により不要領域の画像が除去されたバック画像が表示部9に表示される。これにより、図8(b)に示すように、周辺情報を広く表示させることができ、視認性を向上させることができる。
なお、除去方法判断部75により確認された除去方法、マスク情報抽出部76により抽出されたマスク情報および不要領域除去部77により確認されたガイド文字表示位置情報は除去情報記憶部8に記憶される。
以後、不要領域の除去を行う際には、除去情報記憶部8に記憶されているマスク情報(不要領域、除去方法、マスク情報やガイド文字表示位置)を抽出して、不要領域の除去を行う。
以上のように、この発明の実施の形態1によれば、車載用のカメラ1によりバック画像を撮影させながら自車を移動させて、バック画像のフレーム間差分により画像変化の有無を把握し、変化の少ない領域を不要領域として特定するように構成したので、カメラ1により撮影された画像の不要領域を容易に特定することができ、この不要領域を確実に除去することができる。また、不要領域を手動で特定する場合には、ユーザによるなぞり指定・ポイント指定された情報に基づいて不要領域を特定するように構成したので、ユーザが簡単な手順で不要領域を除去することができる。
なお、実施の形態1では、手動特定においてなぞり指定またはポイント指定により不要領域を特定すると説明したが、これに限るものではなく、例えばカメラ1により撮影されたバック画像上のコントラスト差を利用して不要領域を特定するようにしてもよい。
この場合、操作入力部4は、ユーザにより、不要領域内の、必要領域と不要領域との境界線付近の複数点の指定を受け付ける。また、不要領域除去部77は、操作入力部4を介してユーザによりポイント指定された各点の位置を取得する。そして、不要領域特定部74は、取得した各点の輝度と周囲の輝度とを比較し、輝度差が閾値以上となる境界線を検出する。そして、この境界線の下部の領域を不要領域として特定する。
また、実施の形態1では、カメラ1は車両後方に取り付けられ、バック画像を撮影するものとして説明を行ったが、これに限るものではなく、例えば前方やサイドの画像を撮影するカメラに対しても同様に適用可能である。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 カメラ、2 車速計測部、3 GPS、4 操作入力部、5 シフト位置検出部、6 マスク情報記憶部、7 制御部、8 除去情報記憶部、9 表示部(モニタ)、71 特定方法判断部、72 明度判断部、73 移動距離判断部、74 不要領域特定部、75 除去方法判断部、76 マスク情報抽出部、77 不要領域除去部。

Claims (6)

  1. 車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
    自車の移動距離を検出する移動距離検出部と、
    前記移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、
    前記初期位置から前記移動距離判断部により所定距離移動したと判断されるまでの間に前記車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、
    前記不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部と
    を備えた車載用画像処理装置。
  2. 車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
    前記車載用カメラにより撮影された画像上の不要領域を示す情報の入力を受け付ける操作入力部と、
    前記操作入力部を介して入力された情報に基づいて、不要領域を特定する不要領域特定部と、
    前記不要領域特定部により特定された不要領域をマスクして画像を除去する不要領域除去部と
    を備えた車載用画像処理装置。
  3. 操作入力部は、必要領域と不要領域との境界線のなぞり指定を受け付け、
    不要領域特定部は、前記操作入力部を介してなぞられた軌跡に基づいて、不要領域を特定する
    ことを特徴とする請求項2記載の車載用画像処理装置。
  4. 操作入力部は、必要領域と不要領域との境界線上の複数点の指定を受け付け、
    不要領域特定部は、前記操作入力部を介して指定された各点を補間し、当該補間した軌跡に基づいて、不要領域を特定する
    ことを特徴とする請求項2記載の車載用画像処理装置。
  5. 操作入力部は、必要領域と不要領域との境界線付近の複数点の指定を受け付け、
    不要領域特定部は、前記操作入力部を介して指定された各点の輝度と当該各点の周囲の輝度とを比較して輝度差が閾値以上となる境界線を検出し、当該境界線に基づいて、不要領域を特定する
    ことを特徴とする請求項2記載の車載用画像処理装置。
  6. 車載用カメラにより撮影された画像上の不要領域の画像を除去する車載用画像処理装置において、
    自車の移動距離を検出する移動距離検出部と、
    前記移動距離検出部により検出された移動距離に基づいて、自車が初期位置から所定距離移動したかを判断する移動距離判断部と、
    前記初期位置から前記移動距離判断部により所定距離移動したと判断されるまでの間に前記車載用カメラにより撮影された画像のフレーム間差分を行い、当該画像の変化量が閾値以下である領域を不要領域として特定する不要領域特定部と、
    前記不要領域特定部により特定された不要領域の画像を除去し、不要領域以外の領域を、不要領域分引き伸ばす不要領域除去部と
    を備えた車載用画像処理装置。
JP2012543999A 2010-11-15 2010-11-15 車載用画像処理装置 Expired - Fee Related JP5501476B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/006695 WO2012066589A1 (ja) 2010-11-15 2010-11-15 車載用画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2012066589A1 JPWO2012066589A1 (ja) 2014-05-12
JP5501476B2 true JP5501476B2 (ja) 2014-05-21

Family

ID=46083563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012543999A Expired - Fee Related JP5501476B2 (ja) 2010-11-15 2010-11-15 車載用画像処理装置

Country Status (5)

Country Link
US (1) US20130114860A1 (ja)
JP (1) JP5501476B2 (ja)
CN (1) CN103119932B (ja)
DE (1) DE112010005997B4 (ja)
WO (1) WO2012066589A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6088944B2 (ja) * 2013-08-30 2017-03-01 日立建機株式会社 作業機械の周囲監視装置
JP6547292B2 (ja) 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6456173B2 (ja) * 2015-02-04 2019-01-23 日立建機株式会社 車体外部移動物体検知装置
US20170089711A1 (en) * 2015-09-30 2017-03-30 Faraday&Future Inc Methods and apparatus for generating digital boundaries based on overhead images
JP6579441B2 (ja) * 2016-01-12 2019-09-25 三菱重工業株式会社 駐車支援システム、駐車支援方法及びプログラム
US20180222389A1 (en) * 2017-02-08 2018-08-09 GM Global Technology Operations LLC Method and apparatus for adjusting front view images
JP6926020B2 (ja) * 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
CN110322680B (zh) * 2018-03-29 2022-01-28 纵目科技(上海)股份有限公司 一种基于指定点的单车位检测方法、系统、终端和存储介质
CN112949448A (zh) * 2021-02-25 2021-06-11 深圳市京华信息技术有限公司 车后来车提示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01207884A (ja) * 1988-02-16 1989-08-21 Fujitsu Ltd マスクパターン入力装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2003244688A (ja) * 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3291884B2 (ja) 1994-01-26 2002-06-17 いすゞ自動車株式会社 車両後方監視装置
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4450206B2 (ja) * 2004-12-24 2010-04-14 株式会社デンソー プローブシステム
JP2007157063A (ja) * 2005-12-08 2007-06-21 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4677364B2 (ja) * 2006-05-23 2011-04-27 株式会社村上開明堂 車両監視装置
WO2009061174A1 (en) * 2007-11-07 2009-05-14 Tele Atlas B.V. Method of and arrangement for mapping range sensor data on image sensor data
JP2010016805A (ja) * 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
JP5124351B2 (ja) * 2008-06-04 2013-01-23 三洋電機株式会社 車両操作システム
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
DE102009025205A1 (de) * 2009-06-17 2010-04-01 Daimler Ag Anzeige und Verfahren für eine Umgebungsdarstellung eines Kraftfahrzeug-Surround-View-Systems
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
US8138899B2 (en) * 2009-07-01 2012-03-20 Ford Global Technologies, Llc Rear camera backup assistance with touchscreen display using two points of interest

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01207884A (ja) * 1988-02-16 1989-08-21 Fujitsu Ltd マスクパターン入力装置
JPH06321011A (ja) * 1993-05-17 1994-11-22 Mitsubishi Electric Corp 周辺視野表示装置
JP2001006097A (ja) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd 車両の運転支援装置
JP2003244688A (ja) * 2001-12-12 2003-08-29 Equos Research Co Ltd 車両の画像処理装置

Also Published As

Publication number Publication date
US20130114860A1 (en) 2013-05-09
CN103119932B (zh) 2016-08-10
JPWO2012066589A1 (ja) 2014-05-12
DE112010005997T5 (de) 2013-08-22
DE112010005997B4 (de) 2015-02-12
CN103119932A (zh) 2013-05-22
WO2012066589A1 (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
JP5501476B2 (ja) 車載用画像処理装置
CN108027976B (zh) 行驶支援装置以及基于行驶支援装置的行驶支援方法
JP5339124B2 (ja) 車載カメラの校正装置
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
CN103786644B (zh) 用于追踪外围车辆位置的装置和方法
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP6393189B2 (ja) 車載画像処理装置
US11244173B2 (en) Image display apparatus
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
CN107657832B (zh) 一种车位引导方法及系统
WO2013161028A1 (ja) 画像表示装置、ナビゲーション装置、画像表示方法、画像表示プログラム、及び記録媒体
KR101405085B1 (ko) 차량녹화영상분석 방법 및 장치
JP2004173048A (ja) 車載カメラシステム
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP2019001325A (ja) 車載用撮像装置
JP7275586B2 (ja) 映像処理装置および映像処理方法
CN114582146A (zh) 红绿灯剩余时长智能提醒方法、系统、存储介质及汽车
KR20160107529A (ko) 차량 이미지가 애니메이션되는 주차 안내 장치 및 방법
WO2012140697A1 (ja) 車載用画像処理装置
KR101750160B1 (ko) 어라운드 뷰 노이즈 제거 시스템 및 방법
JP4992747B2 (ja) 駐車支援装置及び駐車支援方法
JP2013071703A (ja) 画像処理装置、駐車支援システム、画像処理方法及びプログラム
JP6673242B2 (ja) 画像表示装置
CN109960034B (zh) 一种抬头显示器亮度调节系统与方法
JP6861840B2 (ja) 表示制御装置および表示制御方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140311

R150 Certificate of patent or registration of utility model

Ref document number: 5501476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees