JP4416039B2 - 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム - Google Patents

縞模様検知システム、縞模様検知方法および縞模様検知用プログラム Download PDF

Info

Publication number
JP4416039B2
JP4416039B2 JP2008071909A JP2008071909A JP4416039B2 JP 4416039 B2 JP4416039 B2 JP 4416039B2 JP 2008071909 A JP2008071909 A JP 2008071909A JP 2008071909 A JP2008071909 A JP 2008071909A JP 4416039 B2 JP4416039 B2 JP 4416039B2
Authority
JP
Japan
Prior art keywords
striped
pixel
value
foreground
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008071909A
Other languages
English (en)
Other versions
JP2009230233A (ja
Inventor
和之 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008071909A priority Critical patent/JP4416039B2/ja
Priority to US12/920,437 priority patent/US8432447B2/en
Priority to PCT/JP2009/055334 priority patent/WO2009116590A1/ja
Publication of JP2009230233A publication Critical patent/JP2009230233A/ja
Application granted granted Critical
Publication of JP4416039B2 publication Critical patent/JP4416039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は縞模様検知システム、縞模様検知方法および縞模様検知用プログラムに関し、特に低処理量にて高い検知性能を発揮できる縞模様検知システム、縞模様検知方法および縞模様検知用プログラムに関する。
縞模様検知の関連技術として、例えば特許文献1等には車載カメラ画像から道路面上に描かれたゼブラゾーンを検知する構成が開示されている。図15は、縞模様検知システムの構成の一例を示す図である。この縞模様検知システムは、画像入力装置1510と、俯瞰画像作成手段1501と、テンプレート記憶手段1502と、テンプレート読出し手段1503と、テンプレート照合手段1504と、縞模様領域検出(検知)手段1505と、を含む。なお、図15は、本書において、特許文献1のバックモニタコンピュータの機能を説明するために、新たにブロック図にて図示したものである。この縞模様検知システムはつぎのように動作する。
画像入力装置1510は、ゼブラゾーン検知の対象である前記車載カメラ画像を入力する。
次に、俯瞰画像作成手段1501は、車載カメラ画像を実世界上方に位置する仮想視点から道路面を俯瞰するように変換した俯瞰画像を作成する。
次に、テンプレート読出し手段1503は、テンプレート記憶手段1502により予め記憶しておいたゼブラゾーンのパターンを表すテンプレートの内、現時刻での自車両位置周辺に存在すると推測されるゼブラゾーンパターンのテンプレートを読み出す。
次に、テンプレート照合手段1504は、俯瞰画像の一定範囲の各位置においてゼブラゾーンパターンのテンプレートと俯瞰画像との照合を行う。
最後に、縞模様領域検出手段1505は、テンプレートと俯瞰画像との照合での一致の度合いが最大であり、かつ、一致の度合いが予め定められた閾値以上である位置が存在する場合、俯瞰画像の位置においてゼブラゾーンが検知されたとする。
ここで、テンプレート記憶手段1502により、予め記憶されるゼブラゾーンパターンのテンプレートとしては、地図上に存在する各ゼブラゾーン地点毎にそれぞれ固有のパターンを表すテンプレートが記憶される。
特開2007−153031号公報
以下に本発明による関連技術の分析を与える。
図15に示した構成においては、処理量が多い、という問題を有する。その理由は、テンプレート照合という領域演算を、対象画像の各位置で繰り返す処理を基にしているためである。
したがって、本発明の目的は、低処理量で高検知性能を発揮できる縞模様検知システムと方法及びプログラムを提供することにある。
本願で開示される発明は、前記課題を解決するため概略以下の構成とされる。
本発明の1つの側面によれば、
画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様前景幅として付与する縞模様前景フィルタ手段と、
前記画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様背景幅として付与する縞模様背景フィルタ手段と、
前記画像の各ピクセルについて、前記ピクセルでの前記縞模様前景フィルタ値と、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲で最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、を基に、縞模様統合フィルタ値を算出して付与する縞模様統合フィルタ手段と、
前記画像内の各領域について、前記領域内の前記縞模様統合フィルタ値から算出される特徴値から、前記領域に縞模様が含まれるか否かを判断し、縞模様が含まれる前記領域に関する位置情報を縞模様領域情報として出力する縞模様領域検知手段と、
を備えた縞模様検知システムが提供される。
本発明の他の側面によれば、
画像の各ピクセルについて、
前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様前景幅として付与し、
前記画像の各ピクセルについて、
前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様背景幅として付与し、
前記画像の各ピクセルについて、
前記ピクセルでの前記縞模様前景フィルタ値と、
前記ピクセルから、前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲で最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
前記縞模様前景端ピクセルから、前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
を基に、縞模様統合フィルタ値を算出して付与し、
前記画像内の各領域について、
前記領域内の前記縞模様統合フィルタ値から算出される特徴値から、前記領域に縞模様が含まれるか否かを判断し、縞模様が含まれる前記領域に関する位置情報を、縞模様領域情報として出力する、
上記各工程を含む縞模様検知方法が提供される。
本発明のさらに他の側面によれば、
画像各ピクセルについて、
前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える周囲の大きさを縞模様前景幅として付与する縞模様前景フィルタ処理と、
前記画像各ピクセルについて、
前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える周囲の大きさを縞模様背景幅として付与する縞模様背景フィルタ処理と、
前記画像各ピクセルについて、
前記ピクセルでの前記縞模様前景フィルタ値と、
前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲での最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
を基に、縞模様統合フィルタ値を算出して付与する縞模様統合フィルタ処理と、
前記画像内の各領域について、
前記領域内の前記縞模様統合フィルタ値から算出される特徴値から前記領域に縞模様が含まれるか否かを判断し、
縞模様が含まれる前記領域に関する位置等の情報を縞模様領域情報として出力する縞模様検知処理と、
をコンピュータに実行させるためのプログラムが提供される。
本発明によれば、低処理量で高い検知性能をもつ縞模様検知を実現できる。その理由は、本発明においては、テンプレート照合のような多数の領域演算をすることなく、局所処理の組み合わせにより、縞模様の形状を、直接的に利用した処理を行う構成としたためである。
本発明を実施形態について図面を参照して詳細に説明する。本発明の縞模様検知システムにおいては、縞模様前景フィルタ手段(101)と、縞模様背景フィルタ手段(102)と、縞模様統合フィルタ手段(103)と、孤立特徴点除去手段(104)と、縞模様領域検知手段(105)とを備え、画像各ピクセルの局所処理において、縞模様の形状を直接的に利用したフィルタ値を利用して縞模様領域を検出する。このような構成を採用し、処理量が少ない局所処理により、縞模様の形状を利用した検知処理をすることにより、低処理量で高い検知性能を発揮することができる。
本発明の一態様において、縞模様前景フィルタ手段(101)は、画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を縞模様前景フィルタ値とし、前記最大値を与える前記周囲の大きさを縞模様前景幅とする。
本発明の一態様において、縞模様背景フィルタ手段(102)は、前記画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を縞模様背景フィルタ値とし、前記最大値を与える前記周囲の大きさを縞模様背景幅とする。
本発明の一態様において、縞模様統合フィルタ手段(103)は、前記画像の各ピクセルについて、前記ピクセルでの前記縞模様前景フィルタ値と、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲で最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、を基に、縞模様統合フィルタ値を算出する。
本発明の一態様において、孤立特徴点除去手段(104)は、前記縞模様統合フィルタ値が相対的に大きいピクセルの内、周囲に、前記縞模様統合フィルタ値が相対的に大きい他のピクセルが存在しないピクセルにおける、前記縞模様統合フィルタ値を、相対的に小さい値に置き換える。
本発明の一態様において、縞模様領域検知手段(105)は、前記画像内の各領域について、前記領域内の前記縞模様統合フィルタ値から算出される特徴値から、前記領域に縞模様が含まれるか否かを判断し、縞模様が含まれる前記領域に関する位置情報を縞模様領域情報として出力する。
本発明の一態様において、縞模様統合フィルタ手段(103)は、前記ピクセルでの前記縞模様前景幅と、前記縞模様背景端ピクセルでの前記縞模様前景幅を更に基に、前記縞模様統合フィルタ値を算出する。
縞模様前景フィルタ手段(101)において、前記ピクセルの周囲は前記ピクセルを下端とした鉛直線上の領域であり、前記周囲の大きさは前記鉛直線上の領域の幅である。
縞模様背景フィルタ手段(102)において、前記ピクセルの周囲は、前記ピクセルを下端とした鉛直線上の領域であり、前記周囲の大きさは前記鉛直線上の領域の幅である。
縞模様統合フィルタ手段(103)において、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲は、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルを中心とした鉛直線上の領域であり、前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲は、縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルを中心とした鉛直線上の領域である。
縞模様前景フィルタ手段(101)において、前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値は、前記ピクセルの周囲の画素値の和から、前記周囲外の画素値の和を差し引いた値としてもよい。
縞模様背景フィルタ手段(102)において、前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値は、前記周囲外の画素値の和から、前記ピクセル周囲の画素値の和を差し引いた値としてもよい。
縞模様統合フィルタ手段(103)において、前記縞模様統合フィルタ値は、
前記ピクセルでの前記縞模様前景フィルタ値と、
前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と
の内の最小値としてもよい。
縞模様統合フィルタ手段(103)において、前記縞模様統合フィルタ値は、
前記ピクセルでの前記縞模様前景フィルタ値と、
前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
の内の最小値を、
前記ピクセルでの前記縞模様前景幅と前記縞模様背景端ピクセルでの前記縞模様前景幅との差の絶対値で、
除した値としてもよい。
縞模様前景フィルタ手段(101)において、前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、前記縞模様前景フィルタ値及び前記縞模様前景幅を0として、前記縞模様前景フィルタ値及び前記縞模様前景幅の算出を行わないようにしてもよい。
縞模様背景フィルタ手段(102)において、前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、前記縞模様背景フィルタ値及び前記縞模様背景幅を0として、前記縞模様背景フィルタ値及び前記縞模様背景幅の算出を行わないようにしてもよい。
本発明の一態様において、前記画像は、入力された原画像を検知対象である縞模様を俯瞰するように変換した俯瞰画像である。
本発明の一態様において、縞模様の検知対象の画像は、自車両または他車両に搭載のカメラ、もしくは路側に設置されているカメラから撮影した道路画像であり、検知対象の縞模様は、道路面上のゼブラゾーンである。道路画像から車線区画線を検知し、その周辺の領域を対象にゼブラゾーンを検知する。以下に実施例に即して説明する。
図1を参照すると、本発明の第1の実施例は、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100と、画像入力装置110とから構成されている。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)100は、縞模様前景フィルタ手段101と、縞模様背景フィルタ手段102と、縞模様統合フィルタ手段103と、孤立特徴点除去手段104と、縞模様領域検知手段105と、縞模様領域出力手段106とを含む。これらの手段はそれぞれ概略つぎのように動作する。
画像入力装置110は、縞模様を検知する対象となる原画像を入力する。なお、以下の手段において、縞模様検知の対象となる画像は原画像に限らず、検知対象である縞模様を俯瞰するように変換した俯瞰画像やカラー値を変換した画像等を対象にしてもよい。以下では、それらの縞模様検知の対象となる画像を総称して「対象画像」と呼ぶ。
縞模様前景フィルタ手段101は、対象画像の各ピクセルについて縞模様前景フィルタ値(詳細は図2を参照して後述する)及び仮想縞模様前景幅(詳細は図2を参照して後述する)を算出する。
縞模様背景フィルタ手段102は、対象画像の各ピクセルについて縞模様背景フィルタ値(詳細は図3を参照して後述する)及び仮想縞模様背景幅(詳細は図3を参照して後述する)を算出する。
縞模様統合フィルタ手段103は、対象画像の各ピクセルについて縞模様統合フィルタ値(詳細は図4を参照して後述する)を算出する。
孤立特徴点除去手段104は、対象画像内の縞模様統合フィルタ値が大きいピクセルの内、周囲に縞模様統合フィルタ値が大きい他のピクセルが存在しないピクセルにおける縞模様統合フィルタ値を小さい値に置き換える。
縞模様領域検知手段105は、対象画像内で、縞模様統合フィルタ値から計算される特徴値が予め定められた閾値以上の領域を縞模様領域として検知する。
縞模様領域出力手段106は、縞模様領域検知手段105により検知された縞模様領域の位置等を出力する。
以下に、上記した縞模様前景フィルタ値、及び縞模様前景幅について説明する。なお、以下の説明において、画素値とは、画像内の各ピクセルでの画像の濃度(もしくは輝度、色相や彩度や明度等のカラー値等)を意味する。また、以下に説明する処理は、対象画像内の各ピクセルを当該点(ピクセル2)として行われる。
図2に示すように、対象画像201内の当該ピクセル202について、
当該ピクセル202を下端とした鉛直線上の範囲203内の画素値について和、最小値等の何らかの特徴値である、縞模様前景内特徴値204を算出し、
当該ピクセル202を上端とした鉛直線上の範囲205内の画素値について平均値、最大値等の何らかの特徴値である、縞模様前景下方外特徴値206を算出し、
当該ピクセル202を上端とした鉛直線上の範囲205の上端を下端とした鉛直線上の範囲207内の画素値について平均値、最大値等の何らかの特徴値である、縞模様前景上方外特徴値208を算出する。
次に、縞模様前景下方外特徴値206と縞模様前景上方特徴値208について平均値、最大値等の何らかの特徴値である、縞模様前景外特徴値を算出する。
次に、縞模様前景内特徴値204と縞模様前景外特徴値とから、範囲205及び範囲207内の画素値と比較して範囲205内の画素値がより高い場合により大きくなるような特徴値、例えば、縞模様前景内特徴値204から縞模様前景外特徴値を差し引いたもの等を、縞模様前景特徴値として算出する。
縞模様前景特徴値を、範囲205の幅を予め定めた範囲で変更した場合についてそれぞれ算出し、その内の最大値を縞模様前景フィルタ値とし、最大値を与える範囲205の幅を縞模様前景幅とする。
なお、本説明において、特徴値として平均値、差、最小値、最大値等を例としてあげたが、特徴値は、これらに限るものではなく、範囲205及び範囲207内の画素値と比較して範囲205内の画素値がより高い場合に縞模様前景特徴値が大きくなるような特徴値であればよい。
また、当該ピクセル202において、画素値の鉛直線上の下方から上方に向かう方向での変化量が予め定められた閾値以下である場合には、縞模様前景フィルタ値及び縞模様前景幅を0として、縞模様前景フィルタ値の算出を行わないようにしてもよい。
また、縞模様前景特徴値の算出を、範囲203の上端ピクセルでの画素値の鉛直線上の下方から上方に向かう方向での変化量が予め定められた閾値以下の場合にのみ行い、そうでない場合には、縞模様前景特徴値を0とするようにしてもよい。
次に、縞模様背景フィルタ値、及びに縞模様背景幅について説明する。なお、以下に説明する処理は、対象画像内の各ピクセルを当該点として行われる。
図3に示すように、対象画像301内の当該ピクセル302について、
当該ピクセル302を下端とした鉛直線上の範囲303内の画素値について平均値、最大値等の何らかの特徴値である縞模様背景内特徴値304を算出し、
当該ピクセル302を上端とした鉛直線上の範囲305内の画素値について平均値、最小値等の何らかの特徴値である縞模様背景下方外特徴値306を算出し、
当該ピクセル302を上端とした鉛直線上の範囲305の上端を、下端とした鉛直線上の範囲307内の画素値について平均値、最小値等の何らかの特徴値である縞模様背景上方外特徴値308を算出する。
次に、縞模様背景下方外特徴値306と縞模様背景上方特徴値308について平均値、最小値等の何らかの特徴値である縞模様背景外特徴値を算出する。
次に、縞模様背景内特徴値304と縞模様背景外特徴値とから、範囲305及び範囲307内の画素値と比較して範囲305内の画素値がより低い場合により大きくなるような特徴値、例えば、縞模様背景外特徴値から縞模様背景内特徴値304を差し引いたもの等を縞模様背景特徴値として算出する。
縞模様背景特徴値を、範囲305の幅を予め定めた範囲で変更した場合についてそれぞれ算出し、その内の最大値を縞模様背景フィルタ値とし、最大値を与える範囲305の幅を縞模様背景幅とする。
なお、本説明において、特徴値として平均値、差、最小値、最大値等を例としてあげたが、特徴値はこれらに限るものではなく、範囲305及び範囲307内の画素値と比較して範囲305内の画素値がより低い場合に、縞模様背景特徴値が大きくなるような特徴値であればよい。
また、当該ピクセル302において、画素値の鉛直線上の下方から上方に向かう方向での変化量が予め定められた閾値以上である場合には、縞模様背景フィルタ値及び縞模様背景幅を0として、縞模様背景フィルタ値の算出を行わないようにしてもよい。
また、縞模様背景特徴値の算出を、範囲303の上端ピクセルでの画素値の鉛直線上の下方から上方に向かう方向での変化量が予め定められた閾値以上の場合にのみ行い、そうでない場合には縞模様背景特徴値を0とするようにしてもよい。
次に、縞模様統合フィルタ値について説明する。なお、以下に説明する処理は、対象画像内の各ピクセルを当該点として行われる。
図4に示すように、対象画像401内の当該ピクセル402について、当該ピクセル402から鉛直線上で上方に、当該ピクセル402における縞模様前景幅403だけ離れた画素の周辺404で、縞模様背景フィルタ値が最大である、縞模様前景上端候補ピクセル405を検出する。
次に、縞模様前景上端候補ピクセル405から鉛直線上で上方に縞模様前景上端候補ピクセル405における縞模様背景幅406だけ離れた画素の周辺407で、縞模様背景フィルタ値が最大である縞模様背景上端候補ピクセル408を検出する。
次に、当該ピクセル402と縞模様背景上端候補ピクセル408における縞模様前景フィルタ値、及び縞模様前景上端候補ピクセル405における縞模様背景フィルタ値について和、最小値等のなんらかの特徴値である縞模様前背景フィルタ特徴値を算出し、
当該ピクセル402における縞模様前景幅403及び縞模様背景上端候補ピクセル405における縞模様前景幅409について差等のなんらかの特徴値である縞模様前景幅均等特徴値を算出する。
次に、縞模様前背景フィルタ特徴値及び縞模様前景幅均等特徴値について、縞模様前背景フィルタ特徴値を、縞模様前景幅均等特徴値で除した値、等のなんらかの特徴値を算出し、縞模様統合フィルタ値とする。
なお、本説明において、特徴値として和、差、最小値、除算により得られる値等を例としてあげたが、特徴値はこれらに限るものではなく、当該ピクセル402と縞模様背景上端候補ピクセル408における縞模様前景フィルタ値、及び縞模様前景上端候補ピクセル405における縞模様背景フィルタ値がより大きく、かつ当該ピクセル402における縞模様前景幅403及び縞模様背景上端候補ピクセル408における縞模様前景幅409がより近い場合に縞模様統合フィルタ値が大きくなるような特徴値であればよい。
次に、図1及び図5のフローチャートを参照して、本実施例の全体の動作について詳細に説明する。
まず、画像入力装置110により縞模様を検知する対象の画像を入力する(図5のステップA1)。
次に、コンピュータ100は、縞模様前景フィルタ手段101により対象画像の各ピクセルについて、縞模様前景フィルタ値及び縞模様前景幅を算出する(ステップA2)。
さらに、コンピュータ100は、縞模様背景フィルタ手段102により対象画像の各ピクセルについて、縞模様背景フィルタ値及び縞模様背景幅を算出する(ステップA3)。
さらに、コンピュータ100は、縞模様統合フィルタ手段103により対象画像の各ピクセルについて、縞模様統合フィルタ値を算出する(ステップA4)。
さらに、コンピュータ100は、孤立特徴点除去手段104により対象画像内の縞模様統合フィルタ値が大きいピクセルの内、周囲に縞模様統合フィルタ値が大きい他のピクセルが存在しないピクセルにおける縞模様統合フィルタ値を小さい値に置き換える(ステップA5)。
さらに、コンピュータ100は、縞模様領域検知手段105により対象画像の各部分領域について縞模様統合フィルタ値の和等の特徴値を算出する(ステップA6)。
さらに、コンピュータ100は、縞模様領域検知手段105により各部分画像の内、縞模様統合フィルタ値の和等の特徴値が予め定められた閾値以上の部分領域を縞模様領域とする(ステップA7)。
最後に、コンピュータ100は、縞模様領域出力手段106により縞模様領域を出力する(ステップA8)。
次に、本実施例の作用効果について説明する。
本実施例では、テンプレート照合のような多数の領域演算をすることなく、局所的なフィルタ処理の組み合わせにより、縞模様の、ある幅の前景と背景が交互に現れるという形状を直接的に扱うように構成されているため、低処理量で高い検知性能もつ縞模様検知処理が実現できる。
次に、具体的を用いて本実施例の動作を説明する。
本実施例は、図6に示すように、道路601を走行する自車両602の前部に自車両進行方向を向いたカメラ603を画像入力装置110とするものであり、自車両前方を撮影した画像から縞模様領域であるゼブラゾーン605を検知するものである。なお、画像入力装置110はこれに限るわけではなく、自車両後部に自車両進行方向と逆方向を向いたカメラ、他車両に搭載されたカメラ、路側等のインフラとして設置されているカメラ等を用いてもよい。
図7に示すように、本実施例(第2の実施例)は、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)700と、画像入力装置710とから構成されている。なお、コンピュータ700及びに画像入力装置710は自車両や他車両、路側等のインフラ等に設置されており、また、コンピュータ700を用いる代わりに専用のハードウェア等により実現してもよい。
コンピュータ(中央処理装置;プロセッサ;データ処理装置)700は、俯瞰画像作成手段701と、縞模様前景フィルタ手段702と、縞模様背景フィルタ手段703と、縞模様統合フィルタ手段704と、孤立特徴点除去手段705と、縞模様領域検知手段706と、縞模様領域出力手段707とを含む。
画像入力装置710は、カメラ603のように原画像を入力する。ここで、原画像の階調数は256であるとする。
俯瞰画像作成手段701は、以下のような処理により、原画像を、検知対象であるゼブラゾーンを含む道路面を俯瞰するように変換した俯瞰画像を作成する。
すなわち、図8に示すように、本実施例における画像入力手段710の撮像座標系を定める。また、本実施例においては、撮像の際の実世界から原画像への変換は透視変換であるとし、レンズ等の歪み等による他の変換の要因はないものとする。
図8において、実世界座標系をXYZとし、原画像座標系をxyとする。ここで、X軸とx軸、Y軸とy軸はそれぞれ平行である。また、透視変換における焦点距離840をfとする。道路面はY軸に対して鉛直な平面をなすものとし、実世界座標系の原点Oから道路面810までの距離830をHとする。
この場合、道路面810上の点(Xi、H、Zi)に対応する原画像内の画素(xi、yi)は次式(1)のように表される。
Figure 0004416039
俯瞰画像は、道路面810を実世界で鉛直方向下向きの視線で見た場合の画像であり、よってこの場合、道路面810上の実世界座標を適当な間隔、例えば縦10cm、横10cm、で量子化したものに他ならない。
従って、原画像から俯瞰画像への変換は、俯瞰画像の各画素における輝度を、原画像内の式(1)で表される対応する画素の輝度とすることにより行うことができる。
この場合、俯瞰画像の各画素は、実世界での道路面810上の例えば縦10cm、横10cmの各領域に対応する。
なお、俯瞰画像のサイズは、道路面601上のゼブラゾーン605が十分に含まれる大きさ、例えば横幅は実世界で自車両602の中心を中心とした左右5m、縦長は実世界で自車両から前方8mまでの範囲を、例えば縦10cm、横10cm、で量子化した横100ピクセル、縦80ピクセル等とする。
また、画像撮像系において、透視変換以外の変換要因、例えばレンズの歪み等が存在する場合は、式(1)の代わりに、それらの変換要因を考慮した変換式を用いることにより、同様に原画像の俯瞰画像への変換を達成することができる。
縞模様前景フィルタ手段702は、以下のような処理により、俯瞰画像の各ピクセルについて縞模様前景フィルタ値及び仮想縞模様前景幅を算出する。
すなわち、図9に示すように、俯瞰画像901内の当該ピクセル902について、当該ピクセル902を下端とした鉛直線上の範囲903内の画素値についての平均値である縞模様前景内特徴値904を算出し、
当該ピクセル902を上端とした鉛直線上の2ピクセル幅の範囲内の画素値についての平均値である縞模様前景下方外特徴値905を算出し、
当該ピクセル902を上端とした鉛直線上の範囲903の上端を下端とした鉛直線上の2ピクセル幅の範囲内の画素値についての平均値である縞模様前景上方外特徴値906を算出する。
次に、縞模様前景下方外特徴値905と縞模様前景上方特徴値906の内の最大値である縞模様前景外特徴値を算出する。
次に、縞模様前景内特徴値904から縞模様前景外特徴値を差し引いた値を縞模様前景特徴値として算出する。
縞模様前景特徴値を、範囲903の幅を5ピクセルから20ピクセルの間で1ピクセル間隔で変更した場合についてそれぞれ算出し、その内の最大値を、縞模様前景フィルタ値とし、最大値を与える範囲903の幅を縞模様前景幅とする。
なお、当該ピクセル902において、当該ピクセル上の画素値から当該ピクセルの鉛直線上の下部に隣接するピクセル上の画素値を差し引いた値が閾値、例えば10以下である場合には、縞模様前景フィルタ値及び縞模様前景幅を0として、縞模様前景フィルタ値の算出を行わないようにしてもよい。
また、縞模様前景特徴値の算出を、範囲903の上端ピクセルの画素値から上端ピクセルの鉛直線上の上部に隣接するピクセルでの画素値を差し引いた値が閾値、例えば10以上の場合にのみ行い、そうでない場合には縞模様前景特徴値を0とするようにしてもよい。
縞模様背景フィルタ手段702は、以下のような処理により、俯瞰画像の各ピクセルについて縞模様背景フィルタ値及び仮想縞模様背景幅を算出する。
すなわち、図10に示すように、俯瞰画像1001内の当該ピクセル1002について、当該ピクセル1002を下端とした鉛直線上の範囲1003内の画素値についての平均値である縞模様背景内特徴値1004を算出し、
当該ピクセル1002を上端とした鉛直線上の2ピクセル幅の範囲内の画素値についての平均値である縞模様背景下方外特徴値1005を算出し、
当該ピクセル1002を上端とした鉛直線上の範囲1003の上端を下端とした鉛直線上の2ピクセル幅の範囲内の画素値についての平均値である縞模様背景上方外特徴値1006を算出する。
次に、縞模様背景下方外特徴値1005と縞模様背景上方特徴値1006の内の最小値である縞模様背景外特徴値を算出する。
次に、縞模様背景外特徴値から縞模様背景内特徴値1004を差し引いた値を縞模様背景特徴値として算出する。
縞模様背景特徴値を、範囲1003の幅を10ピクセルから30ピクセルの間で1ピクセル間隔で変更した場合についてそれぞれ算出し、その内の最大値を、縞模様背景フィルタ値とし、最大値を与える範囲1003の幅を、縞模様背景幅とする。
なお、当該ピクセル1002において、当該ピクセル1002の鉛直線上の下部に隣接するピクセル上の画素値から当該ピクセル1002上の画素値を差し引いた値が閾値、例えば10以下である場合には、縞模様背景フィルタ値及び縞模様背景幅を0として、縞模様背景フィルタ値の算出を行わないようにしてもよい。
また、縞模様背景特徴値の算出を、範囲1003の上端ピクセルの鉛直線上の上部に隣接するピクセルでの画素値から上記上端ピクセルでの画素値を差し引いた値が閾値、例えば10以上の場合にのみ行い、そうでない場合には縞模様背景特徴値を0とするようにしてもよい。
縞模様統合フィルタ手段704は、以下のような処理により俯瞰画像の各ピクセルについて縞模様統合フィルタ値を算出する。
すなわち、図11に示すように、俯瞰画像1101内の当該ピクセル1102について、当該ピクセル1102から鉛直線上で上方に当該ピクセル1102における縞模様前景幅1103だけ離れた画素を中心とした鉛直線上の10ピクセル幅の範囲で縞模様背景フィルタ値が最大である縞模様前景上端候補ピクセル1104を検出し、縞模様前景上端候補ピクセル1104から鉛直線上で上方に縞模様前景上端候補ピクセル1104における縞模様背景幅1105だけ離れた画素を中心とした20ピクセル幅の範囲で縞模様背景フィルタ値が最大である縞模様背景上端候補ピクセル1106を検出する。
次に、当該ピクセル1102と縞模様背景上端候補ピクセル1106における縞模様前景フィルタ値、及び縞模様前景上端候補ピクセル1104における縞模様背景フィルタ値の内の最小値である縞模様前背景フィルタ特徴値を算出し、当該ピクセル1102における縞模様前景幅1103及び縞模様背景上端候補ピクセル1106における縞模様前景幅1107についての差の絶対値である縞模様前景幅均等特徴値を算出する。
次に、縞模様前背景フィルタ特徴値を縞模様前景幅均等特徴値で除した値を算出し縞模様統合フィルタ値とする。
孤立特徴点除去手段705は、図12に示すように、俯瞰画像1201内において、縞模様統合フィルタ値が閾値、例えば30以上のピクセルの内、
ピクセル1202のように左右鉛直線上の同じZ座標を中心とした3ピクセルの範囲内において、縞模様統合フィルタ値が閾値、例えば30以上のピクセルが存在する場合には、ピクセル1202での縞模様統合フィルタ値はそのままとし、
ピクセル1203のように、左右鉛直線上の同じZ座標を中心とした3ピクセルの範囲内において、縞模様統合フィルタ値が閾値、例えば30以上のピクセルが存在しない場合には、ピクセル1203での縞模様統合フィルタ値を0に置き換える。
縞模様領域検知手段706は、図13に示すように、俯瞰画像1301内において、縦長:50ピクセル、横幅:20ピクセルの部分領域1302の位置を、縦:10ピクセル、横:2ピクセルの間隔で、左下端から順に移動させていき、各位置において、部分領域1302内の縞模様統合フィルタ値の和を計算し、和が閾値、例えば600以上である場合、当該位置に縞模様領域が存在するとし、縞模様領域として検知する。
なお、俯瞰画像1301内の車線区画線1304を検知し、部分領域1302の位置を車線区画線1304の左右どちらかに隣接した位置のみに限定する等してもよい。ただし、位置の限定はこれに限るものではなく、道路面上の他の標示とのなんらかの位置関係による限定であればよい。
縞模様領域出力手段707は、縞模様領域検知手段706で検知した縞模様領域の位置等の情報を出力する。
次に、以上説明した構成要素により構成される本実施例の動作について、図7及び図14のフローチャートを参照して詳細に説明する。
まず、画像入力装置710により縞模様を検知する対象の画像を入力する(図14のステップB1)。
次に、コンピュータ700は、俯瞰画像作成手段701により対象画像を検知対象である縞模様を俯瞰するように変換した俯瞰画像を作成する(ステップB2)。
さらに、コンピュータ700は、縞模様前景フィルタ手段702により俯瞰画像の各ピクセルについて、縞模様前景フィルタ値及び縞模様前景幅を算出する(ステップB3)。
さらに、コンピュータ700は、縞模様背景フィルタ手段703により俯瞰画像の各ピクセルについて、縞模様背景フィルタ値及び縞模様背景幅を算出する(ステップB4)。
さらに、コンピュータ700は、縞模様統合フィルタ手段704により俯瞰画像の各ピクセルについて、縞模様統合フィルタ値を算出する(ステップB5)。
さらに、コンピュータ700は、孤立特徴点除去手段705により俯瞰画像内の縞模様統合フィルタ値が大きいピクセルの内、周囲に縞模様統合フィルタ値が大きい他のピクセルが存在しないピクセルにおける縞模様統合フィルタ値を小さい値に置き換える(ステップB6)。
さらに、コンピュータ700は、縞模様領域検知手段706により俯瞰画像の各部分領域について縞模様統合フィルタ値の和等の特徴値を算出する(ステップB7)。
さらに、コンピュータ700は、縞模様領域検知手段706により各部分画像の内、縞模様統合フィルタ値の和等の特徴値が予め定められた閾値以上の部分領域を縞模様領域とする(ステップB8)。
最後に、コンピュータ700は、縞模様領域出力手段707により縞模様領域を出力する(ステップB9)。
本発明によれば、画像からの縞模様の検知といった用途に適用できる。また、車載画像からのゼブラゾーンの検知といった用途にも適用可能である。
なお、上記の特許文献1の開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の第1の実施例の構成を示す図である。 本発明の第1の実施例における縞模様前景フィルタの処理内容を説明する図である。 本発明の第1の実施例における縞模様背景フィルタの処理内容を説明する図である。 本発明の第1の実施例における縞模様統合フィルタの処理内容を説明する図である。 本発明の第1の実施例の動作を説明する流れ図である。 自車両と道路、カメラ、進行方向の位置・方向関係を示す図である。 本発明の第2の実施例の構成を示す図である。 本発明の第2の実施例における道路面と画像面、座標系の関係を示す図である。 本発明の第2の実施例における縞模様前景フィルタの処理内容の具体例を説明する図である。 本発明の第2の実施例における縞模様背景フィルタの処理内容の具体例を説明する図である。 本発明の第2の実施例における縞模様統合フィルタの処理内容の具体例を説明する図である。 本発明の第2の実施例における孤立特徴点除去手段の処理内容の具体例を説明する図である。 本発明の第2の実施例における縞模様領域検知手段の処理内容の具体例を説明する図である。 本発明の第2の実施例の動作を示す流れ図である。 関連技術の構成を示すブロック図である。
符号の説明
100、700 コンピュータ(中央処理装置;プロセッサ;データ処理装置)
101、702 縞模様前景フィルタ手段
102、703 縞模様背景フィルタ手段
103、704 縞模様統合フィルタ手段
104、705 孤立特徴点除去手段
105、706 縞模様領域検知手段
106、707 縞模様領域出力手段
110、710、1510 画像入力装置
201、301、401 対象画像
202、302、402、902、1002、1102 当該ピクセル
203、205、207、303、305、307、903、1003 鉛直
線上の範囲
204、904 縞模様前景内特徴値
206、905 縞模様前景下方外特徴値
208、906 縞模様前景上方外特徴値
304、1004 縞模様背景内特徴値
306、1005 縞模様背景下方外特徴値
308、1006 縞模様背景上方特徴値
403、409、1103、1107 縞模様前景幅
404、407 画素の周辺
405、1104 縞模様前景上端候補ピクセル
406、1105 縞模様背景幅
408、1106 縞模様背景上端候補ピクセル
601 道路
602 自車両
603 カメラ
604 カメラ視野範囲
605、1303 ゼブラゾーン
701、1501 俯瞰画像作成手段
810 道路面
820 画像面
830 道路面の世界座標原点からの距離
840 カメラ焦点距離
901、1001、1101、1201、1301 俯瞰画像
1202、1203 縞模様統合フィルタ値が閾値以上のピクセル
1302 部分領域
1304 車線区画線
1502 テンプレート記憶手段
1503 テンプレート読出し手段
1504 テンプレート照合手段
1505 縞模様領域検出手段

Claims (38)

  1. 画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様前景幅として付与する縞模様前景フィルタ手段と、
    前記画像の各ピクセルについて、前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様背景幅として付与する縞模様背景フィルタ手段と、
    前記画像の各ピクセルについて、前記ピクセルでの前記縞模様前景フィルタ値と、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲で最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、を基に、縞模様統合フィルタ値を算出して付与する縞模様統合フィルタ手段と、
    前記画像内の各領域について、前記領域内の前記縞模様統合フィルタ値から算出される特徴値から、前記領域に縞模様が含まれるか否かを判断し、縞模様が含まれる前記領域に関する位置情報を縞模様領域情報として出力する縞模様領域検知手段と、
    を備えたことを特徴とする縞模様検知システム。
  2. 前記縞模様統合フィルタ手段は、
    前記ピクセルでの前記縞模様前景幅と、前記縞模様背景端ピクセルでの前記縞模様前景幅を更に基に、前記縞模様統合フィルタ値を算出する、ことを特徴とする請求項1に記載の縞模様検知システム。
  3. 前記縞模様前景フィルタ手段において、
    前記ピクセルの周囲は前記ピクセルを下端とした鉛直線上の領域であり、前記周囲の大きさは前記鉛直線上の領域の幅であり、
    前記縞模様背景フィルタ手段において、
    前記ピクセルの周囲は、前記ピクセルを下端とした鉛直線上の領域であり、前記周囲の大きさは前記鉛直線上の領域の幅であり、
    前記縞模様統合フィルタ手段において、
    前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲は、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルを中心とした鉛直線上の領域であり、
    前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲は、前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルを中心とした鉛直線上の領域である、
    ことを特徴とする請求項1または2に記載の縞模様検知システム。
  4. 前記縞模様前景フィルタ手段において、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値は、
    前記ピクセルの周囲の画素値の和から、前記周囲外の画素値の和を差し引いた値とし、
    前記縞模様背景フィルタ手段において、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値は、
    前記周囲外の画素値の和から、前記ピクセル周囲の画素値の和を差し引いた値とする、
    ことを特徴とする請求項1、2、3のいずれか1項に記載の縞模様検知システム。
  5. 前記縞模様統合フィルタ手段において、
    前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と
    の内の最小値とする、
    ことを特徴とする請求項1、3、4のいずれか1項に記載の縞模様検知システム。
  6. 前記縞模様統合フィルタ手段において、
    前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    の内の最小値を、
    前記ピクセルでの前記縞模様前景幅と前記縞模様背景端ピクセルでの前記縞模様前景幅との差の絶対値で、
    除した値とする、
    ことを特徴とする請求項2、3、4のいずれか1項に記載の縞模様検知システム。
  7. 前記縞模様前景フィルタ手段において、
    前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、
    前記縞模様前景フィルタ値及び前記縞模様前景幅を0として、前記縞模様前景フィルタ値及び前記縞模様前景幅の算出を行わず、
    前記縞模様背景フィルタ手段において、
    前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、
    前記縞模様背景フィルタ値及び前記縞模様背景幅を0として、前記縞模様背景フィルタ値及び前記縞模様背景幅の算出を行わない、
    ことを特徴とする請求項3、4、5、6のいずれか1項に記載の縞模様検知システム。
  8. 前記画像は、入力された原画像を検知対象である縞模様を俯瞰するように変換した俯瞰画像である、
    ことを特徴とする請求項1乃至7のいずれか1項に記載の縞模様検知システム。
  9. 前記縞模様統合フィルタ値が相対的に大きいピクセルの内、周囲に、前記縞模様統合フィルタ値が相対的に大きい他のピクセルが存在しないピクセルにおける、前記縞模様統合フィルタ値を、相対的に小さい値に置き換える孤立特徴点除去手段をさらに備える、
    ことを特徴とする請求項1乃至8のいずれか1項に記載の縞模様検知システム。
  10. 縞模様の検知対象の画像は、
    自車両または他車両に搭載のカメラ、もしくは路側に設置されているカメラから撮影した道路画像であり、
    検知対象の縞模様は、道路面上のゼブラゾーンである、
    ことを特徴とする請求項1乃至9のいずれか1項に記載の縞模様検知システム。
  11. 道路画像から車線区画線を検知し、その周辺の領域を対象にゼブラゾーンを検知する、ことを特徴とする請求項10に記載の縞模様検知システム。
  12. 画像の各ピクセルについて、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の、前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様前景幅として付与し、
    前記画像の各ピクセルについて、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える前記周囲の大きさを縞模様背景幅として付与し、
    前記画像の各ピクセルについて、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記ピクセルから、前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲で最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様前景端ピクセルから、前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    を基に、縞模様統合フィルタ値を算出して付与し、
    前記画像内の各領域について、
    前記領域内の前記縞模様統合フィルタ値から算出される特徴値から、前記領域に縞模様が含まれるか否かを判断し、縞模様が含まれる前記領域に関する位置情報を、縞模様領域情報として出力する、
    ことを特徴とする縞模様検知方法。
  13. 前記縞模様統合フィルタ値の算出にあたり、前記ピクセルでの前記縞模様前景幅および前記縞模様背景端ピクセルでの前記縞模様前景幅を更に基に、前記縞模様統合フィルタ値を算出する、ことを特徴とする請求項12に記載の縞模様検知方法。
  14. 前記ピクセルの周囲は、前記ピクセルを下端とした鉛直線上の領域であり、
    前記周囲の大きさは、前記鉛直線上の領域の幅であり、
    前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲は、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルを中心とした鉛直線上の領域であり、
    前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲は、縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルを中心とした鉛直線上の領域である、
    ことを特徴とする請求項12または13に記載の縞模様検知方法。
  15. 前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値は、前記ピクセル周囲の画素値の和から前記周囲外の画素値の和を差し引いた値であり、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値は、
    前記周囲外の画素値の和から前記ピクセル周囲の画素値の和を差し引いた値である、
    ことを特徴とする請求項12、13、14のいずれか1項に記載の縞模様検知方法。
  16. 前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    の内の最小値とする、
    ことを特徴とする請求項12、14、15のいずれか1項に記載の縞模様検知方法。
  17. 前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    の内の最小値を、
    前記ピクセルでの前記縞模様前景幅と前記縞模様背景端ピクセルでの前記縞模様前景幅との差の絶対値で、
    除した値とする、
    ことを特徴とする請求項13、14、15のいずれか1項に記載の縞模様検知方法。
  18. 前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、前記縞模様前景フィルタ値及び前記縞模様前景幅を0として、前記縞模様前景フィルタ値及び前記縞模様前景幅の算出を行わず、
    前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、前記縞模様背景フィルタ値及び前記縞模様背景幅を0として、前記縞模様背景フィルタ値及び前記縞模様背景幅の算出を行わない、
    ことを特徴とする請求項14、15、16、17のいずれか1項に記載の縞模様検知方法。
  19. 前記画像は、入力された原画像を検知対象である縞模様を俯瞰するように変換した俯瞰画像である、ことを特徴とする請求項12、13、14、15、16、17、18のいずれか1項に記載の縞模様検知方法。
  20. 前記縞模様統合フィルタ値が相対的に大きいピクセルの内、周囲に、前記縞模様統合フィルタ値が相対的に大きい他のピクセルが存在しないピクセルにおける、前記縞模様統合フィルタ値を、相対的に小さい値に置き換える孤立特徴点除去工程をさらに含む、
    ことを特徴とする請求項12乃至19のいずれか1項に記載の縞模様検知方法。
  21. 縞模様の検知対象の画像は、自車両または他車両に搭載のカメラ、もしくは路側に設置されているカメラから撮影した道路画像であり、
    検知対象の縞模様は、道路面上のゼブラゾーンである、
    ことを特徴とする請求項12乃至20のいずれか1項記載の縞模様検知方法。
  22. 道路画像から車線区画線を検知し、前記車線区画線の周辺の領域を対象にゼブラゾーンを検知する、
    ことを特徴とする請求項21に記載の縞模様検知方法。
  23. 画像各ピクセルについて、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様前景フィルタ値として付与し、前記最大値を与える周囲の大きさを縞模様前景幅として付与する縞模様前景フィルタ処理と、
    前記画像各ピクセルについて、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値の前記周囲の大きさを変化させた際の最大値を求め、前記最大値を縞模様背景フィルタ値として付与し、前記最大値を与える周囲の大きさを縞模様背景幅として付与する縞模様背景フィルタ処理と、
    前記画像各ピクセルについて、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲での最大の前記縞模様背景フィルタ値を与える縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲での最大の前記縞模様前景フィルタ値を与える縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    を基に、縞模様統合フィルタ値を算出して付与する縞模様統合フィルタ処理と、
    前記画像内の各領域について、
    前記領域内の前記縞模様統合フィルタ値から算出される特徴値から前記領域に縞模様が含まれるか否かを判断し、
    縞模様が含まれる前記領域に関する位置等の情報を縞模様領域情報として出力する縞模様検知処理と、
    をコンピュータに実行させるためのプログラム。
  24. 前記縞模様統合フィルタ処理において、
    前記ピクセルでの前記縞模様前景幅および前記縞模様背景端ピクセルでの前記縞模様前景幅を更に基に、前記縞模様統合フィルタ値を算出する、
    ことを特徴とする請求項23に記載のプログラム。
  25. 前記縞模様前景フィルタ処理において、
    前記ピクセルの周囲は、前記ピクセルを下端とした鉛直線上の領域であり、
    前記周囲の大きさは、前記鉛直線上の領域の幅であり、
    前記縞模様背景フィルタ処理において、
    前記ピクセルの周囲は、前記ピクセルを下端とした鉛直線上の領域であり、
    前記周囲の大きさは、前記鉛直線上の領域の幅であり、
    前記縞模様統合フィルタ処理において、
    前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルの周囲は、前記ピクセルから前記ピクセルでの前記縞模様前景幅分離れたピクセルを中心とした鉛直線上の領域であり、
    前記縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルの周囲は、縞模様前景端ピクセルから前記縞模様前景端ピクセルでの前記縞模様背景幅分離れたピクセルを中心とした鉛直線上の領域である、
    ことを特徴とする請求項23または24に記載のプログラム。
  26. 前記縞模様前景フィルタ処理において、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの増分を表す特徴値は、前記ピクセル周囲の画素値の和から前記周囲外の画素値の和を差し引いた値であり、
    前記縞模様背景フィルタ処理において、
    前記ピクセルの周囲の画素値の前記周囲外の画素値からの減分を表す特徴値は、前記周囲外の画素値の和から前記ピクセル周囲の画素値の和を差し引いた値である、
    ことを特徴とする請求項23、24、25のいずれか1項に記載のプログラム。
  27. 前記縞模様統合フィルタ処理において、
    前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    の内の最小値とする、
    ことを特徴とする請求項23、25、26のいずれか1項に記載のプログラム。
  28. 前記縞模様統合フィルタ処理において、
    前記縞模様統合フィルタ値は、
    前記ピクセルでの前記縞模様前景フィルタ値と、
    前記縞模様前景端ピクセルでの前記縞模様背景フィルタ値と、
    前記縞模様背景端ピクセルでの前記縞模様前景フィルタ値と、
    の内の最小値を、
    前記ピクセルでの前記縞模様前景幅と前記縞模様背景端ピクセルでの前記縞模様前景幅との差の絶対値で
    除した値とする、
    ことを特徴とする請求項24、25、26のいずれか1項に記載のプログラム。
  29. 前記縞模様前景フィルタ処理において、
    前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、
    前記縞模様前景フィルタ値及び前記縞模様前景幅を0として、前記縞模様前景フィルタ値及び前記縞模様前景幅の算出を行わず、
    前記縞模様背景フィルタ処理において、
    前記ピクセルを下端とした鉛直線上の領域の上下端ピクセルでの画素値の鉛直方向の変化量が予め定められた閾値以下の場合には、
    前記縞模様背景フィルタ値及び前記縞模様背景幅を0として、前記縞模様背景フィルタ値及び前記縞模様背景幅の算出を行わない、
    ことを特徴とする請求項25、26、27、28のいずれか1項に記載のプログラム。
  30. 前記画像は、入力された原画像を検知対象である縞模様を俯瞰するように変換した俯瞰画像である、
    ことを特徴とする請求項23乃至29のいずれか1項に記載のプログラム。
  31. 前記縞模様統合フィルタ値が相対的に大きいピクセルの内、周囲に、前記縞模様統合フィルタ値が相対的に大きい他のピクセルが存在しないピクセルにおける、前記縞模様統合フィルタ値を、相対的に小さい値に置き換える孤立特徴点除去処理をコンピュータにさらに実行させる、
    ことを特徴とする請求項23乃至30のいずれか1項に記載のプログラム。
  32. 縞模様の検知対象の画像は、自車両または他車両に搭載のカメラ、もしくは路側に設置されているカメラから撮影した道路画像であり、
    検知対象の縞模様は道路面上のゼブラゾーンである、
    ことを特徴とする請求項23乃至31のいずれか1項に記載のプログラム。
  33. 道路画像から車線区画線を検知し、前記車線区画線の周辺の領域を対象にゼブラゾーンを検知する、
    ことを特徴とする請求項32に記載のプログラム。
  34. 前記縞模様前景フィルタ手段は、
    前記画像の各ピクセルについて、
    前記ピクセルを下端とした鉛直線上の第1の範囲内の画素値について第1の所定の演算を施し縞模様前景内特徴値を算出し、
    前記ピクセルを上端とした鉛直線上の第2範囲内の画素値について第2の所定の演算を施して縞模様前景下方外特徴値を算出し、
    前記ピクセルを上端とした鉛直線上の第2の範囲の上端を下端とした鉛直線上の第3の範囲内の画素値について第3の所定の演算を施して縞模様前景上方外特徴値を算出し、
    前記縞模様前景下方外特徴値と前記縞模様前景上方特徴値について第4の所定の演算を施して縞模様前景外特徴値を算出し、
    前記縞模様前景内特徴値と前記縞模様前景外特徴値とから、前記第2の範囲及び前記第3の範囲内の画素値と比較して前記第2の範囲内の画素値がより高い場合により大きくなるような特徴値を縞模様前景特徴値として算出し、
    前記縞模様前景特徴値を、前記第2の範囲の幅を予め定めた範囲で変更した場合についてそれぞれ算出し、その内の最大値を縞模様前景フィルタ値とし、前記最大値を与える前記第2の範囲の幅を縞模様前景幅とする、ことを特徴とする請求項1記載の縞模様検知システム。
  35. 前記縞模様背景フィルタ手段は、
    前記画像内の各ピクセルについて、
    前記ピクセルを下端とした鉛直線上の第1の範囲内の画素値について第1の所定の演算を施して縞模様背景内特徴値を算出し、
    前記ピクセルを上端とした鉛直線上の第2の範囲内の画素値について第2の所定の演算を施して縞模様背景下方外特徴値を算出し、
    前記ピクセルを上端とした鉛直線上の第2の範囲の上端を下端とした鉛直線上の第3の範囲内の画素値について第3の所定の演算を施して縞模様背景上方外特徴値を算出し、
    前記縞模様背景下方外特徴値と前記縞模様背景上方特徴値について第4の所定の演算を施して縞模様背景外特徴値を算出し、
    前記縞模様背景内特徴値と前記縞模様背景外特徴値とから前記第2の範囲及び第3の範囲内の画素値と比較して前記第2の範囲内の画素値がより低い場合により大きくなるような特徴値を縞模様背景特徴値として算出し、
    前記縞模様背景特徴値を、前記第2の範囲の幅を予め定めた範囲で変更した場合についてそれぞれ算出し、その内の最大値を縞模様背景フィルタ値とし、前記最大値を与える第2の範囲の幅を縞模様背景幅とする、ことを特徴とする請求項1又は34記載の縞模様検知システム。
  36. 前記縞模様統合フィルタ手段は、
    前記画像内の各ピクセルについて、前記ピクセルから鉛直線上で上方に、前記ピクセルにおける縞模様前景幅だけ離れた画素の周辺で、前記縞模様背景フィルタ値が最大である、縞模様前景上端候補ピクセルを検出し、
    前記縞模様前景上端候補ピクセルから鉛直線上で上方に縞模様前景上端候補ピクセルにおける縞模様背景幅だけ離れた画素の周辺で縞模様背景フィルタ値が最大である縞模様背景上端候補ピクセルを検出し、
    前記ピクセルと前記縞模様背景上端候補ピクセルにおける縞模様前景フィルタ値、及び前記縞模様前景上端候補ピクセルにおける縞模様背景フィルタ値について第5の所定の演算を施して縞模様前背景フィルタ特徴値を算出し、
    前記ピクセルにおける前記縞模様前景幅及び前記縞模様背景上端候補ピクセルにおける縞模様前景幅について第6の所定の演算を施して縞模様前景幅均等特徴値を算出し、
    前記縞模様前背景フィルタ特徴値と前記縞模様前景幅均等特徴値について第7の所定の演算を施して縞模様統合フィルタ値を算出する、ことを特徴とする請求項1、34、35のいずれか1項に記載の縞模様検知システム。
  37. 前記第1の所定の演算では、和又は最小値を求め、
    前記第2、第3、第4の所定の演算では、平均値又は最大値を求める、ことを特徴とする請求項34又は35記載の縞模様検知システム。
  38. 前記第5の所定の演算では、和又は最小値を求め、
    前記第6の所定の演算では、差を求める、
    前記第7の所定の演算では、前記縞模様前背景フィルタ特徴値を前記縞模様前景幅均等特徴値で除する、ことを特徴とする請求項36記載の縞模様検知システム。
JP2008071909A 2008-03-19 2008-03-19 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム Active JP4416039B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008071909A JP4416039B2 (ja) 2008-03-19 2008-03-19 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
US12/920,437 US8432447B2 (en) 2008-03-19 2009-03-18 Stripe pattern detection system, stripe pattern detection method, and program for stripe pattern detection
PCT/JP2009/055334 WO2009116590A1 (ja) 2008-03-19 2009-03-18 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008071909A JP4416039B2 (ja) 2008-03-19 2008-03-19 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム

Publications (2)

Publication Number Publication Date
JP2009230233A JP2009230233A (ja) 2009-10-08
JP4416039B2 true JP4416039B2 (ja) 2010-02-17

Family

ID=41090989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071909A Active JP4416039B2 (ja) 2008-03-19 2008-03-19 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム

Country Status (3)

Country Link
US (1) US8432447B2 (ja)
JP (1) JP4416039B2 (ja)
WO (1) WO2009116590A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631581B2 (ja) * 2009-12-01 2014-11-26 富士重工業株式会社 道路認識装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
CN104243969B (zh) * 2013-06-20 2017-11-24 中兴通讯股份有限公司 图像条纹检测方法及装置
US9412028B2 (en) 2013-11-13 2016-08-09 Elwha Llc Wheel slip or spin notification
US9677897B2 (en) 2013-11-13 2017-06-13 Elwha Llc Dead reckoning system for vehicles
JP6367725B2 (ja) * 2015-01-30 2018-08-01 株式会社Soken ゼブラゾーン認識装置及び走行区画線認識装置
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
JP6256509B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
JP6981850B2 (ja) 2017-11-09 2021-12-17 株式会社Soken 運転支援システム
CN108229327B (zh) * 2017-12-07 2021-05-18 北京中科慧眼科技有限公司 一种基于背景重建的车道线检测方法、装置与系统
CN109870500B (zh) * 2019-03-13 2022-11-01 中国海洋石油集团有限公司 一种基于交流电磁场检测的缺陷实时判别方法及系统
CN111292272B (zh) * 2020-03-04 2022-03-25 腾讯科技(深圳)有限公司 图像处理方法、装置、介质以及电子设备
CN116846789B (zh) * 2023-09-01 2023-11-14 国网四川省电力公司信息通信公司 通信链路的运维管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153845B2 (ja) * 1995-05-12 2001-04-09 三菱電機株式会社 路面監視装置及び路面監視方法
US7308139B2 (en) * 2002-07-12 2007-12-11 Chroma Energy, Inc. Method, system, and apparatus for color representation of seismic data and associated measurements
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
JP4645429B2 (ja) 2005-12-01 2011-03-09 アイシン・エィ・ダブリュ株式会社 車両位置算出方法及び車載装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置

Also Published As

Publication number Publication date
JP2009230233A (ja) 2009-10-08
WO2009116590A1 (ja) 2009-09-24
US20110007163A1 (en) 2011-01-13
US8432447B2 (en) 2013-04-30

Similar Documents

Publication Publication Date Title
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
CN109747638B (zh) 一种车辆行驶意图识别方法及装置
JP5687712B2 (ja) レーン認識装置
US8600112B2 (en) Crosswalk detection device, crosswalk detection method and recording medium
JP6618767B2 (ja) 画像処理装置および画像処理方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2014115978A (ja) 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
JP6753134B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム
JPWO2008020544A1 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
WO2018038257A1 (ja) 物体検出方法及びその装置
JP2016206801A (ja) 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JPH11351862A (ja) 前方車両検出方法及び装置
US20200134326A1 (en) Advanced driver assistance system and method
WO2014129018A1 (ja) 文字認識装置、文字認識方法及び記録媒体
CN115701864A (zh) 神经网络训练方法、目标检测方法、设备、介质及产品
JP6205712B2 (ja) 横断歩道検出装置および横断歩道検出方法
JP2022006180A (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
JP2021051530A (ja) 画像処理プログラム及び画像処理装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP7142131B1 (ja) 車線検出装置、車線検出方法および車線検出プログラム
JP3378476B2 (ja) 車両認識方法
CN110858281B (zh) 图像处理方法、装置、电子眼及存储介质
JP6134693B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4416039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4