JP5293815B2 - 画像処理装置、画像処理方法、及び画像処理用プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理用プログラム Download PDF

Info

Publication number
JP5293815B2
JP5293815B2 JP2011518445A JP2011518445A JP5293815B2 JP 5293815 B2 JP5293815 B2 JP 5293815B2 JP 2011518445 A JP2011518445 A JP 2011518445A JP 2011518445 A JP2011518445 A JP 2011518445A JP 5293815 B2 JP5293815 B2 JP 5293815B2
Authority
JP
Japan
Prior art keywords
boundary line
paint
blank
candidate
lateral boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011518445A
Other languages
English (en)
Other versions
JPWO2010140578A1 (ja
Inventor
航介 吉見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011518445A priority Critical patent/JP5293815B2/ja
Publication of JPWO2010140578A1 publication Critical patent/JPWO2010140578A1/ja
Application granted granted Critical
Publication of JP5293815B2 publication Critical patent/JP5293815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２００９−１３３２２３号（２００９年６月２日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、画像処理装置、画像処理方法、及び画像処理用プログラムに関し、特に、道路面にペイントされたレーンマークを認識するための画像処理装置、画像処理方法、及び画像処理用プログラムに関する。
道路面にペイントされたレーンマーク（白線）を認識する技術として、例えば、特許文献１に記載の白線検出方法がある。この白線検出方法では、撮像手段により得られた走行路面の画像中で明度変化の大きい画素を選択し、車両に近い所定範囲内の画素のうちその座標が直線に乗るものを抽出してかかる直線を白線エッジと判定するとともに、上記直線に乗る最後の画素を始点として、車両から遠い画像方向へ所定の範囲で次の画素を探索して、この範囲で探索された画素を次の白線エッジと判定している。
特開平７−３０２３４６号公報
Greg Welch and Gary Bishop, An Introduction to the Kalman Filter, UNC-Chapel Hill, TR95-041, July 24, 2006.
なお、上記特許文献ならびに非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
特許文献１に記載の白線検出方法では、破線状の白線を検出する場合、破線をなす複数の周期的（規則的）なパタンをもつレーンマーク間のブランク（空白）領域周辺において、レーンマーク以外の物体をレーンマークとして検出してしまうおそれがある。つまり、走行中の車両に搭載された撮像手段が取得する画像においては、破線状の白線においてブランク領域などの存在により、レーンマークが部分的に画像内に映らない場合があるところ、特許文献１に記載の白線検出方法では、白線のようなレーンマークが常に画像内で検出されることを前提にしているため、このような場合に、隣接レーンの車両外縁等の大きな輝度変化が発生する箇所を誤って白線エッジとして検出してしまうおそれがある。
本発明の主な課題は、破線状のレーンマークの認識において、誤認識を低減し、安定した認識性能を実現する画像処理装置、画像処理方法、及び画像処理用プログラムを提供することである。
本発明の第１の視点においては、画像処理装置（レーンマーク認識装置）において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段と、前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段と、前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段と、前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段と、を備え、前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理装置において、前記候補検出手段は、前記画像情報から前記ラテラル境界線候補の組を検出するラテラル境界線候補検出手段と、前記ラテラル境界線候補検出手段で検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出するペイント−ブランク境界線候補検出手段と、を備えることが好ましい。
本発明の前記画像処理装置において、前記ラテラル境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することが好ましい。
本発明の前記画像処理装置において、前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することが好ましい。
本発明の前記画像処理装置において、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することが好ましい。
本発明の前記画像処理装置において、前記記憶手段は、レーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を記憶し、前記検定手段は、検定時点において前記記憶手段に推定情報が記憶されていないときに、前記事前情報を用いて検定することが好ましい。
本発明の第２の視点においては、画像処理方法（レーンマーク認識方法）において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記画像情報から前記ラテラル境界線候補の組を検出し、検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出することが好ましい。
本発明の前記画像処理方法において、前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することが好ましい。
本発明の前記画像処理方法において、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することが好ましい。
本発明の前記画像処理方法において、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定することが好ましい。
本発明の第３の視点においては、画像処理用プログラム（レーンマーク認識用プログラム）において、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶する処理をコンピュータに実行させ、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記画像情報から前記ラテラル境界線候補の組を検出し、検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記評価値は、前記推定位置をμとする正規分布によって決定され、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定する処理をコンピュータに実行させることが好ましい。
本発明の前記画像処理用プログラムにおいて、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定する処理をコンピュータに実行させることが好ましい。
本発明によれば、レーンマークの認識において、誤認識を低減し、安定した認識性能を実現することができる。特に、ペイント領域とブランク領域からなる周期的なパタンをもつレーンマークの認識において、誤認識を削減することが可能である。その理由は、レーンマークにおけるラテラル境界線及びペイント−ブランク境界線（ペイント領域とブランク領域の位置）の推定を行って、レーンマーク候補におけるラテラル境界線候補及びペイント−ブランク境界線候補を検定することにより、ブランク領域と推定された位置にペイント領域を検出するような場合にこのレーンマーク候補を非レーンマークと判別する事ができる。これにより、対象画像内に破線のブランク領域が映り、ペイント領域がほとんど映らないようなシーンにおいて、隣接車両等の外乱を原因として検出されたレーンマーク候補を誤ってレーンマークと認識するような誤認識を排除する事ができる。
本発明の実施例１に係る画像処理装置を含む車両の構成を模式的に示したブロック図である。 本発明の実施例１に係る画像処理装置の構成を模式的に示したブロック図である。 本発明の実施例１に係る画像処理装置での認識対象となるレーンマークを説明するための模式図であり、（Ａ）広域図、（Ｂ）破線型のレーンマークの拡大図である。 本発明の実施例１に係る画像処理装置において画像処理対象となる画像情報の座標系を説明するための模式図であり、（Ａ）カメラ画像座標系、（Ｂ）俯瞰画像座標系である。 本発明の実施例１に係る画像処理装置における候補検出機能の動作を説明するための工程ごとの模式図であり、（Ａ）画像情報、（Ｂ）横方向のエッジ点の抽出イメージ、（Ｃ）ラテラル境界線候補となる近似直線の抽出イメージである。 本発明の実施例１に係る画像処理装置における候補検出機能の動作を説明するための工程ごとの模式図であり、（Ａ）ラテラル境界線候補の検出イメージ、（Ｂ）縦方向のエッジ点の抽出イメージ、（Ｃ）ペイント−ブランク境界線の検出イメージである。 本発明の実施例１に係る画像処理装置における検定機能の動作を説明するための模式図である。 本発明の実施例１に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるレーンマーク（破線型）の周期的パタンを説明するための模式図である。 本発明の実施例１に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるペイント−ブランク境界線の位置の推移を説明するための模式図である。 本発明の実施例１に係る画像処理装置における電子制御装置の動作を模式的に示したフローチャートである。 本発明の実施例１に係る画像処理装置において想定される状況の具体例を示す図である。 比較例（従来例）において、図１１で示すような状況の際、ラテラル境界線の位置の推定のみでは誤認識を生じる場合の具体例を示す図である。 本発明の実施例１に係る画像処理装置において、図１１で示すような状況の際、効果が発揮される場合の具体例を示す図である。
本発明の実施形態１に係る画像処理装置では、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段（図２の１５０）と、前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段（図２の１６０）と、前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段（図２の１３０）と、前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段（図２の１４０）と、を備え、前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定する。
本発明の実施形態２に係る画像処理方法では、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し（図１０のステップＡ２、Ａ３）、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し（図１０のステップＡ４）、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し（図１０のステップＡ５）、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し（図１０のステップＡ７）、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し（図１０のステップＡ７）、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定する。
本発明の実施形態３に係る画像処理用プログラムでは、取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し（図１０のステップＡ２、Ａ３）、検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し（図１０のステップＡ４）、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し（図１０のステップＡ５）、記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し（図１０のステップＡ７）、推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶（図１０のステップＡ７）する処理をコンピュータに実行させ、前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定する。
本発明の実施例１に係る画像処理装置について図面を用いて説明する。図１は、本発明の実施例１に係る画像処理装置を含む車両の構成を模式的に示したブロック図である。図２は、本発明の実施例１に係る画像処理装置の構成を模式的に示したブロック図である。図３は、本発明の実施例１に係る画像処理装置での認識対象となるレーンマークを説明するための模式図であり、（Ａ）広域図、（Ｂ）破線型のレーンマークの拡大図である。図４は、本発明の実施例１に係る画像処理装置において画像処理対象となる画像情報の座標系を説明するための模式図であり、（Ａ）カメラ画像座標系、（Ｂ）俯瞰画像座標系である。図５は、本発明の実施例１に係る画像処理装置における候補検出部の動作を説明するための工程ごとの模式図であり、（Ａ）画像情報、（Ｂ）横方向のエッジ点の抽出イメージ、（Ｃ）ラテラル境界線候補となる近似直線の抽出イメージである。図６は、本発明の実施例１に係る画像処理装置における候補検出部の動作を説明するための工程ごとの模式図であり、（Ａ）ラテラル境界線候補の検出イメージ、（Ｂ）縦方向のエッジ点の抽出イメージ、（Ｃ）ペイント−ブランク境界線の検出イメージである。図７は、本発明の実施例１に係る画像処理装置における検定部の動作を説明するための模式図である。図８は、本発明の実施例１に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるレーンマーク（破線型）の周期的パタンを説明するための模式図である。図９は、本発明の実施例１に係る画像処理装置におけるペイント−ブランク位置推定機能で推定されるペイント−ブランク境界線の位置の推移を説明するための模式図である。
図１を参照すると、画像処理装置２は、画像におけるレーンマークを認識する装置（レーンマーク認識装置）である。画像処理装置２は、図１では車両１に搭載されており、画像出力装置２０と、車速検出器３０と、電子制御装置１０と、を備える。なお、車両１は、図１では自動車をイメージしているが、その他にも、例えば、工場内を自律走行する搬送車や移動ロボットであってもよい。
ここで、認識対象となるレーンマークは、図３に示すように、路面上にペイント（または設置、描画）されたレーン（車線、走路）の境界を示すマークのことを指す。レーンマークには、白や黄色でペイントされた実線型のレーンマークや、ペイント領域２１０とブランク領域２２０とが交互に規則的（周期的）に配置されたパタンからなる破線型のレーンマークや、規則的なパタンで配置された立体反射素子（キャッツアイ、ボッツドッツなどと呼ばれる）よりなるレーンマークや、これらの組合せなどの種類がある。実施例１では、特に図３のようなペイント領域２１０とブランク領域２２０の周期的なパタンからなる破線型のレーンマークを認識対象とするが、実線は一つの破線のパタンとして含むことができる。また、キャッツアイ、ボッツドッツ等の立体反射素子についても、立体反射素子が密な領域をペイント領域とし、疎な領域をブランク領域とみなすことで、実線型や破線型のレーンマークと同様に扱うことが可能な場合がある。以降では、前記のように実線型や立体反射素子を含む、一般化された破線型のレーンマークを、実施例１における認識対象として記述することとする。なお、本発明では、自動車用の道路上にペイントされたレーンマークに限らず、同様の実線、または破線のようなマークならばすべてを認識対象に利用できるものとする。
なお、レーンマークの各部の名称は図３で示すように定義される。マークがペイント（あるいは設置）されている領域をペイント領域２１０と呼び、車両進行方向に対して周期的なペイント領域間の空白領域をブランク領域２２０と呼び、車両進行方向に対するペイント領域２１０の長さをペイント領域長２５０と呼び、ブランク領域２２０の長さをブランク領域長２６０と呼び、ペイント領域２１０のレーンに平行な境界をラテラル境界２３０（ラテラル境界線）と呼び、ペイント領域２１０とブランク領域２２０の境界をペイント−ブランク境界２４０（ペイント−ブランク境界線）と呼ぶ。
画像出力装置２０は、少なくとも画像情報を電子制御装置１０に向けて出力する装置である。画像出力装置２０には、図１では撮像装置を用いている。撮像装置は、リアルタイムに画像を撮像する装置であり、車両１の前方の状態を撮像するように車両１に搭載されており、例えば、ＮＴＳＣ（National Television Standards Committee）出力のビデオカメラ等を用いることができる。画像出力装置２０は、撮像装置の他に、記憶媒体に保存された画像情報を読み出してＮＴＳＣ出力等に変換する画像キャプチャ装置を用いることができる。
車速検出器３０は、車両１の走行速度（車速）を検出する装置である。車速検出器３０は、検出した車速情報を電子制御装置１０に向けて出力する。車速検出器３０には、図１では車両１に搭載された速度計を用いている。車速検出器３０は、速度計の他に、車両１に別に搭載された車輪軸の回転角速度センサからのセンサ情報に基づいて車速を検出する装置でもよく、車両１に搭載された音波センサからのセンサ情報に基づいて車速を検出する装置でもよく、車両１に搭載された撮像装置からの画像情報に基づいて車速を検出する装置でもよい。
電子制御装置１０は、レーンマークを認識するための情報処理を行うコンピュータである。電子制御装置１０は、画像出力装置２０からの画像情報、及び車速検出器３０からの車速情報に応じて、所定のプログラム（データベース等を含む）に基づいて、画像情報におけるレーンマークを認識するための情報処理を行う。電子制御装置１０は、中央演算装置１１と、インタフェース１２、１３と、記憶部（Ｍｅｍ）１４と、記憶部（ＤＢ）１５と、を有する。なお、図１中ではＭｅｍとＤＢを便宜上分けて描いているが、これらは一つの記憶デバイスとして実現してもよい。
インタフェース１２は、中央演算装置１１と画像出力装置２０との間の情報のやり取りを仲介する装置である。インタフェース１３は、中央演算装置１１と車速検出器３０との間の情報のやり取りを仲介する装置である。記憶部１４は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。記憶部１５は、主にデータベース（ＤＢ）を記憶する装置であり、中央演算装置１１と電気的に接続されている。なお、記憶部１４及び記憶部１５は、図１では、電子制御装置１０に内蔵されているが、外部の記憶装置としてもよい。中央演算装置１１は、情報処理を行う装置であり、インタフェース１２、１３、記憶部１４、及び記憶部１５と電気的に接続されている。中央演算装置１１は、プログラムを実行することで、画像出力装置２０及び車速検出器３０からインタフェース１２、１３を介して入力された画像情報及び車速情報に基づいて、記憶部１４及び記憶部１５に記憶された情報を適宜参照しながら、レーンマークを認識するための情報処理を行う。
電子制御装置１０は、中央演算装置１１においてソフトウェアプログラムを実行することで、図２のように、画像情報取得機能１１０と、車速情報取得機能１２０と、記憶機能１３０と、ペイント−ブランク位置推定機能１４０と、候補検出機能１５０と、検定機能１６０と、結果出力機能１７０と、を実現する。なお、電子制御装置１０において実現される各種機能１１０〜１７０は、個々の装置又は機能部若しくは電子回路として実現してもよい。
画像情報取得機能１１０は、画像出力装置２０から出力された画像情報を取得する機能である。画像情報取得機能１１０は、取得した画像情報を、候補検出機能１５０におけるラテラル境界線候補検出機能１５１及びペイント−ブランク境界線候補検出機能１５２に向けて転送する。
車速情報取得機能１２０は、車速検出器３０から出力された車速情報を取得する機能である。車速情報取得機能１２０は、取得した車速情報を記憶機能１３０に向けて転送する。
記憶機能１３０は、電子制御装置１０においてレーンマークを認識するために必要な情報を記憶する機能である。記憶機能１３０は、主な情報として、事前情報と、履歴情報と、車速情報と、推定情報と、を記憶している。記憶機能１３０は、ペイント−ブランク位置推定機能１４０に対して、事前情報と、車速情報と、過去の履歴情報とを提供する。記憶機能１３０は、候補検出機能１５０に対して、事前情報を提供する。
ここで、事前情報は、レーンマークの線幅、走路の幅、破線のブランク間隔の初期値等、事前にレーンマークを認識するための情報である。履歴情報は、検定機能１６０によって検定（認識）されたレーンマークの位置に関する過去の検定情報（認識結果情報）を含む情報である。車速情報は、車両１の走行速度に関する情報である。推定情報は、ペイント−ブランク位置推定機能１４０によって推定された次のフレーム（現在の画像情報の次に取得されるであろう画像情報に対応する画面）におけるペイント領域及びブランク領域の位置を含む情報である。
候補検出機能１５０は、画像情報取得機能１１０から得た画像情報を画像処理することにより、候補となるレーンマーク（レーンマーク候補）のペイント領域とブランク領域の位置を検出する機能である。候補検出機能１５０は、検出されたペイント領域及びブランク領域の位置を含む検出情報を検定機能１６０に向けて出力する。候補検出機能１５０は、ラテラル境界線候補検出機能１５１と、ペイント−ブランク境界線候補検出機能１５２と、を有する。
ここで、候補検出機能１５０において画像処理することになる画像情報の座標系は、入力されたカメラ画像中に定義されたカメラ画像座標系（図４（Ａ）参照）でも、カメラ画像を変換した俯瞰画像中に定義された俯瞰画像座標系（図４（Ｂ）参照）でもよい。カメラ画像座標系と俯瞰画像座標系はカメラの外部パラメータ（道路面に対する位置と姿勢）と内部パラメータ（焦点距離、画素の大きさなど）が既知ならば、互いに可換である。カメラ画像座標系では、例えば、図４（Ａ）ようにカメラ画像の左上を原点とし、当該原点から右に向かう座標軸をｕ、当該原点から下に向かう座標軸をｖ、のように定義することができる。また、俯瞰画像座標系では、図４（Ｂ）のように車両の走行する道路平面上に座標系を定義し、例えば、カメラの道路平面への投影位置を原点とし、車両進行方向の座標軸をＺ、車両進行方向に直角なラテラル方向の座標軸をＸ、のように定義することができる。なお、レーンマークは、通常、車両の左右両側に存在するが、以降においては、特段の説明がない限りは片側のレーンマークの認識についてのみ述べ、特記無き場合には、同様の処理が両側のレーンマークについて独立に行われているものとする。
ラテラル境界線候補検出機能１５１は、画像情報取得機能１１０から得た画像情報においてレーンマークのペイント領域（図３の２１０）の左右両端の一対のラテラル境界線（図３の２３０）の候補（ラテラル境界線候補）を検出する。具体的には、ラテラル境界線候補検出機能１５１は、画像情報に対し、Ｓｏｂｅｌフィルタ等のエッジフィルタを用いて、画像中の輝度値の勾配を計算する。その後、計算した勾配の（絶対）値を閾値処理することにより、勾配の（絶対）値が大である点をエッジ点として抽出し、これらエッジ点を接点とする線（近似直線）の候補を抽出し、得られた線のうち２本の組を選んでレーンマークの両端のラテラル境界線候補とし、ラテラル境界線候補の位置情報をペイント−ブランク境界線候補検出機能１５２に向けて出力する。なお、Ｓｏｂｅｌフィルタは、空間１次微分を計算した結果に基づき、画像中で輝度値変化を生じている箇所の輪郭を検出するフィルタである。
ここで、レーンマークのラテラル境界線は、近距離（カメラに近い位置）の画像中においては直線とみなせるため、特許文献１で用いられているように、抽出したエッジ点に対してＨｏｕｇｈ変換を用いて近似直線を求める方法を用いてもよい。なお、Ｈｏｕｇｈ変換は、画像から直線や円を抽出する技術である。一般的に、抽出されたエッジ点はノイズが含まれるため、これをもとに抽出される近似直線は複数存在し、よって両端ラテラル境界線候補は実際に画像中に存在するレーンマークに対応するより多くの個数が抽出されることがある。
また、ラテラル境界線候補となる近似直線の組の選び方は、例えば、両端ラテラル境界線候補となる近似直線の組に対し、平行性と、距離がレーンマークの線幅として適正かどうかと、内部にペイント領域を持っているか等を評価することでラテラル境界線候補を絞り込む方法を用いることができる。例えば、図４（Ａ）のようなカメラ画像座標系においては、平行性は近似直線の交点が地平線付近にあることで評価でき、距離は２直線が互いになす角度で評価でき、ペイント領域の有無は２直線で囲まれた領域の各行（ｖ座標）の輝度平均等を見る事で評価できる。上記と等価な評価は、図４（Ｂ）のような俯瞰座標系に変換して行ってもよい。
なお、ラテラル境界線候補を絞り込む操作は、ラテラル境界線候補検出機能１５１で行ってもよいし、検定機能１６０で行ってもよいが、後の処理の計算負荷を軽くするためにはラテラル境界線候補検出機能１５１で候補を絞っておくことが望ましい場合が考えられる。
ペイント−ブランク境界線候補検出機能１５２は、ラテラル境界線候補検出機能１５１によって検出されたレーンマークの左右両端のラテラル境界線候補の領域内において、ペイント領域（図３の２１０）のペイント−ブランク境界線（図３の２４０）の候補（ペイント−ブランク境界線候補）を検出する機能である。ペイント−ブランク境界線候補検出機能１５２は、検出したペイント−ブランク境界線候補と、ラテラル境界線候補検出機能１５１で検出されたラテラル境界線候補と、に基づいて、レーンマーク候補におけるペイント領域（図３の２１０）とブランク領域（図３の２２０）を決定し、決定されたレーンマーク候補におけるペイント領域及びブランク領域の位置情報を含む検出情報を検定機能１６０に向けて出力する。
ここで、ペイント−ブランク境界線候補検出機能１５２におけるペイント−ブランク境界線候補の検出動作としては、ラテラル境界線候補検出機能１５１と同様に、例えば、ラテラル境界線候補の領域内の画像情報に対し、Ｓｏｂｅｌフィルタ等のエッジフィルタを用いて、画像中の輝度値の勾配を計算し、勾配の（絶対）値を閾値処理することにより、勾配の（絶対）値が大（所定値以上）である点をエッジ点として抽出し、Ｈｏｕｇｈ変換によりエッジ点を接点とする近似直線を抽出し、抽出された近似直線をペイント−ブランク境界線とすることができる。
なお、エッジ点の抽出において、ペイント−ブランク境界線候補は、ラテラル境界線候補の向きに対して垂直であるとみなす事ができるので、あるラテラル境界線候補の組に囲まれた領域に対して、Ｓｏｂｅｌフィルタ等のエッジフィルタを用いて垂直方向（縦方向、車両進行方向）にエッジ点を抽出する。
また、ペイント−ブランク境界線候補は、上端下端の別を区別する事ができる。例えば、輝度値の勾配の符号で各エッジ点を区別できるとすると、ペイント領域の下端の境界では正のエッジ点が抽出され、上端の境界では負のエッジ点が抽出されるので、正のエッジ点の近似直線がペイント−ブランク境界線候補の下端の境界、負のエッジ点の近似直線がペイント−ブランク境界線候補の上端の境界として抽出される。一つの（ラテラル境界線候補の組から成る）レーンマーク候補についてペイント−ブランク境界線候補は（正負を含めて）複数検出されうるが、まず距離の近いものから勾配強度を基準に決定し、次は遠方に向かう方向に一定距離（事前情報よりペイント領域長とブランク領域長として許容される距離の範囲を決める）離れた領域にある一つ目とは符合が逆のエッジ線を選択する。ペイント−ブランク境界線候補の抽出は、距離の近い方から正負の境界線が各１つずつ抽出された時点で終了してもよい。
上記で求められたラテラル境界線候補の位置情報と、ペイント−ブランク領域境界線候補の位置情報とは、候補検出機能１５０で検出される検出情報に含まれるものとする。
候補検出機能１５０の動作を具体的に説明すると、まず、画像情報取得機能１１０から得た画像情報（図５（Ａ）参照）に対し、横方向（左方向）にエッジ抽出を行う（図５（Ｂ）参照）。次に、Ｈｏｕｇｈ変換によりラテラル境界線候補となる近似直線を抽出し（図５（Ｃ）参照）、上記のような基準で一対の近似直線を絞り込んで左右両端のラテラル境界線候補を検出する（図６（Ａ）参照）。次に、一対のラテラル境界線候補によって囲まれた領域の画像情報（図５（Ａ）参照）に対し、縦方向（上方向）にエッジ抽出を行い（図６（Ｂ）参照）、ペイント−ブランク境界線候補（ＰＢ境界線候補）となる近似直線を手前側から２本（正負１つずつ）検出し（図６（Ｃ）参照）、検出されたラテラル境界線候補及びペイント−ブランク境界線候補に基づいて、レーンマーク候補におけるペイント領域とブランク領域の位置を決定する。
検定機能１６０は、候補検出機能１５０で検出されたレーンマーク候補がレーンマークであるか否かを検定する機能である。検定機能１６０は、候補検出機能１５０で検出されたレーンマーク候補（ペイント領域及びブランク領域）の位置（候補位置）に対し、後述するペイント−ブランク位置推定機能１４０で推定された推定情報におけるレーンマーク（ペイント領域及びブランク領域）の推定位置を利用して、当該レーンマーク候補のレーンマークらしさを評価した評価値（以下、「レーンマーク評価値」という）を決定し、決定されたレーンマーク評価値が閾値以上であるか否か判定し、レーンマーク評価値が閾値以上である場合にはレーンマーク候補をレーンマークと認識し、レーンマークがある旨、及びレーンマーク候補の位置を含む検定情報（認識結果情報）を結果出力機能１７０に向けて出力する。また、検定機能１６０は、この検定情報を逐次、履歴情報として記憶機能１３０に送信する。なお、レーンマーク評価値が閾値以上でない場合、検定機能１６０は、レーンマーク候補をレーンマークと認識せず、レーンマークがない旨を含む検定情報を結果出力機能１７０及び記憶機能１３０に向けて出力することになる。
ここで、レーンマーク評価値は、（１）ラテラル境界線候補の位置の信頼度評価値（以下、「ラテラル位置評価値」という）と、（２）ペイント−ブランク境界線候補の位置の信頼度評価値（以下、「位相評価値」という）とから構成される。（１）ラテラル位置評価値は、後述するペイント−ブランク位置推定機能１４０で推定された推定情報におけるラテラル境界線の推定位置と、候補検出機能１５０で検出された検出情報におけるラテラル境界線候補の位置（候補位置）と、を比較することにより評価値を決定する。推定情報は、ラテラル境界線の推定位置とラテラル方向の推定速度とを含むとすると、例えば、図７のように推定位置を中心とする正規分布の候補位置における値を評価値とすることができる。正規分布Ｎは次式（数１）で与えられる。
Figure 0005293815
ただし、中心（推定位置）をμ、分散をσ２とする。分散は、ラテラル方向の推定速度（ＶＬ）と１フレーム間に経過する時間（ＴＦ）の積、すなわち１フレーム間での推定移動距離（ＸＦ＝ＶＬ×ＴＦ）の関数としてもよく、例えば、σ２＝（ＸＦ）２を用いる。ラテラル境界線は、レーンマークの左右両端で１組であるので、左右のそれぞれについて評価値を求め、平均値をラテラル位置評価値としてもよいし、例えば、左右両端のラテラル境界線のうち車両に近い側（内側）の境界線の位置の評価値のみを利用してもよい。
また、位相評価値は、後述するペイント−ブランク位置推定機能１４０で推定された推定情報におけるペイント−ブランク境界線の推定位置と、候補検出機能１５０で検出された検出情報におけるペイント−ブランク境界線候補の位置（候補位置）と、を比較することにより評価値を決定する。このとき、上記ラテラル位置評価値の場合と同様に、図７のように推定位置を中心とする正規分布等によって候補位置の評価値を決めることができる。
車両進行方向の速度は、車速情報取得機能１２０より得た車速情報（ＶＦ）を用いることができ、分散を、例えば、「σ２＝（ＶＦ×ＴＦ）２」のようにする。一つのレーンマーク候補についてペイント−ブランク境界線候補が（正負を含めて）複数検出されうるが、各評価値を平均して位相評価値としてもよいし、カメラからの距離の近いものを優先するように重み付き平均を評価値としてもよい。ただし、検出されたレーンマーク候補にブランク領域が検出されなかった場合、例えば、（１）ペイント−ブランク位置推定機能１４０による推定でも、次のフレームの検出領域における車両進行方向の範囲内でペイント領域と推定される場合、評価値を１とし、（２）（１）以外の場合には、次のフレームの検出領域の手前側と遠方側をそれぞれ、ペイント領域の上下端境界とし、次のフレームの検出領域内に存在する推定位置との評価値を計算する。
ここで、フレームとは、時系列画像（動画）中の１つの画像を意味する。また、検出領域とは、フレーム（画像）中の特定の領域であって、レーンマークを認識する際のフレームにおける道路面上の特定の領域範囲のことを指すものとする。
レーンマーク評価値は、ラテラル位置評価値と位相評価値を総合して決定する。レーンマーク評価値の決め方は、いくつも考えられるが、例えば、ラテラル位置評価値と位相評価値の積をレーンマーク評価値とする。
レーンマーク評価値の決定の際、ペイント−ブランク位置推定機能１４０で推定された推定情報におけるレーンマーク（ペイント領域及びブランク領域）の推定位置を利用するが、システムの開始時など、履歴情報が十分に無く、よってそれによる推定情報も無い場合、十分時間が経過し推定に必要な履歴情報が蓄積されるまで、事前情報によってあらかじめ規定したレーンマークの位置を推定値として利用してもよいし、ペイント−ブランク境界線の位置の評価を行わず、ラテラル境界線の位置の評価のみ行うなど、検定を簡略化する処置を行ってもよい。
ペイント−ブランクの周期的パタンの位相が大きく変化する場合、例えば、交差点を通過するときのようにレーンマークが一度途切れて再度開始するような場合、上記のような評価方法を継続すると正しいレーンマークであっても非レーンマークと判別される場合がある。このような場合の対処法として、例えば、レーンマークが一定のフレーム間で継続して認識されない場合、ラテラル位置評価値や位相評価値の分散を大きくとったり、あるいは、位相評価値とラテラル位置評価値の相対的な重みを変化させたり、あるいは、レーンマーク評価値に用いられる閾値を下げるなどの操作により、検定の基準を緩くすることができる。
結果出力機能１７０は、検定機能１６０からの検定情報を電子制御装置１０の外部に出力する機能である。
ペイント−ブランク位置推定機能１４０は、記憶機能１３０に記憶された履歴情報（履歴情報が蓄積されていない場合、事前情報）と、車速情報取得機能１２０から記憶機能１３０を介して得た車速情報とを用いて、次の検出領域（図９参照）のペイント領域及びブランク領域の位置を推定する機能である。ペイント−ブランク位置推定機能１４０は、推定された次の検出領域のペイント領域及びブランク領域の推定位置を含む推定情報を記憶機能１３０に向けて出力する。
ここで、次の検出領域は、検定機能１６０において検定される現在の検出領域の時刻ｔから所定時間後の時刻（ｔ＋１）に検定されることが予測される検出領域である（図９参照）。
ペイント−ブランク位置推定機能１４０の推定動作の例は、以下の通りである。なお、以下の説明では、俯瞰画像座標を用いた位置の表現を使う。
次の検出領域のペイント領域及びブランク領域の位置の推定は、次の検出領域における（１）左右両端のラテラル境界線の位置、及び（２）ペイント−ブランク境界線の位置の値を独立に推定することで実現することができる。（１）ラテラル境界線の位置の推定では、Ｋａｌｍａｎフィルタ（非特許文献１参照）のような確率推移モデルを用いてラテラル境界線の位置（とラテラル方向速度）を推定する。（２）ペイント−ブランク境界線の位置の推定では、ラテラル境界線の位置の推定と同様に、Ｋａｌｍａｎフィルタのような確率推移モデルを用いてペイント−ブランク境界線の推移を推定してもよい。
別の推定方法として、まず、（１）レーンマークの周期的なパタン（すなわちペイント領域長とブランク領域長）を推定し、次に、（２）上記パタンの位相の推移を推定し、最後に、（３）検定機能１６０おいて次の検出情報（候補検出機能１５０で検出されるペイント領域及びブランク領域の位置を含む情報）と比較できるように、次の検出情報に対応する次の検出領域におけるペイント領域及びブランク領域の位置を求めることで推定することもできる。（１）レーンマークの周期的なパタンの推定では、具体的には、ある距離（俯瞰座標上のあるｚ座標、カメラ画像座標上のあるｖ座標）においた基準線上の過去の相当数のフレームの履歴情報を用いて、連続でペイント領域（またはブランク領域）を認識したフレーム数と各フレーム間における時間と車速情報とを用いることで、過去に基準線を通過したレーンマークの周期的パタン（ペイント領域長ａとブランク領域長ｂ）を推定することができる（図８参照）。（２）位相の推移の推定は、車速情報を用いて現在のフレームが取得された時刻から次のフレームが取得されるまでに進む距離の計算から単純に求めることができる。（３）次の検出領域におけるペイント−ブランク境界線の位置は、次の検出領域に対して推定した周期パタンを、現在の検出領域から位相の変位分ずらした場合のペイント−ブランク境界線の位置から単純に求める事ができる（図９参照）。
ペイント−ブランク位置推定機能１４０で推定された推定情報は、記憶機能１３０に蓄えられ、最新の推定情報は、次のフレームのレーンマーク候補を検定する際に検定機能１６０で用いられることになる。また、推定情報は、候補検出機能１５０において、次フレームにおけるレーンマーク候補のペイント領域とブランク領域の候補位置を検出する際に、検出処理を効率的に行うために用いることもできる。具体的には、推定された次フレームにおけるラテラル境界線とペイント−ブランク境界線の位置を中心とする画像中の領域を指定し、検定処理を行う領域を限定することで、候補検出機能１５０におけるラテラル境界線候補の検出とペイント−ブランク境界線候補の検出における処理の計算負荷を軽減することが考えられる。
次に、本発明の実施例１に係る画像処理装置の動作について図面を用いて説明する。図１０は、本発明の実施例１に係る画像処理装置における電子制御装置の動作を模式的に示したフローチャートである。なお、図１０に示すフローチャートは、図１に示す電子制御装置１０の中央演算装置１１において実行されるソフトウェアプログラムの処理手順に相当する。
図１０を参照すると、まず、電子制御装置（図２の１０）は、画像情報取得機能（図２の１１０）により、画像出力装置（図２の２０）から認識対象となる画像情報を取得する（ステップＡ１）。
次に、電子制御装置１０は、ラテラル境界線候補検出機能（図２の１５１）により、画像情報取得機能１１０からの画像情報からペイント領域の左右両端のラテラル境界線候補の位置を検出する（ステップＡ２）。
次に、電子制御装置１０は、ペイント−ブランク境界線候補検出機能（図２の１５２）により、画像情報取得機能１１０からの画像情報からペイント領域のペイント−ブランク境界線候補の位置を検出する（ステップＡ３）。
次に、電子制御装置１０は、検定機能（図２の１６０）により、記憶機能１３０に記憶された最新の推定情報と、ラテラル境界線候補検出機能１５１及びペイント−ブランク境界線候補検出機能１５２で検出されたラテラル境界線及びペイント−ブランク境界線の候補位置と、を比較及び閾値処理することにより、レーンマークの候補位置の検定を行う（ステップＡ４）。レーンマークの候補位置の検定では、推定情報におけるレーンマーク（ラテラル境界線及びペイント−ブランク境界線）の推定位置を利用して、レーンマーク候補のレーンマーク評価値を決定し、決定されたレーンマーク評価値が閾値以上であるか否か判定し、レーンマーク評価値が閾値以上である場合にはレーンマーク候補をレーンマークと認識し、レーンマークがある旨、及びレーンマーク候補の位置を含む検定情報を生成し、一方、レーンマーク評価値が閾値以上でない場合にはレーンマーク候補をレーンマークと認識せず、レーンマークがない旨を含む検定情報を生成することになる。
次に、電子制御装置１０は、結果出力機能（図２の１７０）により、検定機能１６０で生成された検定情報を出力する（ステップＡ５）。この際、記憶機能１３０において、検定機能１６０での検定情報を履歴情報として記憶する。
次に、電子制御装置１０は、車速情報取得機能（図２の１２０）により、車速検出器（図２の３０）から車速情報を取得する（ステップＡ６）。
最後に、電子制御装置１０は、ペイント−ブランク位置推定機能（図２の１４０）により、次フレームにおけるペイント領域とブランク領域の位置、すなわち、ラテラル境界線及びペイント−ブランク境界線の位置を推定する（ステップＡ７）。推定されたラテラル境界線及びペイント−ブランク境界線の推定位置を含む推定情報は、記憶機能１３０に記憶され、次のレーンマークの候補位置を検定する際に利用されることになる。
実施例１によれば、レーンマークのパタン、特に、ブランク領域の位置情報をレーンマーク認識の判断に用いるため、レーンマークの誤認識を低減し、認識性能を向上させることができる。
例えば、図１１のように先行車両や隣接車両が存在する場合、従来例（比較例）では偽のレーンマーク候補が検定の結果、レーンマークと認識される可能性がある。特に、現フレームの検出領域に真のレーンマークのペイント領域が映っていない場合、図１２で示す例のように、隣接車線の車両などに由来する輝度勾配の大きな箇所をレーンマーク候補として検出し、ラテラル位置のみで評価した場合には、この候補をレーンマークとして判別してしまう可能性がある。このとき、図１３で示すように、実施例１では、ペイント−ブランク境界線の推定情報を用いて評価することで、真のレーンマークがブランク領域であるような位置において、ペイント領域であるような偽のレーンマーク候補のレーンマーク評価値を低く評価し、非レーンマークとして検定する事が可能である。
本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
１ 車両
２ 画像処理装置（レーンマーク認識装置）
１０ 電子制御装置
１１ 中央演算装置（ＣＰＵ）
１２、１３ インタフェース（Ｉ／Ｆ）
１４ 記憶部（Ｍｅｍ）
１５ 記憶部（ＤＢ）
２０ 画像出力装置
３０ 車速検出器
１１０ 画像情報取得機能
１２０ 車速情報取得機能
１３０ 記憶機能（記憶手段）
１４０ ペイント−ブランク位置推定機能（推定手段）
１５０ 候補検出機能（候補検出手段）
１５１ ラテラル境界線候補検出機能（ラテラル境界線候補検出手段）
１５２ ペイント−ブランク境界線候補検出機能（ペイント−ブランク境界線候補検出手段）
１６０ 検定機能（検定手段）
１７０ 結果出力機能
２１０ ペイント領域
２２０ ブランク領域
２３０ ラテラル境界（ラテラル境界線）
２４０ ペイント−ブランク境界（ペイント−ブランク境界線）
２５０ ペイント領域長
２６０ ブランク領域長

Claims (24)

  1. 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出する候補検出手段と、
    前記候補検出手段で検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する検定手段と、
    前記検定手段でレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶する記憶手段と、
    前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定する推定手段と、
    を備え、
    前記記憶手段は、前記推定手段で推定されたラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、
    前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報を用いて検定することを特徴とする画像処理装置。
  2. 前記候補検出手段は、前記画像情報から前記ラテラル境界線候補の組を検出するラテラル境界線候補検出手段と、前記ラテラル境界線候補検出手段で検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出するペイント−ブランク境界線候補検出手段と、を備えることを特徴とする請求項１記載の画像処理装置。
  3. 前記ラテラル境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、
    前記ペイント−ブランク境界線候補検出手段は、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出することを特徴とする請求項２記載の画像処理装置。
  4. 前記検定手段は、検定時点において前記記憶手段に記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することを特徴とする請求項１乃至３のいずれか一に記載の画像処理装置。
  5. 前記検定手段は、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することを特徴とする請求項４記載の画像処理装置。
  6. 前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することを特徴とする請求項４又は５記載の画像処理装置。
  7. 前記評価値は、前記推定位置をμとする正規分布によって決定され、
    前記検定手段は、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することを特徴とする請求項４又は５記載の画像処理装置。
  8. 前記記憶手段は、レーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を記憶し、
    前記検定手段は、検定時点において前記記憶手段に推定情報が記憶されていないときに、前記事前情報を用いて検定することを特徴とする請求項１乃至７のいずれか一に記載の画像処理装置。
  9. 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、
    検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、
    前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、
    記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、
    推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶し、
    前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする画像処理方法。
  10. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、
    前記画像情報から前記ラテラル境界線候補の組を検出し、
    検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出することを特徴とする請求項９記載の画像処理方法。
  11. 前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、
    前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出することを特徴とする請求項１０記載の画像処理方法。
  12. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定することを特徴とする請求項９乃至１１のいずれか一に記載の画像処理方法。
  13. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定することを特徴とする請求項１２記載の画像処理方法。
  14. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定することを特徴とする請求項１２又は１３記載の画像処理方法。
  15. 前記評価値は、前記推定位置をμとする正規分布によって決定され、
    前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定することを特徴とする請求項１２又は１３記載の画像処理方法。
  16. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定することを特徴とする請求項９乃至１５のいずれか一に記載の画像処理方法。
  17. 取得した画像情報からレーンマークのラテラル境界線候補及びペイント−ブランク境界線候補を検出し、
    検出された前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定し、
    前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークのラテラル境界線及びペイント−ブランク境界線であると検定されたときの前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補を含む検定情報を履歴情報として記憶するとともに、前記履歴情報に対応する車速情報を記憶し、
    記憶された前記履歴情報及び前記車速情報を用いて、現在の画像情報の次に取得されるであろう画像情報に対応する次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を推定し、
    推定された前記次のフレームにおけるラテラル境界線及びペイント−ブランク境界線の位置を含む推定情報を記憶する処理をコンピュータに実行させ、
    前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報を用いて検定することを特徴とする画像処理用プログラム。
  18. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、
    前記画像情報から前記ラテラル境界線候補の組を検出し、
    検出された前記ラテラル境界線候補の組の領域内における前記画像情報から前記ペイント−ブランク領域境界候補を検出する処理をコンピュータに実行させることを特徴とする請求項１７記載の画像処理用プログラム。
  19. 前記前記ラテラル境界線候補の組を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする複数の近似直線を抽出し、抽出された複数の近似直線に対して所定の評価処理を行うことにより２本の近似直線を前記ラテラル境界線候補の組として検出し、
    前記ペイント−ブランク領域境界候補を検出する際、エッジフィルタを用いて前記画像情報中の輝度値の勾配を計算し、前記勾配の絶対値を閾値処理することにより前記勾配の絶対値が所定値以上である点をエッジ点として抽出し、Ｈｏｕｇｈ変換により前記エッジ点を接点とする近似直線を手前側から２本抽出し、抽出された２本の近似直線をペイント−ブランク境界線候補として検出する処理をコンピュータに実行させることを特徴とする請求項１８記載の画像処理用プログラム。
  20. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において記憶されている推定情報におけるラテラル境界線及びペイント−ブランク境界線の推定位置と、前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補の候補位置と、を比較することにより評価値を決定するとともに、前記評価値が閾値以上であるか否かを判定し、前記評価値が閾値以上であるときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークであると検定する処理をコンピュータに実行させることを特徴とする請求項１７乃至１９のいずれか一に記載の画像処理用プログラム。
  21. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、前記評価値が閾値以上でないときに前記ラテラル境界線候補及び前記ペイント−ブランク境界線候補がレーンマークでないと検定する処理をコンピュータに実行させることを特徴とする請求項２０記載の画像処理用プログラム。
  22. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記閾値を下げて検定する処理をコンピュータに実行させることを特徴とする請求項２０又は２１記載の画像処理用プログラム。
  23. 前記評価値は、前記推定位置をμとする正規分布によって決定され、
    前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、所定時間経過又は所定距離走行したにもかかわらず継続してレーンマークでないと検定されたときに、前記正規分布の分散を大きくして検定する処理をコンピュータに実行させることを特徴とする請求項２０又は２１記載の画像処理用プログラム。
  24. 前記レーンマークのラテラル境界線及びペイント−ブランク境界線であるか否かを検定する際、検定時点において推定情報が記憶されていないときに、予め記憶されたレーンマークの線幅、ペイント領域長、及びブランク領域長を含む事前情報を用いて検定する処理をコンピュータに実行させることを特徴とする請求項１７乃至２３のいずれか一に記載の画像処理用プログラム。
JP2011518445A 2009-06-02 2010-06-01 画像処理装置、画像処理方法、及び画像処理用プログラム Active JP5293815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011518445A JP5293815B2 (ja) 2009-06-02 2010-06-01 画像処理装置、画像処理方法、及び画像処理用プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009133223 2009-06-02
JP2009133223 2009-06-02
JP2011518445A JP5293815B2 (ja) 2009-06-02 2010-06-01 画像処理装置、画像処理方法、及び画像処理用プログラム
PCT/JP2010/059238 WO2010140578A1 (ja) 2009-06-02 2010-06-01 画像処理装置、画像処理方法、及び画像処理用プログラム

Publications (2)

Publication Number Publication Date
JPWO2010140578A1 JPWO2010140578A1 (ja) 2012-11-22
JP5293815B2 true JP5293815B2 (ja) 2013-09-18

Family

ID=43297712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011518445A Active JP5293815B2 (ja) 2009-06-02 2010-06-01 画像処理装置、画像処理方法、及び画像処理用プログラム

Country Status (3)

Country Link
US (1) US8687896B2 (ja)
JP (1) JP5293815B2 (ja)
WO (1) WO2010140578A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133257A (ko) * 2015-05-12 2016-11-22 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2720213A4 (en) * 2011-06-13 2015-03-11 Nissan Motor DEVICE FOR DETERMINING A ROAD PROFILE, VEHICLE INTERNAL IMAGE RECOGNITION DEVICE, APPARATUS FOR ADJUSTING A PICTURE BASE AXIS AND TRACE RECOGNITION METHOD
JP5780140B2 (ja) * 2011-12-02 2015-09-16 富士通株式会社 道路形状推定装置及びプログラム
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
US8989515B2 (en) * 2012-01-12 2015-03-24 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US20130202155A1 (en) * 2012-02-03 2013-08-08 Gopal Gudhur Karanam Low-cost lane marker detection
JP5846034B2 (ja) * 2012-04-27 2016-01-20 株式会社デンソー 境界線検出装置、逸脱検出装置および境界線検出プログラム
JP5958368B2 (ja) * 2013-01-31 2016-07-27 トヨタ自動車株式会社 白線検出装置
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US8972093B2 (en) * 2013-04-08 2015-03-03 Toyota Motor Engineering & Manufacturing North America, Inc. Lane-based localization
US9224053B1 (en) * 2013-07-31 2015-12-29 Google Inc. Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US9677897B2 (en) 2013-11-13 2017-06-13 Elwha Llc Dead reckoning system for vehicles
US9412028B2 (en) 2013-11-13 2016-08-09 Elwha Llc Wheel slip or spin notification
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
US20160110599A1 (en) * 2014-10-20 2016-04-21 Lexmark International Technology, SA Document Classification with Prominent Objects
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US11120293B1 (en) * 2017-11-27 2021-09-14 Amazon Technologies, Inc. Automated indexing of media content
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN108985272B (zh) * 2018-08-17 2021-11-23 广东创图文化传媒有限公司 基于反射与透视图像融合的高可信度书画备案鉴证方法
CN117058647B (zh) * 2023-10-13 2024-01-23 腾讯科技（深圳）有限公司 车道线处理方法、装置和设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168198A (ja) * 2001-11-30 2003-06-13 Toyota Motor Corp 車両用走路判定装置および車両制御装置
JP2003308534A (ja) * 2002-04-18 2003-10-31 Denso Corp 白線認識装置
JP2004326559A (ja) * 2003-04-25 2004-11-18 Nissan Motor Co Ltd 車線区分線検出装置
JP2009009331A (ja) * 2007-06-27 2009-01-15 Nissan Motor Co Ltd 白線検出装置および白線検出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302346A (ja) 1994-05-06 1995-11-14 Nippon Soken Inc 路面の白線検出方法
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP4950858B2 (ja) * 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168198A (ja) * 2001-11-30 2003-06-13 Toyota Motor Corp 車両用走路判定装置および車両制御装置
JP2003308534A (ja) * 2002-04-18 2003-10-31 Denso Corp 白線認識装置
JP2004326559A (ja) * 2003-04-25 2004-11-18 Nissan Motor Co Ltd 車線区分線検出装置
JP2009009331A (ja) * 2007-06-27 2009-01-15 Nissan Motor Co Ltd 白線検出装置および白線検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133257A (ko) * 2015-05-12 2016-11-22 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법
KR101721442B1 (ko) * 2015-05-12 2017-03-30 주식회사 엠브레인 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템 및 충돌방지방법

Also Published As

Publication number Publication date
JPWO2010140578A1 (ja) 2012-11-22
US20120070088A1 (en) 2012-03-22
WO2010140578A1 (ja) 2010-12-09
US8687896B2 (en) 2014-04-01

Similar Documents

Publication Publication Date Title
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
CN110555361B (zh) 车道分类的图像处理方法
JP4607193B2 (ja) 車両及びレーンマーク検出装置
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
EP3057063A1 (en) Object detection device and vehicle using same
US20130208945A1 (en) Method for the detection and tracking of lane markings
US9965690B2 (en) On-vehicle control device
CN104834889A (zh) 标志线检测系统和标志线检测方法
WO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
JP5834933B2 (ja) 車両位置算出装置
US10521915B2 (en) Distance measurement device and distance measurement method
WO2014132490A1 (ja) 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
WO2014002692A1 (ja) ステレオカメラ
JP2010102427A (ja) 車線区画線検出装置、車線区画線検出方法、及び車線区画線検出プログラム
JP2011022995A (ja) 消失点推定装置およびプログラム
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
CN105320930A (zh) 对象物识别装置
JP2010020476A (ja) 物体検出装置及び物体検出方法
JP2008225784A (ja) 消失点抽出装置
JP2019218022A (ja) 線路検出装置
JP7043787B2 (ja) 対象物検知システム
JP5891802B2 (ja) 車両位置算出装置
JP2016162130A (ja) 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Ref document number: 5293815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150