JPWO2012131947A1 - 画像処理装置、及び画像表示装置 - Google Patents

画像処理装置、及び画像表示装置 Download PDF

Info

Publication number
JPWO2012131947A1
JPWO2012131947A1 JP2013506951A JP2013506951A JPWO2012131947A1 JP WO2012131947 A1 JPWO2012131947 A1 JP WO2012131947A1 JP 2013506951 A JP2013506951 A JP 2013506951A JP 2013506951 A JP2013506951 A JP 2013506951A JP WO2012131947 A1 JPWO2012131947 A1 JP WO2012131947A1
Authority
JP
Japan
Prior art keywords
vehicle
lane
point
image
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013506951A
Other languages
English (en)
Other versions
JP5636493B2 (ja
Inventor
理 山崎
理 山崎
継介 伊藤
継介 伊藤
一茂 今井
一茂 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2012131947A1 publication Critical patent/JPWO2012131947A1/ja
Application granted granted Critical
Publication of JP5636493B2 publication Critical patent/JP5636493B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】カメラの取り付け誤差があっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行う。【解決手段】フロントカメラ1が撮像した前方画像中において、車両Vの走行車線に沿った進行方向に対応する進行方向点P3と、その時点の車両の車両軸方向に対応する車両軸方向点P2とを検出する。車両軸方向点P2に対する進行方向点P3の相対的な位置偏差ベクトルXの左右方向成分の方向と大きさは、当該車両Vが走行している走行車線のカーブの方向と曲率にほぼ対応していると見なせる。この位置偏差ベクトルVの左右方向成分の方向と大きさに対応した方向と回転角度で進行方向マークMdを生成し、前方画像中の前方車両に重畳することで、走行車線のカーブの曲率に正しく対応した支援表示を反映させることができる。

Description

本発明は、車両の進行方向の前方画像を解析及び加工により処理する画像処理装置、及び当該画像処理装置により処理された前方画像を表示する画像表示装置に関する。
近年では、車両に搭載されたカメラで周囲の画像を撮像し、その撮像した画像を解析することで当該車両の周囲の状況を検出する技術が提案されている。
例えば、特許文献1に記載されているように、車両の走行方向の前方画像を撮像し、当該前方画像中に映し出されている走行車線の両側の白線を認識して、それら白線の形状の近似式から当該走行車線のカーブの曲率などを算出する。そしてこの従来技術では、走行車線のカーブの曲率に対応してステアリング装置に付加する操舵力を制御することで、現在の走行車線上での当該車両の走行を維持できるよう運転を支援する。
特開2008−305319号公報([0026]〜[0030])
例えばユーザー自身の手作業によって車両にカメラを取り付ける場合や、カメラの固定位置や姿勢が動く可能性がある場合には、当該カメラの撮像方向が規定の方向からズレやすくなる。この場合、同じ走行車線のカーブに対してもカメラの撮像方向の誤差によって前方画像中での白線の形状が異なってしまうため、上記従来技術では走行車線のカーブの曲率を正確に算出することが困難となる。そのため、カメラの取り付け誤差があっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行える技術が要望されていた。
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
上記課題を解決するために、請求項1記載の発明は、車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両の車両軸方向に対応する車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
上記課題を解決するために、請求項9記載の発明は、請求項8記載の画像処理装置が処理した前記前方画像を表示する表示装置であって、前記位置偏差検出手段が検出した前記位置偏差を反映した表示態様の印画像と前記前方画像とを重畳表示する重畳表示手段、を有する。
本発明の画像処理装置及び画像表示装置を含む実施形態の運転支援システムを搭載した車両の構成例を示す斜視図である。 実施形態の運転支援システムのシステム構成を示すブロック図である。 運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。 図3に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である 車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。 進行方向マークを含んだ車両マークの一例を表した図である。 位置偏差ベクトルとそれを反映させた車両マークの重畳表示例を表した図である。 車両マークを前方車両の画像部分に重畳した前方画像のディスプレイ上での表示例を表した図である。 イメージングユニットのCPUが実行する制御内容を表すフローチャートである。 進行方向マークを前方車両の画像部分以外に重畳した前方画像のディスプレイ上での表示例を表した図である。 車線消失点を進行方向点に適用し、平均消失点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。 車線消失点を進行方向点に適用し、前方車両中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。 前方車両中心点、及び平均中心点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。 前方車両中心点を進行方向点に適用し、平均中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。 車線消失点を進行方向点に適用し、平均中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。
以下、本発明の実施形態を図面を参照しつつ説明する。
図1は、本発明の画像処理装置及び画像表示装置を含む本実施形態の運転支援システムを搭載した車両の構成例を示す斜視図である。この図1において、運転支援システムSは、車両Vの車内天井におけるルームミラー101の裏面にフロントカメラ1を設けている。なお、ルームミラー101は一般的なものと同等にその取り付け姿勢が可動となっており、その姿勢の可動範囲内では、フロントカメラ1の撮像方向は当該車両Vの進行方向の前方を撮像可能な範囲に収まる。また、このフロントカメラ1の撮像方向Dcの可動範囲内では、当該車両の中央前後方向を貫く車両軸の方向Dvを撮像範囲から外さない。
図2は、運転支援システムSのハードウェア構成例を示すブロック図である。この図2において、運転支援システムSは、フロントカメラ1、イメージングユニット2、ディスプレイ3を有している。
フロントカメラ1は撮像手段に相当し、例えばCCD撮像素子などを利用して、上述した当該車両の進行方向の前方画像を撮像し、対応する信号をイメージングユニット2のCPU(後述)へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ1が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
ディスプレイ3は画像表示装置及び前方画像表示手段に相当し、例えばLCDパネルなどで構成されて、イメージングユニット2のグラフィックコントローラ(後述)から入力された画像信号に基づいて前方画像を表示する機能を有する。
イメージングユニット2は画像処理装置に相当し、CPU11、記憶装置12、ナビゲーション装置13、車速センサ14、グラフィックコントローラ15を有している。
CPU11は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、運転支援システム全体を制御する機能を有する。
記憶装置12は、ROM12a、RAM12b、及び記憶媒体12cを有する。ROM12aは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。RAM12bは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体12cは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
ナビゲーション装置13はナビゲーション手段に相当し、GPSセンサ(特に図示せず)を利用して車両の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
車速センサ14は、自車の走行速度を検出する機能(言い換えれば走行していることを検出する機能)を有する。CPU11は、この車速センサ14の検出信号に基づき、当該自動車が走行中の状態であるか、停止中の状態であるかを識別することができる。
グラフィックコントローラ15は、CPU11の制御によってビデオRAM(図示せず)及び上記ナビゲーション装置13などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ2に表示させる機能を有する。
図3は、運転室から見た車窓風景及びこれに対応するディスプレイ3の表示の一例を示す図である。この図3に示す例において、インストゥルメントパネル102の中央位置に上記ディスプレイ3が配置されており、また図中の右側が運転席に対応して、その前方にステアリングホィール103が配置されている。
図示する例では、当該車両Vはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Vfに追従している状態を示している。ルームミラー101は運転者へ向けて視線が少しだけ斜めに向いている。このルームミラー101の裏側(進行方向側)に備えられているフロントカメラ1は、上記直線の走行車線と前方車両Vfを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ1の撮像範囲は当該車両Vの車両軸方向Dvを外さずに含んでいる。そして、ディスプレイ3は、フロントカメラ1が撮像した前方画像を表示している。
ここで、上述したようにルームミラー101とともにフロントカメラ1の取り付け姿勢が可動であって、その撮像方向Dcが車両軸方向Dvと平行な配置関係にない場合には、走行車線がカーブしている際に前方画像の解析だけではそのカーブの曲率を正確に算出することが難しくなる。これは、ユーザーがフロントカメラ1を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じうる。そこで本実施形態では、走行車線のカーブの曲率を正確に算出する代わりに、運転者の運転を支援できる程度でカーブの曲率に正しく対応した支援表示を当該前方画像に重畳させて表示する。以下、そのような支援表示の生成手法及び表示例を順次説明する。
まず、図4は、上記図3に示した姿勢状態のフロントカメラ1が撮像した前方画像をディスプレイ3に表示した場合の表示例を表している。この図4において、ディスプレイ3の表示領域の中心位置、つまり図中の縦方向、横方向それぞれの中心線Lv,Llの交点位置が、車両軸方向Dvから離れている。このため、前方画像は中心線Llに対する左右方向の対称性を損なっており、実際の走行車線が同じ曲率の右カーブと左カーブに変わっても、前方画像上ではそれぞれ異なる曲率で写り込む(図示省略)。
これに対し、図示する例のように直線状の走行車線を走行している際に撮像した前方画像中においては、前方車両Vfがほぼ車両軸方向Dvの延長上に位置する。また、走行車線の無限遠方点に相当する車線消失点P1も、当該走行車線が直線状である場合には車両軸方向Dvの延長上に位置する。このように、前方画像中において車両軸方向Dvの延長上に対応する位置にある点を、以下において車両軸方向点という。
上記車線消失点P1を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する2本の車線輪郭線Lrとして認識する。そして、これら2本の車線輪郭線Lrの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点P1として検出される。
ここで例えば図5に示すように、走行車線がカーブ状である場合には、上記2本の車線輪郭線Lrも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Vの手前側の曲率を優先して2本の車線輪郭線Lrが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点P1として検出される。
当該車両Vが多様な形状の走行車線を長く走行し、上記車線消失点P1を多数検出して記録した場合には、それら車線消失点P1の平均位置に位置する平均消失点P2は統計的に車両軸方向Dvの延長上に近接する。つまり、平均消失点P2は、上述した車両軸方向点と同等に見なせる。
また本実施形態では、前方画像中において当該車両Vに最も近い前方車両Vfに、図6に示すような車両マークMvを重畳させてディスプレイ3に表示する。図6において、車両マークMvはその中心位置が視認しやすいよう構成された幾何形状の模様である。また、この車両マークMvには、中心位置に対して回転可能な進行方向マークMdが含まれている。この進行方向マークMdは印画像に相当し、図示する例では、正三角形の各辺のうち各頂点部の近傍部分だけを残した形状となっている。
このような車両マークMvを、図7に示すような態様で前方車両Vfに重畳させる。例えば、図7(a)に示すように走行車線が左カーブである場合には、イメージングユニット2のCPU11が前方画像中における前方車両Vfの画像部分を認識して、その中心位置に位置する前方車両中心点P3を検出する。前方画像上におけるこの前方車両中心点P3は、上記車両軸方向点(この例の平均消失点P2)に対し、走行車線に沿った当該車両Vの進行方向の側に位置する。このように、前方画像中において当該車両Vの走行車線に沿った進行方向に対応する点を、以下において進行方向点という。
そして、イメージングユニット2のCPU11は、車両軸方向点に対する進行方向点の相対的な位置偏差ベクトルXを検出する。すなわちこの例では、上記平均消失点P2に対する前方車両中心点P3の相対的な位置偏差ベクトルを検出する。この位置偏差ベクトルXの左右方向成分の方向と大きさは、当該走行車線のカーブの方向と曲率にほぼ対応していると見なせる。本実施形態では、この位置偏差ベクトルXの左右方向成分の方向と大きさに対応して回転させた進行方向マークMdを含む車両マークMvを生成し、この車両マークMvを前方車両中心点P3の位置に重畳表示させる。
これにより、図7(a)に示す左カーブの場合には、進行方向マークMdを反時計方向に回転させた車両マークMvが重畳表示される。また、図7(b)に示す右カーブの場合には、進行方向マークMdを時計方向に回転させた車両マークMvが重畳表示される。なお、それぞれの進行方向マークMdの回転角度は、位置偏差ベクトルXの左右方向成分の大きさに比例する。
図8は、このような車両マークMvを前方車両中心点P3の位置に重畳した前方画像のディスプレイ3上での表示例を表している。運転者は、車両マークMvにより前方車両Vfの存在をより明確に目視することができる。さらに、車両マークMvに含まれる進行方向マークMdの回転角度に合わせてステアリングホィール103を操舵することで、実際の走行車線におけるカーブの方向と曲率に対応した操舵が可能となる。
図9は、以上説明した動作態様を実現するために、イメージングユニット2のCPU11が実行する制御内容を表すフローチャートである。なお、このフローは、当該車両の走行中でフロントカメラ1が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
図9において、まずステップS5において、フロントカメラ1で前方画像を撮像する。
次にステップS10へ移り、上記ステップS5で撮像した前方画像中において、現在の走行車線における2本の車線輪郭線Lrを認識する。なお、このステップS10の手順が、車両輪郭線認識手段に相当する。
次にステップS15へ移り、上記ステップS10で認識した2本の車線輪郭線Lrに基づいて、現在の走行車線における車線消失点P1を検出する。なお、このステップS15の手順が、車線消失点検出手段に相当する。
次にステップS20へ移り、上記ステップS15で検出した車線消失点P1を記憶媒体12cに蓄積するよう追加記録する。
次にステップS25へ移り、記憶媒体12cに記録されている全ての車線消失点P1を読み出す。
次にステップS30へ移り、上記ステップS25で読み出した全ての車線消失点P1の平均位置に位置する平均消失点P2を検出する。なお、このステップS30の手順が、車両軸方向点検出手段及び平均消失点検出手段に相当する。
次にステップS35へ移り、上記ステップS5で撮像した前方画像において、当該車両Vと同じ走行車線上で最も近い前方車両Vfの画像部分を認識する。なお、このステップS35の手順が、前方車両認識手段に相当する。
次にステップS40へ移り、上記ステップS35で検出した前方車両Vfの画像部分の中心点、つまり前方車両中心点P3を検出する。なお、このステップS40の手順が、進行方向点検出手段に相当する。
次にステップS45へ移り、上記ステップS30で検出した平均消失点P2に対する、上記ステップS40で検出した前方車両中心点P3の相対的な位置偏差ベクトルXを検出する。なお、このステップS45の手順が、位置偏差検出手段に相当する。
次にステップS50へ移り、上記ステップS45で検出した位置偏差ベクトルXの左右方向成分を検出し、この左右方向成分の方向と大きさに対応して進行方向マークMdを回転させた車両マークMvを生成する。
次にステップS55へ移り、上記ステップS50で生成した車両マークMvを、上記ステップS40で検出した前方車両中心点P3の位置に重畳させるよう前方画像を加工する。なお、上記ステップS50の手順とこのステップS55の手順が、前方画像加工手段に相当する。また、CPU11は必要なデータと指令をグラフィックコントローラ15に送信し、実際の加工処理はグラフィックコントローラ15が行う。
次にステップS60へ移り、上記ステップS55で加工した前方画像をディスプレイ3に表示させる。なお、CPU11はグラフィックコントローラ15に対して指令を送信し、グラフィックコントローラ15に加工済みの前方画像の画像データをディスプレイ3に出力させる。そして、このフローを終了する。
なお、ステップS5のあと、ステップS35〜S40を実行してから、ステップS10〜ステップS30を実行し、ステップS45以降の処理を実行してもよい。
以上説明したように、上記実施形態の運転支援システムSが備えるイメージングユニット2においては、車両Vに搭載したフロントカメラ1(撮像手段に相当)により当該車両Vの進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行うイメージングユニット2(画像処理装置に相当)であって、前記前方画像中において、当該車両Vの走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両Vの車両軸方向Dvに対応する車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差ベクトルX(位置偏差に相当)を検出する位置偏差検出手段と、前記位置偏差ベクトルXに対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
このようにすると、前方画像中における進行方向点の位置は、当該車両Vが進行する予定方向のおおよその指標位置と見なすことができ、前方画像中における車両軸方向点の位置は、当該車両Vがその時点で向いている方向のおおよその指標位置と見なすことができる。これにより、車両軸方向点に対する進行方向点の相対的な位置偏差ベクトルXの方向と大きさは、当該車両Vが走行している走行車線のカーブの方向と曲率にほぼ対応していると見なせる。従って、この位置偏差ベクトルXに対応した表示態様で前方画像を加工することで、走行車線のカーブの曲率に正しく対応した支援表示を反映させることができる。そしてこの画像処理は、フロントカメラ1の撮像方向Dcと車両軸方向Dvとの間の偏差の影響を受けずに、前方画像の画像内容の解析と加工だけで行える。この結果、カメラの取り付け誤差が多少あっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行える。
また、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Vの走行車線における前方車両Vfの画像部分を認識する前方車両認識手段を有し、前記進行方向点検出手段は、前記前方車両Vfの画像部分中に前記進行方向点を検出する。
このようにすると、前方画像中において車両軸方向点に対し進行方向側に相対的に位置する前方車両Vfの位置を進行方向点として検出できるため、位置偏差ベクトルXをほぼ正しく検出することができる。
また、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像加工手段は、所定の情報を反映した表示態様の進行方向マークMd(印画像に相当)を重畳するよう前記前方画像を加工する。
このようにすると、運転者は、前方画像中において通常では目視しにくい情報も併せて認識できる。
なお、上記図8の表示例では、進行方向マークMdを含む車両マークMv全体を前方車両中心点P3の位置、つまり前方車両Vfの画像部分上に重畳させていた。この場合には、車両マークMvにより前方車両Vfの存在をより明確に目視できるとともに、視点をほとんど動かすことなく進行マークMdによる情報も併せて認識できた。しかし、本発明はこれに限られず、例えば上記図8に対応する図10に示すように、進行方向マークMdを含む部分Mv1と、含まない部分Mv2とに車両マークMvを分解してそれぞれ異なる配置で表示させてもよい。図示する例では、進行方向マークMdを含まない部分Mv2を前方車両Vfの画像部分上に重畳させ、進行方向マークMdを含む部分Mv1を前方画像の左上の定位置に配置して重畳させている。この場合には、部分Mv2により前方車両Vfの存在をより明確に目視できるとともに、それとは別に部分Mv1に含まれる進行方向マークMdを前方車両Vfから離れた固定位置で明確に表示できる。
また、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像加工手段は、前記所定の情報として前記位置偏差を前記進行方向マークMdの表示態様に反映させる。
このようにすると、進行方向マークMdの表示態様(上記実施形態の例では回転角度)に合わせてステアリングホィール103を操舵することで、実際の走行車線におけるカーブの方向と曲率に対応した操舵が可能となる。
また、上記実施形態の運転支援システムSにおけるディスプレイ3においては、前記前方画像加工手段により前記進行方向マークMdが重畳された前記前方画像を表示する前方画像表示手段、を有する。
このようにすると、運転者の運転を支援する進行方向マークMdを重畳した前方画像の表示を具現化できる。
また、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Vの走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線Lrを認識する車線輪郭線認識手段と、前記2本の車線輪郭線Lrのそれぞれの前記進行方向の延長線上の交点を車線消失点P1として検出する車線消失点検出手段と、前記車線消失点検出手段が過去に検出した複数の前記車線消失点P1のそれぞれの平均位置に位置する平均消失点P2を検出する平均消失点検出手段と、を有し、前記車両軸方向点検出手段は、前記平均消失点P2を前記車両軸方向点として検出する。
このようにすると、前方画像中において車両軸方向Dvに対応する位置の平均消失点P2を車両軸方向点として検出できるため、位置偏差ベクトルXをほぼ正しく検出することができる。
なお、上記実施形態では、車線消失点P1を多様な走行車線で検出して、それらの平均位置にある平均消失点P2を車両軸方向点として検出したが、本発明はこれに限られない。例えば、イメージングユニット2のナビゲーション装置13を利用して、当該車両Vがその時点で略直線状の走行車線を走行していると検知した際にフロントカメラ1が撮像した前方画像で検出した車線消失点P1を車両軸方向点として検出してもよい。
このようにして、運転支援システムSが備えるイメージングユニット2においては、上述した基本構成に加えてさらに、前記前方画像中において、当該車両Vの走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線Lrを認識する車線輪郭線認識手段と、前記2本の車線輪郭線Lrのそれぞれの前記進行方向の延長線上の交点を車線消失点P1として検出する車線消失点検出手段と、を有し、前記車線消失点検出手段は、当該車両Vが過去に略直線状の走行車線を走行した際にフロントカメラ1が撮像した前方画像中で前記車線消失点P1を検出し、前記車両軸方向点検出手段は、前記車線消失点P1を前記車両軸方向点として検出してもよい。
このようにすると、車両軸方向Dvに近接する車線消失点P1だけを直接検出でき、そのまま車両軸方向点として容易に検出できる。
またこのようにして、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、その時点で当該車両Vが位置している現在位置情報と地図情報とを取得可能なナビゲーション装置13(ナビゲーション手段に相当)を有しており、前記車線消失点検出手段は、前記ナビゲーション装置13により当該車両Vがその時点で前記略直線状の走行車線を走行していると検知した際にフロントカメラ1が撮像した前方画像中で前記車線消失点P1を検出してもよい。
このようにすると、略直線状の走行車線を高い精度で検知し、対応する車線消失点P1を正確に検出できる。
なお、上記実施形態では、前方車両中心点P3を進行方向点に適用し、平均消失点P2を車両軸方向点に適用して位置偏差ベクトルXを検出したが、本発明はこれに限られない。例えば上記図7(a)に対応する図11に示すように、車線消失点P1を進行方向点に適用し、平均消失点P2を車両軸方向点に適用して位置偏差ベクトルXを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
このようにして、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Vの走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線Lrを認識する車線輪郭線認識手段と、前記2本の車線輪郭線Lrのそれぞれの前記進行方向の延長線上の交点を車線消失点P1として検出する車線消失点検出手段と、を有し、前記進行方向点検出手段は、前記車線消失点P1を前記進行方向点として検出してもよい。
このようにすると、前方車両が存在しない場合でも、前方画像中において車両軸方向点に対し進行方向側に相対的に位置する車線消失点P1の位置を進行方向点として検出できるため、位置偏差ベクトルXをほぼ正しく検出することができる。
また同様にして、上記図7(a)に対応する図12に示すように、車線消失点P1を進行方向点に適用し、前方車両中心点P3を車両軸方向点に適用して位置偏差ベクトルXを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
また、上記図5に対応する図13に示すように、当該車両Vが多様な形状の走行車線を長く走行し、前方車両中心点P3を多数検出して記録した場合には、それら前方車両中心点P3の平均位置に位置する平均中心点P4もまた統計的に車両軸方向Dvの延長上に近接する。つまり、平均中心点P4は、上述した車両軸方向点と同等に見なせる。
これにより、例えば上記図7(a)に対応する図14に示すように、前方車両中心点P3を進行方向点に適用し、平均中心点P4を車両軸方向点に適用して位置偏差ベクトルXを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
また同様にして、上記図7(a)に対応する図15に示すように、車線消失点P1を進行方向点に適用し、平均中心点P4を車両軸方向点に適用して位置偏差ベクトルXを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
1 フロントカメラ(撮像手段に相当)
2 イメージングユニット(画像処理装置に相当)
3 ディスプレイ(画像表示装置に相当)
11 CPU
13 ナビゲーション装置(ナビゲーション手段に相当)
15 グラフィックコントローラ
Dc 撮像方向
Dv 車両軸方向
Lr 車線輪郭線
Mv 車両マーク
Md 進行方向マーク(印画像に相当)
P1 車線消失点
P2 平均消失点
P3 車両中心点
P4 平均中心点
S 運転支援システム
V 車両
Vf 前方車両
X 位置偏差ベクトル(位置偏差に相当)
上記課題を解決するために、請求項1記載の発明は、車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する位置にある進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両の車両軸方向の延長上に対応する位置にある車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
以上説明したように、上記実施形態の運転支援システムSが備えるイメージングユニット2においては、車両Vに搭載したフロントカメラ1(撮像手段に相当)により当該車両Vの進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行うイメージングユニット2(画像処理装置に相当)であって、前記前方画像中において、当該車両Vの走行車線に沿った進行方向に対応する位置にある進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両Vの車両軸方向Dvの延長上に対応する位置にある車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差ベクトルX(位置偏差に相当)を検出する位置偏差検出手段と、前記位置偏差ベクトルXに対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
また、運転支援システムSが備えるイメージングユニット2においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Vの走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線Lrを認識する車線輪郭線認識手段と、前記2本の車線輪郭線Lrのそれぞれの前記進行方向の延長線上の交点を車線消失点P1として検出する車線消失点検出手段と、を有し、前記車両軸方向点検出手段は、前記車線消失点検出手段により、当該車両Vが過去に略直線状の走行車線を走行した際に検出された前記平均消失点P2を前記車両軸方向点として検出する。

Claims (9)

  1. 車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、
    前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、
    前記前方画像中において、その時点の当該車両の車両軸方向に対応する車両軸方向点を検出する車両軸方向点検出手段と、
    前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、
    前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する
    ことを特徴とする画像処理装置。
  2. 請求項1記載の画像処理装置において、
    前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線を認識する車線輪郭線認識手段と、
    前記2本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
    前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
    前記車両軸方向点検出手段は、前記平均消失点を前記車両軸方向点として検出する
    ことを特徴とする画像処理装置。
  3. 請求項1記載の画像処理装置において、
    前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線を認識する車線輪郭線認識手段と、
    前記2本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
    前記車線消失点検出手段は、当該車両が過去に略直線状の走行車線を走行した際に前記撮像手段が撮像した前方画像中で前記車線消失点を検出し、
    前記車両軸方向点検出手段は、前記車線消失点を前記車両軸方向点として検出する
    ことを特徴とする画像処理装置。
  4. 請求項3記載の画像処理装置において、
    その時点で当該車両が位置している現在位置情報と地図情報とを取得可能なナビゲーション手段を有しており、
    前記車線消失点検出手段は、前記ナビゲーション手段により当該車両がその時点で前記略直線状の走行車線を走行していると検知した際に前記撮像手段が撮像した前方画像中で前記車線消失点を検出する
    ことを特徴とする画像処理装置。
  5. 請求項2又は4記載の画像処理装置において、
    前記前方画像中において、当該車両の走行車線における前方車両の画像部分を認識する前方車両認識手段を有し、
    前記進行方向点検出手段は、前記前方車両の画像部分中に前記進行方向点を検出する
    ことを特徴とする画像処理装置。
  6. 請求項2又は4記載の画像処理装置において、
    前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する2本の車線輪郭線を認識する車線輪郭線認識手段と、
    前記2本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
    前記進行方向点検出手段は、前記車線消失点を前記進行方向点として検出する
    ことを特徴とする画像処理装置。
  7. 請求項5又は6記載の画像処理装置において、
    前記前方画像加工手段は、所定の情報を反映した表示態様の印画像を重畳するよう前記前方画像を加工する
    ことを特徴とする画像処理装置。
  8. 請求項7記載の画像処理装置において、
    前記前方画像加工手段は、前記所定の情報として前記位置偏差を前記印画像の表示態様に反映させる
    ことを特徴とする画像処理装置。
  9. 請求項8記載の画像処理装置が処理した前記前方画像を表示する画像表示装置であって、
    前記前方画像加工手段により前記印画像が重畳された前記前方画像を表示する前方画像表示手段、を有する
    ことを特徴とする画像表示装置。
JP2013506951A 2011-03-30 2011-03-30 画像処理装置、及び画像表示装置 Active JP5636493B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/058073 WO2012131947A1 (ja) 2011-03-30 2011-03-30 画像処理装置、及び画像表示装置

Publications (2)

Publication Number Publication Date
JPWO2012131947A1 true JPWO2012131947A1 (ja) 2014-07-24
JP5636493B2 JP5636493B2 (ja) 2014-12-03

Family

ID=46929771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506951A Active JP5636493B2 (ja) 2011-03-30 2011-03-30 画像処理装置、及び画像表示装置

Country Status (2)

Country Link
JP (1) JP5636493B2 (ja)
WO (1) WO2012131947A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162212A (ja) * 2015-03-02 2016-09-05 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体
JP2016159780A (ja) * 2015-03-02 2016-09-05 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体
CN106682563B (zh) * 2015-11-05 2018-10-23 腾讯科技(深圳)有限公司 一种车道线检测自适应调整方法及装置
CN108515927B (zh) * 2017-01-16 2020-12-01 杭州育锦科技有限公司 设置具有面部识别功能的移动支付装置的车辆
CN107657607B (zh) * 2017-09-21 2020-01-03 北京牡丹电子集团有限责任公司数字电视技术中心 一种测试追踪位置误差的方法和系统
KR102189299B1 (ko) * 2019-09-11 2020-12-11 한국도로공사 차량 번호판 인식 기반의 차로 검출 장치 및 방법
JP2020053083A (ja) * 2019-12-06 2020-04-02 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP3807651B2 (ja) * 1999-02-24 2006-08-09 三菱電機株式会社 白線認識装置
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004247979A (ja) * 2003-02-14 2004-09-02 Hitachi Ltd 車載用カメラ装置
JP2005145402A (ja) * 2003-11-20 2005-06-09 Mitsubishi Motors Corp 車両のレーンキープ制御装置
JP4733545B2 (ja) * 2006-03-27 2011-07-27 富士重工業株式会社 車線認識装置

Also Published As

Publication number Publication date
WO2012131947A1 (ja) 2012-10-04
JP5636493B2 (ja) 2014-12-03

Similar Documents

Publication Publication Date Title
JP5636493B2 (ja) 画像処理装置、及び画像表示装置
JP4940168B2 (ja) 駐車スペース認識装置
JP5893054B2 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP4815993B2 (ja) 駐車支援方法及び駐車支援装置
JP4604703B2 (ja) 駐車補助装置
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN103596812B (zh) 停车辅助装置
JP4533936B2 (ja) 画像処理装置、及びこれを備えた車両検知装置
JP2009017462A (ja) 運転支援システム及び車両
JP4869745B2 (ja) 俯角算出装置、俯角算出方法、俯角算出プログラムおよび画像処理装置
CN104854640A (zh) 探测并显示用于车辆的停车位的车辆侧方法和车辆侧设备
JP2003063340A (ja) 運転補助装置
JP2006298115A (ja) 運転支援方法及び運転支援装置
JP2013196387A (ja) 画像処理装置、及び画像処理方法
JP2007334859A (ja) 物体検出装置
JP4910787B2 (ja) 駐車支援装置および方法、駐車位置設定装置および方法、記録媒体、並びに、プログラム
WO2011013813A1 (ja) 車載装置および画像処理プログラム
JP2009071659A (ja) 駐車支援装置
JP5273068B2 (ja) 車両周辺監視装置
JPH0981757A (ja) 車両位置検出装置
JP2004326576A (ja) 運転支援装置
JP2009067292A (ja) 車載カメラシステム
JP4857159B2 (ja) 車両運転支援装置
JP2009220592A (ja) 車載用縦列駐車支援装置および車載用縦列駐車支援装置のプログラム
JP6597128B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141020

R150 Certificate of patent or registration of utility model

Ref document number: 5636493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150