JP6064648B2 - 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 Download PDFInfo
- Publication number
- JP6064648B2 JP6064648B2 JP2013026467A JP2013026467A JP6064648B2 JP 6064648 B2 JP6064648 B2 JP 6064648B2 JP 2013026467 A JP2013026467 A JP 2013026467A JP 2013026467 A JP2013026467 A JP 2013026467A JP 6064648 B2 JP6064648 B2 JP 6064648B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image processing
- boundary
- image
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
たとえば、進行方向に対して路面の左側が低く、右側が高くなるように傾斜している場合がある。この場合、路面の左側の白線より右側にある小領域は左側の白線より高い位置にあることになる。このような路面を走行しているときに撮像された画像に基づいて、特許文献1に記載の技術を用いて画像内の小領域が路面であるか否かを判定しようとすると、ステレオ画像処理装置は白線を道路の平面として、その平面より高い位置にある撮像物は立体物であると判定する。すなわち、左側の白線より右側の小領域は左側の白線より高い位置にあるため立体物であると判定されてしまう。
このように、画像内の小領域が路面であるか否かを正確に判定することができないという課題が発生している。
まず、本発明の実施形態における画像処理システム1のハードウェア構成について説明する。図1は本実施形態に係る画像処理システム1を搭載した自動車を表す概念図である。図1(1)は画像処理システム1が設けられている車両等の一例である自動車の側面の概観図である。図1(2)は図1(1)に表されている自動車の前面の概観図である。図2は、画像処理システム1のハードウェア構成図である。
次に、本実施形態の画像処理システム1の機能構成について説明する。図3は、画像処理システム1の機能構成図である。画像処理システム1は、撮像部51、信号変換部52、視差算出部53、距離算出部54、白線検出部55、白線視差決定部56、及び路面判定部57を有している。これら各部は、図2に示されている各構成要素のいずれかが、FPGA31によって、又はROM33に記憶されているプログラムに従ったCPU32によって実現される機能又は手段である。
視差算出部53は各小領域に撮像されている被写体の視差dxyを算出する。ここで図5を用いて視差dxyについて説明する。図5は、距離Zを算出する原理を説明するための図である。まず、図5で示される撮像装置10a、撮像装置10bによって撮像された撮像画像をそれぞれ基準画像Ia、比較画像Ibとする。また、撮像画像における各小領域の位置は図4(2)に示されるように座標(x,y)(x=1〜1280、y=1〜960)で表されるとする。なお、基準画像Iaにおいて図4(2)に示されるx軸方向を画像の水平方向、y軸方向を画像の鉛直方向という。
距離算出部54は、視差算出部53によって算出された視差dxyを用いて距離Zを算出する。距離Zとは撮像レンズ11aのレンズ面と撮像レンズ11bのレンズ面を含む面から被写体までの距離である。具体的には、図5に示されるように撮像レンズ11a及び撮像レンズ11bの焦点距離f、撮像レンズ11aと撮像レンズ11bの間の長さである基線長B、及び視差dxyを用いて、距離算出部54が距離Z=(B×f)/dと算出する。なお、基線長B、焦点距離fは一例としてそれぞれ5〜30(cm)、4〜15(mm)とすればよい。
白線検出部55は、基準画像Iaに撮像されている路面上の白線の視差dwを決定するもので、図3に示されるようにエッジ候補検出部551、回帰直線算出部552を有している。ここで、白線とは、一般の路面において描かれている白線を表す画像の部分である。すなわち、本実施形態における白線とは、一次元の線ではなくx軸方向に幅をもった帯状の部分をいう。
エッジ候補検出部551は、基準画像Iaに撮像されている白線のエッジ(以降、白線エッジという)を表す小領域の候補(以降、白線エッジ候補領域Peという)を検出する。図6を用いてエッジ候補検出部551の機能について説明する。図6は基準画像Iaの一部を拡大した図である。図6(1)は図4(1)の一部である部分Aを拡大して表しているものであり、白色で表される部分は基準画像Iaにおける白線の一部を表し、斜線で表される部分は基準画像Iaにおける白線以外の路面の一部を表している。
回帰直線算出部552はエッジ候補検出部551によって検出された白線エッジ候補領域Peのy座標と視差deの回帰直線を算出する。ここで、回帰直線算出部552の機能について図7を用いて説明する。図7は白線エッジ候補領域Peの位置を表すy座標とその位置における視差deの対応関係を表す図である。図7においては縦軸にy座標、横軸に視差deが示され、左側の白線エッジ候補領域Pel群の各y座標に対応する視差delが点で表されている。これらの点に対して、回帰直線算出部552は公知の回帰直線算出方法であるHough変換によって回帰直線line1を決定する。
白線視差決定部56は回帰直線line1上にある視差delを左側の白線領域における視差である左白線視差dwlとして決定する。同様にして白線視差決定部56は回帰直線line2上にある視差derを右側の白線領域における視差である右白線視差dwrとして決定する。
路面判定部57は、基準画像Iaを形成する各小領域Pxyが路面を表すものであるか否かを判定する。具体的には、路面判定部57は所定の各小領域Pxyに対応する視差dxyと小領域Pxyのy座標との関係を図7上に表した場合に、回帰直線line1と回帰直線line2の間にあるか否かを判定する。
続いて、図8乃至図11を用いて、本実施形態に係る画像処理システムの動作について説明する。なお、図8は、画像処理システム1の処理の概要を表すフロー図である。図9は、信号変換部52の処理を表すフロー図である。図10は、白線検出部55及び白線視差決定部56の処理を表すフロー図である。図11は、エッジ候補検出部551が白線エッジ候補領域Peを検出する処理を表すフロー図である。
図8に示されるように、まず、撮像部51が自動車の進行方向前方の光景を撮像して撮像画像を生成する(ステップS1)。具体的には、撮像部51を実現する撮像レンズ11aが通過する光を屈折させ、絞り12aが撮像レンズ11aを通過した光の一部を遮ることによって光の量を調整する。そして、撮像レンズ11aから入力された光が結像され、画像センサ13aは結像された像を電気的なアナログの画像信号に変換する。また、撮像レンズ11b、絞り12b、画像センサ13bもそれぞれ撮像レンズ11a、絞り12a、画像センサ13aと同様に動作する。
続いて、信号変換部52がアナログの画像信号をデジタル形式の撮像画像データに変換する(ステップS2)。具体的には、図9に示されるように、まずCDS21aがアナログの画像信号を相関二重サンプリングしてノイズを除去する(ステップS21)。そして、AGC22aが、ノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う(ステップS22)。AGC22aによってアナログの画像信号が利得制御されると、ADC23aがアナログの画像信号をデジタル形式の撮像画像データに変換する(ステップS23)。ADC23aがアナログの画像信号を撮像画像データに変換すると、フレームメモリ24aは撮像画像データを記憶する。また、CDS21b、AGC22b、ADC23bもそれぞれCDS21a、AGC22a、ADC23aと同様に動作する。
図8に戻って、次に、視差算出部53は撮像画像データが表す撮像画像の各小領域について視差dxyを算出する(ステップS3)。具体的には、視差算出部53は、基準画像Iaにおいて被写体Sが撮像されている位置の座標(x,y)と、比較画像Ibにおいて被写体Sが撮像されている位置の座標(x’,y’)との距離である視差dxyを算出する(図5参照)。視差算出部53は、ステップS3における視差dxyの算出を基準画像Ia内における全ての座標(x,y)において行う。
ステップS3で視差算出部53が各小領域について視差dxyを算出すると、基準画像Iaについての左白線視差dwl、及び右白線視差dwrを白線視差決定部56が決定する(ステップS4)。
具体的には図10に示されるように、まずエッジ候補検出部551が基準画像Iaの白線エッジ候補領域Peを検出する(ステップS41)。エッジ候補検出部551は基準画像Iaにおいて、各小領域についてx軸方向に隣接する小領域にある画素との輝度差ΔL(x,y)=L(x,y)−L(x+1,y)を算出する。ΔL(x,y)が所定の閾値以上である、すなわち隣接する小領域どうしの輝度の差が大きい場合、その小領域はエッジにあたると考えられるからである。
次に、図10に戻って、回帰直線算出部552はエッジ候補検出部551によって検出された左白線エッジ候補領域Pelのy座標と視差deの回帰直線を算出する(ステップS42)。具体的には、白線エッジ候補領域Pelの各y座標と視差deについて、白線視差決定部56が公知の回帰直線算出方法であるHough変換によって回帰直線(図7のline1を参照)を決定する。
続いて、白線視差決定部56は各y座標における回帰直線line1上の視差dを各y座標の左白線視差dwlと決定する(ステップS43)。同様にして、白線視差決定部56は、右白線エッジ候補領域Perについても回帰直線の算出(図7のline2を参照)および右白線視差dwrの決定をする。(ステップS43)
基準画像Iaにおいて一般に真直ぐな路面に描画されている白線は直線であるため、このように回帰直線を算出することによって白線エッジ候補領域Peに含まれるノイズを除去することができ、左白線視差dwl及び右白線視差dwrを適切に決定することができる。これにより、距離Zを正確に算出することができる。
続いて、図8に戻って、路面判定部57は、基準画像Iaにおける各小領域が路面であるか否かを判定する(ステップS5)。
図12は画像処理システム1の機能構成図の他の例である。図13は基準画像Iaの一部を拡大した図である。上記の実施形態において、白線検出部55は図12に示されるように白線確度判定部553を有することによって、白線エッジ候補領域Peが白線エッジを表す小領域である確からしさ(以降、白線確度という。)を判定するとしてもよい。ここで、白線確度判定部553が白線確度を判定する処理について図13を用いて説明する。図13は図6に示される図と同様であり、エッジ候補検出部551によって検出された白線エッジ候補領域Pe群のうち、一の白線エッジ候補領域Pe、及びその白線エッジ候補領域Peに隣接する3つの小領域Pe1、Pe2、Pe3に符号を付したものである。
10 撮像装置
11 撮像レンズ
12 絞り
13 画像センサ
20 信号処理部
21 CDS
22 AGC
23 ADC
24 フレームメモリ
30 画像処理装置
31 DSP
32 CPU
33 ROM
34 RAM
50 画像処理部
51 撮像部
52 信号変換部
53 視差算出部
55 白線検出部
56 白線視差決定部
57 路面判定部
551 エッジ候補検出部
552 回帰直線算出部
553 白線確度判定部
Claims (9)
- 複数の境界が撮像された複数の画像を処理する画像処理装置であって、
前記複数の画像に基づいて画像内の小領域における視差である小領域視差を算出する小領域視差算出手段と、
前記画像に撮像されている境界領域を検出する境界領域検出手段と、
前記境界領域検出手段によって検出された境界領域の視差を決定する境界領域視差決定手段と、
前記境界領域の前記画像内における鉛直方向の位置と前記境界領域の視差とに基づいて回帰直線を算出する回帰直線算出手段と、
前記小領域視差と前記回帰直線に基づいて前記小領域が路面を表すか否かを判定する路面判定手段とを備え、
前記境界領域検出手段は、互いに異なる第一および第二の境界領域を検出し、
前記路面判定手段は、前記小領域視差と、前記第一および第二の境界領域にそれぞれ対応して算出された第一の前記回帰直線および第二の前記回帰直線とに基づいて、前記路面を表すか否かを判定することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記路面判定手段は、
前記視差と前記視差に係る小領域の前記画像内における鉛直方向の位置との関係を図に表した場合に、前記小領域が前記第一の回帰直線と前記第二の回帰直線の間にある場合、前記小領域が路面を表すものとして判定することを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記境界領域検出手段は、
前記画像を形成する画素の輝度に基づいて、前記境界領域を検出することを特徴とする画像処理装置。 - 請求項1乃至3のいずれか一項に記載の画像処理装置であって、
前記境界領域検出手段は、
隣接する画素の輝度の差が所定の閾値以上である画素がある小領域を境界領域の候補として検出するエッジ候補検出手段を有することを特徴とする画像処理装置。 - 請求項1乃至4のいずれかに一項に記載の画像処理装置であって、
前記境界領域検出手段は、
前記画像の中央の位置にある画素から、前記画像の水平方向の端部にある画素にむけて順に境界領域の候補であるか否かを判定することを特徴とする画像処理装置。 - 画像処理装置が複数の境界が撮像された複数の画像を処理する画像処理方法であって、
前記画像処理装置が
前記複数の画像に基づいて画像内の小領域における視差である小領域視差を算出する小領域視差算出工程と、
前記画像に撮像されている境界領域を検出する境界領域検出工程と、
前記境界領域検出工程によって検出された境界領域の視差を決定する境界領域視差決定工程と、
前記境界領域の前記画像内における鉛直方向の位置と前記境界領域の視差とに基づいて回帰直線を算出する回帰直線算出工程と、
前記小領域視差と前記回帰直線に基づいて前記小領域が路面を表すか否かを判定する路面判定工程とを実行し、
前記境界領域検出工程は、互いに異なる第一および第二の境界領域を検出し、
前記路面判定工程は、前記小領域視差と、前記第一および第二の境界領域にそれぞれ対応して算出された第一の前記回帰直線および第二の前記回帰直線とに基づいて、前記路面を表すか否かを判定することを特徴とする画像処理方法。 - 複数の境界が撮像された複数の画像を処理する画像処理装置が実行する画像処理プログラムであって、
前記複数の画像に基づいて画像内の小領域における視差である小領域視差を算出する小領域視差算出工程と、
前記画像に撮像されている境界領域を検出する境界領域検出工程と、
前記境界領域検出工程によって検出された境界領域の視差を決定する境界領域視差決定工程と、
前記境界領域の前記画像内における鉛直方向の位置と前記境界領域の視差とに基づいて回帰直線を算出する回帰直線算出工程と、
前記小領域視差と前記回帰直線に基づいて前記小領域が路面を表すか否かを判定する路面判定工程とを備え、
前記境界領域検出工程は、互いに異なる第一および第二の境界領域を検出し、
前記路面判定工程は、前記小領域視差と、前記第一および第二の境界領域にそれぞれ対応して算出された第一の前記回帰直線および第二の前記回帰直線とに基づいて、前記路面を表すか否かを判定することを画像処理装置に実行させるための画像処理プログラム。 - 画像を撮像する撮像装置と、
前記複数の画像に基づいて画像内の小領域における視差である小領域視差を算出する小領域視差算出手段と、
前記画像に撮像されている境界領域を検出する境界領域検出手段と、
前記境界領域検出手段によって検出された境界領域の視差を決定する境界領域視差決定手段と、
前記境界領域の前記画像内における鉛直方向の位置と前記境界領域の視差とに基づいて回帰直線を算出する回帰直線算出手段と、
前記小領域視差と前記回帰直線に基づいて前記小領域が路面を表すか否かを判定する路面判定手段とを備え、
前記境界領域検出手段は、互いに異なる第一および第二の境界領域を検出し、
前記路面判定手段は、前記小領域視差と、前記第一および第二の境界領域にそれぞれ対応して算出された第一の前記回帰直線および第二の前記回帰直線とに基づいて、前記路面を表すか否かを判定することを特徴とする画像処理装置と、
を含む画像処理システム。 - 請求項1乃至5のいずれか一項に記載の画像処理装置または請求項8に記載の画像処理システムを有することを特徴とする移動装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013026467A JP6064648B2 (ja) | 2013-01-09 | 2013-02-14 | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013001753 | 2013-01-09 | ||
JP2013001753 | 2013-01-09 | ||
JP2013026467A JP6064648B2 (ja) | 2013-01-09 | 2013-02-14 | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014149799A JP2014149799A (ja) | 2014-08-21 |
JP6064648B2 true JP6064648B2 (ja) | 2017-01-25 |
Family
ID=51572694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013026467A Active JP6064648B2 (ja) | 2013-01-09 | 2013-02-14 | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6064648B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3352655B2 (ja) * | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
JP2008309519A (ja) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | 画像処理を用いた物体検出装置 |
-
2013
- 2013-02-14 JP JP2013026467A patent/JP6064648B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014149799A (ja) | 2014-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6013884B2 (ja) | 物体検出装置及び物体検出方法 | |
US10776946B2 (en) | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium | |
JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP4416039B2 (ja) | 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム | |
US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2009110172A (ja) | 物体検出装置 | |
WO2015125296A1 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
JP6577595B2 (ja) | 車両用外界認識装置 | |
JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
JP2010286995A (ja) | 車両用画像処理システム | |
JP6032141B2 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP6064648B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
JP2020126304A (ja) | 車外物体検出装置 | |
JP6111732B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置 | |
JP6569416B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
JP6252727B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 | |
JP6719328B2 (ja) | 車外監視装置 | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP5822866B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161205 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6064648 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |