JP6227318B2 - 障害物及び急斜面を検出する検出装置およびそれを備えた車両 - Google Patents

障害物及び急斜面を検出する検出装置およびそれを備えた車両 Download PDF

Info

Publication number
JP6227318B2
JP6227318B2 JP2013158955A JP2013158955A JP6227318B2 JP 6227318 B2 JP6227318 B2 JP 6227318B2 JP 2013158955 A JP2013158955 A JP 2013158955A JP 2013158955 A JP2013158955 A JP 2013158955A JP 6227318 B2 JP6227318 B2 JP 6227318B2
Authority
JP
Japan
Prior art keywords
region
area
obstacle
gradient
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013158955A
Other languages
English (en)
Other versions
JP2015031990A (ja
Inventor
直樹 難波
直樹 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2013158955A priority Critical patent/JP6227318B2/ja
Publication of JP2015031990A publication Critical patent/JP2015031990A/ja
Application granted granted Critical
Publication of JP6227318B2 publication Critical patent/JP6227318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、障害物及び急斜面を検出する検出装置およびそれを備えた車両に関する。
従来、ステレオカメラによって撮像された画像に基づいて障害物を検出する方法がある。従来の方法では、例えば、画像に投影される道路の特徴点を抽出し、この特徴点の位置に基づいて道路平面を計算する。ここで、道路の特徴点は、車両の走路を示すものであり、例えば白線などである。さらに、計算された道路平面を基準として、障害物が画像に投影されている領域を特定する。これによれば、障害物を適切に検知できる(例えば、特許文献1参照)。
特開2001−76128号公報
しかしながら、このような構成を有する従来例の場合には、次のような問題がある。
すなわち、道路が特徴点を有しない場合、道路平面を計算できない。よって、障害物を適切に検出することが困難である。特徴点は、公道以外の道路には存在しないことが多い。例えば、登坂道、山道、林道またはゴルフカート用道などには、特徴点が無いことが多い。また、例えば、車両が走行可能な果樹園などの場所にも、特徴点が無いことが多い。以下、各種の道路や車両が走行する各種の場所を、「道路等」と総称する。
特徴点を有しない道路等では、急斜面が進行方向前方に存在していることが多い。また、特徴点を有しない道路等では、急斜面と走路に適した地形とが進行方向前方に混在していることが多い。急斜面は、走路に適していない。あるいは、急斜面は、障害物と同様に、走行を妨げる。しかし、従来例では、急斜面を的確に検出することが困難である。
本発明は、このような事情に鑑みてなされたものであって、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる検出装置およびそれを備えた車両を提供することを目的とする。
本発明は、このような目的を達成するために、次のような構成をとる。
すなわち、本発明は、障害物及び急斜面を検出する検出装置であって、複数の画像センサと、各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像を複数の領域に区画する領域区画部と、視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、を備え、前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置である。
[作用・効果]本発明によれば、複数の画像センサはそれぞれ画像を撮像する。各画像には、実空間に存在する被写体が投影される。視差画像生成部は、複数の画像に基づいて視差画像を生成する。視差画像は、視差が対応付けられた複数の画素によって構成されている。領域区画部は、視差画像生成部によって生成された視差画像を複数の領域に区分する。
障害物領域特定部は、視差に基づいて障害物領域を特定する。具体的には、障害物領域特定部は、視差画像に含まれる各画素の視差に基づいて、1の領域に投影されている被写体が障害物であるか否かを判定する。障害物領域特定部は、この判定を領域ごとに行う。これにより、障害物を精度よく検出できる。障害物領域特定部は、障害物と判定された領域のみを、障害物領域と特定する。ここで、「障害物と判定された領域」は、厳密に言えば、障害物と判定された被写体が投影されている領域である。
勾配計算部は、視差画像に含まれる各画素の位置と3次元空間上の点の位置との対応関係に基づいて、1の領域に投影されている被写体の勾配を計算する。勾配計算部は、勾配の計算を領域ごとに行う。よって、被写体の形状(例えば、道路等の地形)が複雑であっても、被写体の勾配をきめ細かく求めることができる。勾配計算部は、少なくとも障害物領域に関して勾配を計算しない。ここで、勾配を計算するための処理負荷は、比較的に大きい。よって、勾配計算部の処理負荷を軽減できる。
急斜面領域特定部は、勾配計算部によって計算された勾配に基づいて急斜面領域を特定する。具体的には、急斜面領域特定部は、勾配が閾値以上であるか否かを領域ごとに判定する。急斜面領域特定部は、勾配が閾値以上であると判定された領域のみを急斜面領域と特定する。ここで、「勾配が閾値以上であると判定された領域」は、厳密に言えば、勾配が閾値以上であると判定された被写体が投影されている領域である。これにより、閾値以上の勾配を有する被写体(例えば、急斜面)を精度よく検出できる。
上述したように、本発明は、障害物領域特定部を備えているので、道路の特徴点を検出することなく、障害物領域を特定できる。また、本発明は、勾配計算部と急斜面領域特定部とを備えているので、道路の特徴点を検出することなく、急斜面領域を特定できる。そして、視差画像における障害物領域及び急斜面領域に基づけば、実空間における障害物及び急斜面を好適に検出できる。よって、本発明によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる。特に、急斜面領域を特定できるので、急斜面を含む道路等であっても、走行を適切に支援することができる。
また、本発明によれば、障害物領域に対する勾配の計算を省略するので、急斜面領域を効率良く特定できる。
上述した発明において、前記障害物領域特定部は、視差値が同じである画素が領域内に一定の割合以上存在する場合には、被写体が障害物であると判定することが好ましい。領域内に含まれる画素のうち、視差値が同じである画素が占める割合が大きいほど、被写体の表面の角度は垂直に近くなる。この関係を利用して、障害物領域特定部は、例えば壁のように、略垂直な面を有する被写体を的確に障害物と判定できる。
上述した発明において、前記勾配計算部は、領域に対応する被写体を単一の平面に近似し、近似された平面の傾きを勾配とみなすことが好ましい。近似された1平面の傾きは、その領域に投影されている被写体の勾配を代表する。これにより、各領域の勾配を適切に得ることができる。
上述した発明において、勾配の計算を要しない領域である計算不要領域を特定する不要領域特定部と、を備え、前記勾配計算部は、さらに、前記計算不要領域に関する勾配の計算を省略することが好ましい。これによれば、勾配計算部の処理負荷を一層軽減できる。
上述した発明において、前記不要領域特定部は、領域における視差が所定値以下であるか否かを領域ごとに判定し、視差が所定値以下であると判定された領域を前記計算不要領域と特定することが好ましい。視差が所定値以下であると判定された領域には、視差が所定値以下であると判定されなかった領域に比べて、遠くに位置する被写体が投影されている。したがって、比較的遠くに位置する被写体が投影されている領域が、計算不要領域と特定される。これにより、勾配計算部は、比較的に近くに位置する被写体の勾配のみを効率よく計算できる。
上述した発明において、前記不要領域特定部は、領域が視差画像の中心に対して横方向にずれている量をずれ量として、ずれ量が所定量以上であるか否かを領域ごとに判定し、ずれ量が所定量以上であると判定された領域を計算不要領域と特定することが好ましい。ずれ量が所定量以上であると判定されなかった領域には、光軸方向を中心とし、左右に広がる角度域内に位置する被写体(以下、「中央の被写体」という)が投影される。ずれ量が所定量以上であると判定された領域には、上記した角度域よりも右外側/左外側に位置する被写体が投影される。不要領域特定部は、ずれ量が所定量以上であると判定された領域を計算不要領域と特定する。これにより、勾配計算部は、中央の被写体の勾配のみを効率よく計算できる。
上述した発明において、各画像センサから得られた画像のいずれかに、障害物領域および急斜面領域を重ねた合成画像を表示する表示部を備えていることが好ましい。画像において、障害物領域および急斜面領域の位置を明示できる。
上述した発明において、前記表示部は、さらに、障害物までの距離および急斜面までの距離に関する情報を表示することが好ましい。障害物および急斜面までの距離を明示できる。なお、障害物は、障害物と判定された被写体であり、障害物領域に投影されている被写体である。急斜面は、急斜面領域に投影されている被写体である。
また、本発明は、上述した検出装置を備えた車両である。
[作用・効果]本発明によれば、検出装置を備えているので、障害物及び急斜面を的確に検出できる。よって、車両は適切に走行できる。特に、車両が自動走行車、自律走行車または無人走行車であっても、車両は適切に走行できる。
なお、本明細書は、次のような検出装置および車両に係る発明も開示している。
(1)勾配は、前記画像センサの光軸方向に対する被写体の高低差であることが好ましい。
前記(1)に記載の発明によれば、車両が画像センサの光軸方向と略同じ方向に進む場合に、好適に適用できる。
(2)障害物及び急斜面を検出する検出装置であって、ステレオ視によって撮影された複数の画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像を複数の領域に区画する領域区画部と、視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、視差画像に含まれる各画素に投影される3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、を備え、前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置。
前記(2)に記載の検出装置によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を適切に検出できる。また、前記(2)に記載の検出装置は、画像センサを備えてもよいし、備えなくてもよい。また、前記(2)に記載の検出装置は、検出装置の外部装置によって撮影された画像に基づいて、障害物及び急斜面を適切に検出することもできる。
この発明に係る検出装置およびそれを備えた車両によれば、特徴点を有しない道路または場所であっても、障害物及び急斜面を好適に検出できる。
実施例に係る車両の前面図である。 検出装置の構成を示すブロック図である。 検出装置の処理手順の一例を示すフローチャートである。 図4(a)、(b)は、画像センサによって撮影された画像の一例を示す図である。 車両と被写体との位置関係を簡略に示す側面図である。 視差画像の一例を示す図である。 視差画像を区画する複数の領域を模式的に示す図である。 画素と3次元空間上の点との位置関係を模式的に例示する図である。 Y−Z平面に投影された点群を模式的に示す図である。 合成画像の一例を示す図である。 検出装置の構成を示すブロック図である。 検出装置処理手順の一例を示すフローチャートである。 ずれ量を説明するための図である。
以下、図面を参照して本発明の実施例を説明する。
1.車両の概略構成
図1は、実施例に係る車両1の前面図である。
本実施例では、車両1は、ゴルフ場内を走行するゴルフカートである。
以下の説明において、前後、左右、上下とは、車両1の搭乗者にとっての「前」、「後」、「左」、「右」、「上」、「下」を意味する。
車両1は、車両本体3と画像センサ11a、11bとを備える。画像センサ11a、11bは、車両本体3の前面に設置されている。各画像センサ11a、11bは、所定の間隔を空けて左右に並ぶように設置されている。画像センサ11a、11bの各光軸はそれぞれ、車両1の前方を向いている。すなわち、画像センサ11a、11bの位置関係は、平行ステレオである。画像センサ11a、11bは、ステレオ視によって車両1の前方を撮影する。画像センサ11a、11bから、同じ被写体が投影された一対の画像が得られる。被写体は、実空間上に存在する物体であり、例えば、地面、樹木または障害物などである。障害物は、車両1の走行を妨げる。画像センサ11a、11bは、例えば可視光カメラが挙げられる。
2.検出装置の構成
次に、検出装置5の構成について説明する。図2は、検出装置の構成を示すブロック図である。
検出装置5は、障害物及び急斜面を検出する。図2に示すように、検出装置5は、上述した画像センサ11a、11bのほかに、画像処理部13と、記憶部17と、表示部18とを備えている。画像センサ11a、11b、画像処理部13、記憶部17および表示部18は、互いに電気的に接続されている。画像処理部13、記憶部17および表示部18も、車両本体3に取り付けられている。すなわち、車両1は、検出装置5を備えている。
画像処理部13は、各種処理を実行する中央演算処理装置(CPU)や、演算処理の作業領域となるRAM(Random-Access Memory)などによって実現されている。画像処理部13は、機能的に、視差画像生成部21と領域区画部22と障害物領域特定部23と勾配計算部24と急斜面領域特定部25と画像合成部26とに分けられる。
視差画像生成部21は、画像センサ11a、11bによって撮影された一対の画像に基づいて、各画素に対する視差を求め、視差画像を生成する。視差画像は、視差が対応付けられた複数の画素によって構成されている。
視差は、画像センサ11a、11bから被写体までの光軸方向(奥行き方向)における距離と反比例する。すなわち、視差は、奥行き方向における被写体の位置、または、被写体までの距離を示す情報(奥行き情報)である。視差の値(「視差値」という)は、画素数によって表されてもよいし、物理的な距離によって表されてもよい。
視差とカメラパラメータが明らかであれば、3次元空間(実空間)における被写体の位置と、被写体が画像に投影される投影点の位置との関係は明らかである。ここで、カメラパラメータは、画像センサ11a、11bの間の基線の長さや、画像センサ11a、11bの焦点距離などが例示される。基線の長さは画像センサ11a、11bの取付位置によって決められる。焦点距離は画像センサ11a、11bの仕様に定められている。したがって、基線の長さと焦点距離は既知である。よって、視差が明らかになれば、画素に対応した3次元空間上の点の位置が明らかになる。
領域区画部22は、視差画像を複数の領域に区画する。
障害物領域特定部23は、視差画像に含まれる各画素の視差に基づいて、視差画像に投影された被写体が障害物であるか否かを判定する。障害物領域特定部23は、障害物に関する判定を領域ごとに行う。障害物領域特定部23は、被写体が障害物であると判定された領域を障害物領域と特定する。
勾配計算部24は、視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を計算する。被写体の勾配は、被写体の表面の傾きである。勾配は、角度で表されてもよいし、パーセント[%]で表されてもよい。本実施例では、登り坂のとき、勾配は正の値をとる。また、上り坂の傾斜が急であるほど、勾配は大きな値をとる。勾配計算部24は、勾配の計算を領域ごとに行う。ただし、障害物領域に関しては勾配の計算を省略する。
急斜面領域特定部25は、被写体の勾配が閾値以上であるか否かを判定する。急斜面領域特定部25は、勾配に関する判定を領域ごとに行う。閾値は、車両1の登坂性能等を考慮して、予め設定されている。本実施例では、閾値は正の値である。閾値は、例えば、車両1が走行することが困難な勾配の下限値であることが好ましい。あるいは、閾値は、例えば、車両1が走行することが不可能な勾配の下限値であることが好ましい。急斜面領域特定部25は、勾配が閾値以上であると判定された領域を急斜面領域と特定する。
画像合成部26は、画像センサ11a、11bから得られた画像のいずれかに、障害物領域及び急斜面領域に関連する各種の情報を重ねた合成画像を生成する。各種の情報は、例えば、障害物領域および急斜面領域の位置または範囲を示す情報である。また、各種の情報は、例えば、障害物領域および急斜面領域に投影されている被写体までの距離を示す情報である。
なお、障害物領域に投影されている被写体とは、障害物であると判定された被写体である。急斜面領域に投影された被写体とは、勾配が閾値以上であると判定された被写体である。本明細書では、勾配が閾値以上であると判定された被写体を適宜に「急斜面」と呼ぶ。本実施例では、急斜面は、基本的に登り坂である。
記憶部17は、カメラパラメータや、各種の判定処理に用いられる情報を記憶している。カメラパラメータは、基線の長さ、焦点距離などである。判定処理に用いられる情報は、閾値、最小比率、所定値、所定量などである。記憶部17に記憶されている各種の情報は、画像処理部13によって適宜に参照される。記憶部17は、各種情報を記憶する固定ディスク等の記憶媒体などによって実現されている。
表示部18は、画像合成部26によって生成された合成画像を表示する。表示部18は、画像や文字等の視覚情報を表示するディスプレイなどによって実現されている。表示部18は、搭乗者が視認し易い位置に配置されることが好ましい。
3.動作説明
次に、実施例1に係る車両1の動作を説明する。以下では、検出装置5の処理の手順を中心に説明する。図3は、検出装置5の処理手順の一例を示すフローチャートである。
<ステップS1> 撮影
画像センサ11a、11bはそれぞれ、車両1の前方を撮影し、画像を生成する。
図4(a)、(b)を参照する。図4(a)は画像センサ11aによって撮影された画像IAを例示する。図4(b)は画像センサ11bによって撮影された画像IBを例示する。図4(a)において、画像IAの横方向をu軸で示し、画像IAの縦方向をv軸で示す。同様に、図4(b)において、画像IBの横方向をu′軸で示し、画像IBの縦方向をv′軸で示す。画像IA、IBはそれぞれ、複数の画素(不図示)によって構成されている。画素は縦横に行列状に配置されている。例えば、縦方向の画素数は960であり、横方向の画素数は1280である。
図5は、図4(a)、(b)に示す画像IA、IBを撮影した時における、車両1と被写体との位置関係を簡略に示す側面図である。図示するように、車両1の前方には路面Gが存在する。路面Gは登り坂である。路面G上には障害物Oが置かれている。障害物Oは、鉛直上方に立ち上がる壁面OWを有する。これら路面Gと障害物Oとが、画像IA、IBに投影されている。壁面OWは、画像センサ11a、11bから見て略矩形形状を有する。
図5において、X軸は、u軸およびu′軸と平行である。Y軸は、v軸およびv′軸と平行である。Z軸は、画像センサ11a、11bの光軸と平行である。X軸、Y軸およびZ軸は、互いに直交する。
<ステップS2> 画像取込
画像処理部13は、画像センサ11a、11bによって撮影された各画像を取り込む。
<ステップS3> 視差画像生成
視差画像生成部21は、各画像IA、IBに基づいて、視差画像を生成する。
図6は、視差画像ICの一例を簡略に示す図である。図6に例示する視差画像ICは、6種類の視差領域A1乃至A6によって構成されている。視差領域A1は、視差値d1の画素によって構成されている。同様に、視差領域A2乃至A6はそれぞれ、視差値d2乃至d6の画素によって構成されている。なお、視差領域A1乃至A6は、領域区画部22によって規定される領域とは異なる。
視差画像を生成する手順の一例を説明する。画像センサ11aから得られる画像IAを基準画像とし、画像センサ11bから得られる画像IBを参照画像とする。基準画像IAの1の画素を注目画素として、注目画素に対応する参照画像IBの画素(「対応画素」)を探索する。
対応画素を探索するとき、ステレオマッチングなどの手法を使う。ステレオマッチングとしては、領域ベースマッチングや特徴ベースマッチング等がある。たとえば、領域ベースマッチングの場合、注目画素を中心とする領域(「基準領域」という)を設定する。基準領域と参照画像IBを比較し、基準領域と最も類似する参照画像IBの領域を特定する。特定された参照画像IBの領域の中心に位置する画素を対応画素と決定する。
対応画素が探索されると、基準画像IAにおける注目画素と、参照画像IBにおける対応画素との横方向のずれ量を求める。このずれ量が、注目画素における視差である。
1の画素について視差を求めると、引き続き、基準画像IAの他の画素を1つずつ注目画素に設定し直して、上述した処理を繰り返す。これにより、他の画素についても視差を求める。求めた視差を各画素に対応付ける。これにより、視差画像が得られる。
<ステップS4> 領域分割
領域区画部22は、視差画像ICを複数の領域に区画する。
図7を参照する。図7は、視差画像ICを区画した複数の領域を模式的に示す図である。
図7に示すように、領域区画部22は視差画像ICを縦横に格子状に分割する。これにより、視差画像ICは、複数の領域(ブロック)eに区画される。各領域eは略同じ大きさである。各領域eはそれぞれ略矩形形状を有する。各領域eは、少なくとも2以上の画素を含む。各領域eの縦方向vの長さhは、横方向uの長さwの数倍以上であることが好ましい。言い換えれば、各領域eは、縦方向vに長い短冊形状であることが好ましい。また、各領域eは、横方向uに20−40列の画素を含み、縦方向vに60−80行の画素を含むことが好ましい。
<ステップS5> 障害物領域か?(障害物領域の特定)
障害物領域特定部23は、1の領域eに注目する。以下では、注目された1つの領域eを、単に「領域ei」と記載する。障害物領域特定部23は、領域eiに投影される被写体が障害物であるか否かを判定する。
本実施例では、領域ei内に視差値が同じである画素が一定の割合以上存在する場合には、領域eiに投影される被写体が障害物であると障害物領域特定部23が判定する。
より具体的には、次のような処理を行う。障害物領域特定部23は、領域ei内に含まれる視差値の中で最も頻繁に現れる視差値、すなわち、最頻値を特定する。障害物領域特定部23は、領域ei内に含まれる視差値の個数に対して最頻値の個数が占める割合(以下では、適宜に「最頻値の割合」という)を求める。なお、領域ei内に含まれる視差値の数は、領域ei内に含まれる画素の数と同じである。
障害物領域特定部23は、記憶部17に記憶される最小比率を用いて、最頻値の割合が最小比率以上であるか否かを判定する。最小比率としては、例えば、50%から60%の範囲内であることが好ましい。
ここで、最頻値の割合が大きくなるほど、領域eiに投影されている被写体の表面が光軸Zに対して傾斜する角度が垂直に近くなる。よって、最頻値の割合に基づいて判定することによって、例えば図5に示す壁面OWが投影された領域eを的確に抽出できる。
最頻値の割合が最小比率以上であると判定された場合には、障害物領域特定部23は、領域eiに投影される被写体が障害物であると判定し、領域eiを障害物領域と特定する。そうでない場合には、障害物領域特定部23は、領域eiに投影される被写体が障害物であると判定せず、領域eiを障害物領域と特定しない。
領域eiが障害物領域と特定された場合には、ステップS8に進む。そうでない場合には、ステップS6に進む。
<ステップS6> 勾配計算
勾配計算部24は、領域eiに投影されている被写体の勾配を計算する。勾配計算部24は、領域ei内における複数の画素と対応する3次元空間上の複数の点(点群)の位置に基づいて、被写体の勾配を計算する。
より具体的には、勾配計算部24は、次のような処理を行う。図8を参照する。図8は、領域ei内の画素pと3次元空間上の点qとの位置関係を模式的に例示する図である。
勾配計算部24は、画素pに投影される実空間上の点qの位置(X軸座標、Y軸座標、Z軸座標)を求める。点qの位置を求める際、勾配計算部24は、画素pの位置(u軸座標、v軸座標)と、画素pの視差と、基線の長さと、焦点距離とを用いる。画素pの位置と画素pの視差とは、視差画像ICによって与えられる。基線の長さと焦点距離とは、記憶部17に記憶されている。
画素pと点qとは1対1に対応する。点qの数は、領域eiに含まれる画素の数と同じである。以下では、複数の点qを点群Qと総称する。
勾配計算部24は、点群QをY−Z平面に投影する。以下では、Y−Z平面に投影された点qを「点r」と呼び、Y−Z平面に投影された点群Qを「点群R」と呼ぶ。
図9は、点群Rを模式的に示す図である。勾配計算部24は、最小二乗法により、点群Rに近似する直線L(1次関数)、および、直線Lの傾きθを求める。勾配計算部24は、傾きθを、領域eiに投影される被写体の勾配の代表値とみなす。以下では、傾きθを、適宜に「勾配θ」または「被写体の勾配θ」と呼ぶ。
このようにして求められた勾配θは、光軸方向Z(すなわち、車両1の進行方向)に対する被写体の勾配である。換言すれば、勾配θは、光軸方向Zに対する被写体の高低差である。勾配θは、縦断勾配とも呼ばれる。
<ステップS7> 急斜面領域の特定
急斜面領域特定部25は、記憶部17に記憶されている閾値を用いて、領域eiに投影された被写体の勾配θが閾値以上であるか否かを判定する。勾配θが閾値以上であると判定された場合には、急斜面領域特定部25は領域eiを急斜面領域と特定する。そうでない場合には、急斜面領域特定部25は領域eiを急斜面領域と特定しない。領域eiが急斜面領域と特定された場合もそうでない場合も、ステップS8に進む。
<ステップS8> 全ての領域について判定したか?
ステップS5の処理、または、ステップS5乃至S7の一連の処理が、視差画像に含まれる全ての領域eについて行われたか否かを判断する。その結果、ステップS5の処理等が全ての領域eに行われたと判断された場合には、ステップS9に進む。そうでない場合には、再びステップS5に戻る。そして、領域ei以外の領域eに注目してステップS5の処理等を繰り返す。
これにより、ステップS5の処理が、全ての領域eに対して行われる。また、ステップS6、S7の処理は、障害物領域と特定されなかった領域eに対して行われる。ステップS6、S7の処理は、障害物領域と特定された領域eに対して行われない。
<ステップS9> 合成画像生成
画像合成部26は、合成画像IDを生成する。
図10を参照する。図10は、合成画像IDを例示する。図示するように、画像合成部26は、基準画像IAに、障害物領域の位置を示す枠(図形)F1を重畳する。画像合成部26は、基準画像IAに、急斜面領域の位置を示す枠(図形)F2を重畳する。ここで、複数の障害物領域がつながっている場合、枠F1は複数の障害物領域の集合(かたまり)の外縁を示してもよい。枠F2に関しても同様である。なお、図示の便宜上、図10において例示した障害物領域の位置および範囲は、図7で例示した領域eと厳密に対応していない。
また、画像合成部26は、障害物(障害物領域に投影されている被写体)までの距離に関する情報H1を基準画像IAに重畳する。図10では、情報H1は、枠F1の近傍に配置されている数字(「7.5」)である。また、画像合成部26は、急斜面(急斜面領域に投影されている被写体)までの距離に関する情報H2を基準画像IAに重畳する。図10では、情報H2は、枠F2の近傍に配置されている数字(「9.0」)である。
<ステップS10> 合成画像表示
表示部18は、合成画像IDを表示する。
このように、実施例1によれば、検出装置5は障害物領域特定部23を備え、障害物領域特定部23は、被写体が障害物であるか否かの判定を領域eごとに行う。よって、障害物の3次元的な位置を精度良く検出できる。
検出装置5は勾配計算部24を備え、勾配計算部24は勾配の計算を領域eごとに行う。よって、被写体の形状が複雑であっても、被写体の勾配θをきめ細かく求めることができる。
検出装置5は急斜面領域特定部25を備え、急斜面領域特定部25は、勾配θが閾値以上であるか否かの判定を領域eごとに行う。よって、勾配θが閾値以上の被写体、すなわち、急斜面の3次元的な位置を精度良く検出できる。
ここで、障害物領域特定部23は、視差画像ICに含まれる各画素の視差に基づいて、障害物領域を特定する。よって、障害物領域特定部23は、道路の特徴点を検出することなく、障害物を検出できる。他方、勾配計算部24は、視差画像ICに含まれる各画素pに対応する3次元空間上の点qの位置に基づいて、勾配θを計算する。よって、勾配計算部24は、道路の特徴点を検出することなく、急斜面を検出できる。
このように、本実施例によれば、特徴点を有しない道路または場所であっても、障害物および急斜面を検出できる。したがって、車両1の走路が、公道でなくても、すなわち、ゴルフ場内のカート道であっても、車両1は適切に走行できる。
特に、検出装置5は、障害物のみならず急斜面も検出できるので、起伏の激しい道路等であっても、走路を選択するのに有益な情報を提供できる。よって、車両1は適切に走行できる。
また、障害物領域特定部23は、視差値が同じである画素が領域e内に一定の割合(最小比率)以上存在する場合には、被写体が障害物であると判定する。よって、略垂直な面OWを有する被写体を、障害物Oと的確に認識できる。
勾配計算部24が領域e1に対して処理を行う前に、障害物領域特定部23が領域e1に対して処理を行う。すなわち、領域e1が障害物領域か否かを判断する。そして、領域e1が障害物領域と特定されると、その領域e1を、勾配計算部24の処理対象から除く。これにより、勾配計算部24の処理負担を軽減できる。特に、被写体の勾配を計算するための演算量は、被写体が障害物であるか否かを判定するための演算量に比べて大きい。したがって、勾配計算部24の処理負荷を軽減することで、検出装置5全体の処理負荷を軽減できる。これにより、急斜面領域を特定するために要する時間を短縮できる。
また、障害物と急斜面とはいずれも車両1の走行を妨げる。よって、ある領域eに投影される被写体が障害物であると既に判定された場合、その障害物の勾配が不明であっても、あるいは、その障害物が急斜面であるか否かが不明であっても、急斜面領域を特定する精度は実質的に低下しない。したがって、障害物領域に関する勾配の計算を省略することによって、急斜面領域の特定精度を維持しつつ、急斜面領域を効率良く特定できる。
勾配計算部24は、点q(点群Q)をY−Z平面に投影する。この処理は、被写体の表面を、Y−Z平面に垂直な面とみなすことと同じであり、X軸方向に対する被写体の表面の傾きを無視することを同じである。これにより、光軸方向Zに対する被写体の勾配を簡易に求めることができる。
勾配計算部24は、点r(点群R)に近似する直線Lを求める。この処理は、被写体の表面を、Y−Z平面に垂直で、かつ、直線Lを含む単一の平面に近似することと同じである。これにより、被写体の勾配を一層簡易に求めることができる。具体的には、勾配計算部24は、直線Lの傾きθを求め、求めた傾きθを、領域eに投影される被写体の勾配の代表値とみなす。
また、領域eの縦方向vの長さhは、各領域eの横方向uの長さwに比べて長い。よって、勾配計算部24は、光軸方向Zに対する被写体の勾配を精度よく求めることができる。
検出装置5は領域区画部22を備え、領域区画部22は視差画像ICを複数の領域に区画する。これにより、視差画像ICに投影されている被写体をきめ細かく分析できる。
検出装置5は画像合成部26を備え、画像合成部26は基準画像IAに障害物領域および急斜面領域に関する情報F1、F2、H1、H2を重畳した合成画像IDを生成する。これによって、障害物領域および急斜面領域の特定結果と基準画像IAとを適切に整合させることができる。
画像合成部26は、障害物および急斜面までの距離に関する情報H1、H2を、基準画像IAに重畳させる。これによって、基準画像IAが本来有していない奥行き情報を適切に補うことができる。
検出装置5は、表示部18を備え、表示部18は合成画像IDを表示する。これによれば、障害物および急斜面の位置等を車両1の搭乗者に明示できる。
次に、図面を参照してこの発明の実施例2を説明する。本実施例2は、実施例1と略同様の構成を備えた車両1であり、画像処理部14の処理が実施例1と異なる。そこで、実施例2に係る車両1の概略構成の説明を省略し、画像処理部14の構成について説明する。なお、実施例1と同じ構成については同符号を付すことで詳細な説明を省略する。
1.検出装置の構成
図11は、検出装置5の構成を示すブロック図である。検出装置5は、画像センサ11a、11bと、画像処理部14と、記憶部17と、表示部18とを備えている。
画像処理部14は、機能的に、視差画像生成部21と領域区画部22と障害物領域特定部23と勾配計算部24と急斜面領域特定部25と画像合成部26と不要領域特定部28とに分けられる。
不要領域特定部28は、勾配の計算を要しない領域である計算不要領域を特定する。本実施例では、不要領域特定部28は、視差に基づいて、計算不要領域を特定する。さらに、不要領域特定部28は、視差画像ICにおける領域eの位置に基づいて、計算不要領域を特定する。
勾配計算部24は、障害物領域と計算不要領域とに関する勾配の計算を省略する。
2.動作説明
次に、実施例2に係る車両1の動作を説明する。以下では、検出装置5の処理の手順を中心に説明する。図12は、検出装置5の処理手順の一例を示すフローチャートである。
<ステップS1> 撮影
画像センサ11a、11bはそれぞれ、車両1の前方を撮影し、画像を生成する。
<ステップS2> 画像取込
画像処理部14は、画像センサ11a、11bによって撮影された各画像を取り込む。
<ステップS3> 視差画像生成
視差画像生成部21は、各画像IA、IBに基づいて、視差画像を生成する。
<ステップS4> 領域分割
領域区画部22は、視差画像ICを複数の領域に区画する。
<ステップS11> 障害物領域の特定
障害物領域特定部23は、各画素の視差に基づいて、1の領域eに投影されている被写体が障害物であるか否かを判定する。障害物領域特定部23は、この判定を全ての領域eについて行う。障害物領域特定部23は、被写体が障害物であると判定された領域のみを、障害物領域と特定する。
<ステップS12> 計算不要領域の特定
不要領域特定部28は、計算不要領域を特定する。実施例2では、領域が2種の条件の少なくともいずれかに合致するか否か、を不要領域特定部28が判定する。判定の対象は、障害物領域以外の領域である。すなわち、不要領域特定部28は、障害物領域に対しては処理を行わない。そして、合致すると判定された領域を、計算不要領域と特定する。以下、具体的に説明する。
不要領域特定部28は、1の領域eに含まれる画素の視差が全て所定値以下であるか否かを判定する。不要領域特定部28は、この判定を全ての領域eについて関して行う。
この判定について、図6を参照して具体的に例示する。図6に示す視差画像ICにおいて、視差値d1乃至d6が以下の大小関係を有するものとする。
d1>d2>d3>d4>d5>d6
ここで、所定値がd5であるとき、視差値d5または視差値d6の画素のみで構成されている領域eについては、視差が所定値d5以下であると判定される。他方、視差値d1乃至d4のいずれかの画素を1つでも含む領域eについては、視差が所定値d5以下であると判定されない。
不要領域特定部28は、視差が所定値以下であると判定された領域を計算不要領域と特定する。
また、不要領域特定部28は、ずれ量が所定量以上であるか否かを判定する。不要領域特定部28は、この判定を領域eごとに行う。
図13を参照する。図13は、ずれ量を説明するための図である。図13では、視差画像ICは領域e1乃至e24に区画されている。図示の便宜上、図13において例示した領域e1乃至e24の位置および範囲は、図7で例示した領域eと厳密に対応していない。
図13に示すように、ずれ量は、領域eが視差画像ICの中心Kに対して横方向にずれている量である。各領域eの位置としては、例えば、その領域eの中心の位置を用いる。ずれ量は、画素数によって表されてもよいし、物理的な距離によって表されてもよい。
視差画像ICの中心Kに対して領域e9が横方向uにずれているずれ量は、J1である。領域e10乃至e16のずれ量も、それぞれJ1である。領域e5乃至e8、e17乃至e20のずれ量はJ2である(J2>J1)。領域e1乃至e4、e21乃至e24のずれ量はJ3である(J3>J2)。
ここで、所定量がJ2であるとき、領域e1乃至e8、及び、e17乃至e24については、ずれ量が所定量J2以上であると判定される。他方、領域e9乃至e16については、ずれ量が所定量J2以上であると判定されない。
不要領域特定部28は、ずれ量が所定量以上であると判定された領域を計算不要領域と特定する。
上述した処理の結果、視差が所定値以下であること、および、ずれ量が所定量以上であることの少なくともいずれかの条件を満たす領域が、計算不要領域に特定される。
<ステップS13> 勾配計算
勾配計算部24は、障害物領域および計算不要領域のいずれにも特定されていない領域に関して、被写体の勾配θを計算する。他方、勾配計算部24は、障害物領域および計算不要領域の少なくともいずれかに特定された領域に関しては、勾配の計算を省略する。
<ステップS14> 急斜面領域の特定
急斜面領域特定部25は、勾配計算部24によって計算された勾配θに基づいて、急斜面領域を特定する。
<ステップS9> 合成画像生成
画像合成部26は、合成画像を生成する。
<ステップS10> 合成画像表示
表示部18は、合成画像を表示する。
このように、実施例2によっても、実施例1と同様に、特徴点を有しない道路または場所であっても、障害物および急斜面を検出できる。
また、検出装置5は不要領域特定部28を備え、不要領域特定部28は計算不要領域を特定する。勾配計算部24は計算不要領域に関する勾配の計算を省略する。よって、勾配計算部24の処理負荷を一層軽減できる。
不要領域特定部28は、領域eにおける視差が所定値以下であるか否かを領域ごとに判定する。ここで、視差が所定値以下である領域には、視差が所定値より大きい領域に比べて、遠くに位置する被写体が投影されている。すなわち、この判定によって、比較的に遠くに位置する被写体が投影されている領域を的確に抽出できる。そして、このような領域を、不要領域特定部28は計算不要領域と特定する。よって、勾配計算部24は、比較的に近くに位置する被写体の勾配のみを効率よく計算できる。さらに、視差画像の原理上、被写体が画像センサ11a、11bから遠いほど、視差の精度が低下する。よって、比較的に近くに位置する被写体の勾配のみを計算することで、勾配の推定精度を高めることができる。
また、不要領域特定部28は、視差画像ICの中心Kに対する領域eのずれ量が所定量以上であるか否かを領域ごとに判定する。ここで、ずれ量が所定量未満である領域には、光軸方向Z(すなわち、車両1の進行方向)を中心とし、左右に広がる角度域内に位置する被写体(以下、「中央の被写体」という)が投影される。他方、ずれ量が所定量以上である領域には、上述の角度域の右外側、および、上述の角度域の左外側に位置する被写体および(以下、「外側の被写体」という)が投影される。すなわち、この判定によって、外側の被写体が投影されている領域を的確に抽出できる。そして、このような領域を、不要領域特定部28は計算不要領域と特定する。よって、勾配計算部24は、中央の被写体の勾配のみを効率よく計算できる。
また、実施例2では、障害物領域特定部23が視差画像ICに含まれる全ての領域eに対して処理を行った後に、勾配計算部24が処理を開始する。これにより、障害物領域特定部23による処理の効率を高めることができる。また、実施例1において説明したステップS8の処理を省略できる。
本発明は、上記実施例のものに限らず、次のように変形実施することができる。
(1)上述した各実施例では、障害物領域特定部23は、障害物の判定の基礎として、最頻値の割合を使用したが、これに限られない。例えば、領域eiに含まれる視差値の分布を、判定の基礎として用いてもよい。また、例えば、領域eiに含まれる視差値の統計量を、判定の基礎として用いてもよい。
(2)上述した各実施例では、勾配計算部24は、光軸方向Zに対する被写体の勾配を求めたが、これに限られない。たとえば、X軸方向に対する被写体の勾配を求めてもよい。X軸方向は車両1の進行方向に直交する方向であり、X軸方向に対する被写体の勾配は横断勾配と呼ばれる。横断勾配を求めるとき、点群QをX−Y平面に投影してもよい。これによれば、被写体の表面を、X−Y平面に垂直な面とみなすことができ、横方向に対する被写体の勾配を簡易に求めることができる。また、横断勾配を求めるとき、領域eは、横方向に長いことが好ましい。これによれば、縦断勾配を精度よく求めることができる。
また、例えば、勾配計算部24は、任意の方向に対する被写体の勾配を求めてよい。この場合には、点群QをY−Z平面等に投影することなく、最小二乗法によって点群Qに近似する平面の傾きを求める。そして、平面の傾きを、被写体の勾配とする。
あるいは、勾配計算部24は、縦断勾配と横断勾配をそれぞれ求めてもよい。
(3)上述した各実施例では、勾配計算部24は、最小二乗法によって直線Lを求めたが、これに限られない。例えば、勾配計算部24は、予め、複数の候補直線を準備し、各点rからの距離が最も小さい1の候補直線を抽出し、抽出された後方直線の傾きを求めてよい。
あるいは、勾配計算部24は、ハフ変換を用いて、点群Rに近似する直線を求めてもよい。
なお、上述した方法は、点群Rに近似した直線を求める場合のみならず、点群Qに近似した平面を求めるときにも、使用することができる。
(4)上述した実施例2では、障害物領域特定部23は全ての領域eについて障害物の判定を行ったが、これに限られない。例えば、障害物領域特定部23による処理に先立って、不要領域特定部28が視差画像ICに含まれる領域の中から計算不要領域を選別する。続いて、障害物領域特定部23は、計算不要領域ではない領域のみについて障害物の判定を行う。すなわち、障害物領域特定部23は計算不要領域に対する処理を省略する。よって、障害物領域特定部23の処理負荷を軽減できる。
(5)上述した実施例2では、2種類の条件の少なくともいずれかに合致する領域を計算不要領域と特定したが、これに限られない。例えば、1種類の条件に合致する領域を計算不要領域と特定してもよい。具体的には、不要領域特定部28は、領域内の視差が所定値以下である領域のみを計算不要領域と特定してもよい。あるいは、不要領域特定部28は、領域のずれ量が所定量以上である領域のみを計算不要領域と特定してもよい。
(6)上述した実施例2では、領域eの中心と視差画像ICの中心Kとが横方向uにずれている量を、ずれ量としたが、これに限られない。たとえば、領域eの中心を、領域eを代表する適宜な位置に変更してもよい。また、視差画像ICの中心Kを、視差画像ICの横方向uの長さと縦方向vの長さによって定義してもよい。視差画像ICの画像面と光軸Zとが交わる位置と定義してもよい。
(7)上述した各実施例では、検出装置5は、2台の画像センサ11a、11bを備えていたが、これに限られない。たとえば、検出装置5は、3台以上の画像センサを備えてもよい。あるいは、検出装置5は、画像センサを省略してもよい。この場合であっても、検出装置5は、外部装置から受け取った画像に基づいて障害物および急斜面を検出できる。
(8)上述した各実施例では、合成画像IDは、障害物領域および急斜面領域を基準画像IAに重ねたが、これに限られない。例えば、参照画像IBに障害物領域および急斜面領域を重ねた合成画像に変更してもよい。
(9)上述した各実施例では、枠F1、F2によって、障害物領域および急斜面領域を示したが、これに限られない。例えば、任意の図形や線によって、障害物領域および急斜面領域を示してもよい。
(10)上述した各実施例では、障害物/急斜面までの距離に関する情報H1/H2は、文字情報(数字)であったが、これに限られない。例えば、情報H1/H2は、色情報であってもよい。例えば、障害物/急斜面までの距離に応じて、枠F1、F2の色を変えてもよい。
(11)上述した各実施例では、領域区画部22によって区画される領域eを例示したが、これに限られない。領域eの大きさ、形状等は、適宜に変更することができる。
(12)上述した各実施例において、車両1は、自律走行車または無人走行車であってもよい。車両1が自律走行車や無人走行車であっても、車両1は適切に走行できる。また、車両1は、搭乗者の操縦に応じて走行してもよい。また、車両1は、ゴルフカートに限られない。種々の用途の車両に変更してもよい。例えば、農園内を走行するための車両であってもよい。
1 … 車両
11a、11b … 画像センサ
5 … 検出装置
13、14 … 画像処理部
17 … 記憶部
18 … 表示部
21 … 視差画像生成部
22 … 領域区画部
23 … 障害物領域特定部
24 … 勾配計算部
25 … 急斜面領域特定部
26 … 画像合成部
28 … 不要領域特定部
G … 路面
O … 障害物
OW … 壁面
d1、d2、d3、d4、d5、d6 … 視差(視差値)
e … 領域
p … 画素
q … 3次元空間上の点
Q … 点群
r … Y−Z平面に投影した点
R … Y−Z平面に投影した点群
L … 直線
θ … 被写体の勾配
IA、IB … 画像
IC … 視差画像
ID … 合成画像
F1 … 障害物領域を示す枠
F2 … 急斜面領域を示す枠
H1 … 障害物までの距離に関する情報
H2 … 急斜面までの距離に関する情報
K … 視差画像の中心
J1、J2、J3 … ずれ量

Claims (9)

  1. 障害物及び急斜面を検出する検出装置であって、
    複数の画像センサと、
    各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、
    前記視差画像を複数の領域に区画する領域区画部と、
    視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、
    視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、
    勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、
    を備え、
    前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置。
  2. 請求項1に記載の検出装置において、
    前記障害物領域特定部は、視差値が同じである画素が領域内に一定の割合以上存在する場合には、被写体が障害物であると判定する検出装置。
  3. 請求項1または2に記載の検出装置において、
    前記勾配計算部は、領域に対応する被写体を単一の平面に近似し、近似された平面の傾きを勾配とみなす検出装置。
  4. 請求項1から3のいずれかに記載の検出装置において、
    勾配の計算を要しない領域である計算不要領域を特定する不要領域特定部と、
    を備え、
    前記勾配計算部は、さらに、前記計算不要領域に関する勾配の計算を省略する検出装置。
  5. 請求項4に記載の検出装置において、
    前記不要領域特定部は、領域における視差が所定値以下であるか否かを領域ごとに判定し、視差が所定値以下であると判定された領域を前記計算不要領域と特定する検出装置。
  6. 請求項4または5に記載の検出装置において、
    前記不要領域特定部は、
    領域が視差画像の中心に対して横方向にずれている量をずれ量として、
    ずれ量が所定量以上であるか否かを領域ごとに判定し、
    ずれ量が所定量以上であると判定された領域を計算不要領域と特定する
    検出装置。
  7. 請求項1から6のいずれかに記載の検出装置において、
    各画像センサから得られた画像のいずれかに、障害物領域および急斜面領域を重ねた合成画像を表示する表示部を備えている検出装置。
  8. 請求項7に記載の検出装置において、
    前記表示部は、さらに、障害物までの距離および急斜面までの距離に関する情報を表示する検出装置。
  9. 請求項1から8のいずれかに記載の検出装置を備えた車両。
JP2013158955A 2013-07-31 2013-07-31 障害物及び急斜面を検出する検出装置およびそれを備えた車両 Active JP6227318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013158955A JP6227318B2 (ja) 2013-07-31 2013-07-31 障害物及び急斜面を検出する検出装置およびそれを備えた車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013158955A JP6227318B2 (ja) 2013-07-31 2013-07-31 障害物及び急斜面を検出する検出装置およびそれを備えた車両

Publications (2)

Publication Number Publication Date
JP2015031990A JP2015031990A (ja) 2015-02-16
JP6227318B2 true JP6227318B2 (ja) 2017-11-08

Family

ID=52517295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013158955A Active JP6227318B2 (ja) 2013-07-31 2013-07-31 障害物及び急斜面を検出する検出装置およびそれを備えた車両

Country Status (1)

Country Link
JP (1) JP6227318B2 (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9834142B2 (en) 2001-07-31 2017-12-05 Magna Electronics Inc. Driving assist system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9911050B2 (en) 2009-02-27 2018-03-06 Magna Electronics Inc. Driver active safety control system for vehicle
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9919705B2 (en) 2011-10-27 2018-03-20 Magna Electronics Inc. Driver assist system with image processing and wireless communication
US9940528B2 (en) 2004-12-23 2018-04-10 Magna Electronics Inc. Driver assistance system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US9950738B2 (en) 2011-01-26 2018-04-24 Magna Electronics Inc. Trailering assist system with trailer angle detection
US9972100B2 (en) 2007-08-17 2018-05-15 Magna Electronics Inc. Vehicular imaging system comprising an imaging device with a single image sensor and image processor for determining a totally blocked state or partially blocked state of the single image sensor as well as an automatic correction for misalignment of the imaging device
US9979957B2 (en) 2013-05-21 2018-05-22 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US10053012B2 (en) 2009-09-01 2018-08-21 Magna Electronics Inc. Imaging and display system for vehicle
US10057489B2 (en) 2013-05-06 2018-08-21 Magna Electronics Inc. Vehicular multi-camera vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US10086747B2 (en) 2007-07-12 2018-10-02 Magna Electronics Inc. Driver assistance system for vehicle
US10089541B2 (en) 2012-09-26 2018-10-02 Magna Electronics Inc. Vehicular control system with trailering assist function
US10099610B2 (en) 2001-07-31 2018-10-16 Magna Electronics Inc. Driver assistance system for a vehicle
US10104298B2 (en) 2012-11-19 2018-10-16 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US10106155B2 (en) 2009-07-27 2018-10-23 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US10129518B2 (en) 2011-12-09 2018-11-13 Magna Electronics Inc. Vehicle vision system with customized display
US10144352B2 (en) 2010-12-22 2018-12-04 Magna Electronics Inc. Vision display system for vehicle
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US10202077B2 (en) 2011-04-25 2019-02-12 Magna Electronics Inc. Method for dynamically calibrating vehicular cameras
US10264249B2 (en) 2011-11-15 2019-04-16 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10266115B2 (en) 2013-05-21 2019-04-23 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US10284818B2 (en) 2012-10-05 2019-05-07 Magna Electronics Inc. Multi-camera image stitching calibration system
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US10623704B2 (en) 2004-09-30 2020-04-14 Donnelly Corporation Driver assistance system for vehicle
US10661716B2 (en) 2002-09-20 2020-05-26 Donnelly Corporation Vehicular exterior electrically variable reflectance mirror reflective element assembly
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US10829053B2 (en) 2005-09-14 2020-11-10 Magna Mirrors Of America, Inc. Vehicular exterior rearview mirror assembly with blind spot indicator
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11613209B2 (en) 2007-09-11 2023-03-28 Magna Electronics Inc. System and method for guiding reversing of a vehicle toward a trailer hitch

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743265B (zh) * 2021-08-24 2024-01-12 常熟理工学院 一种基于深度相机的自动驾驶可行驶区域检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150218B2 (ja) * 2002-06-25 2008-09-17 富士重工業株式会社 地形認識装置および地形認識方法
JP4714104B2 (ja) * 2006-07-31 2011-06-29 富士重工業株式会社 物体傾き検出装置
JP2009139323A (ja) * 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置

Cited By (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10046702B2 (en) 2001-07-31 2018-08-14 Magna Electronics Inc. Control system for vehicle
US9834142B2 (en) 2001-07-31 2017-12-05 Magna Electronics Inc. Driving assist system for vehicle
US10611306B2 (en) 2001-07-31 2020-04-07 Magna Electronics Inc. Video processor module for vehicle
US10099610B2 (en) 2001-07-31 2018-10-16 Magna Electronics Inc. Driver assistance system for a vehicle
US10406980B2 (en) 2001-07-31 2019-09-10 Magna Electronics Inc. Vehicular lane change system
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US10661716B2 (en) 2002-09-20 2020-05-26 Donnelly Corporation Vehicular exterior electrically variable reflectance mirror reflective element assembly
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10623704B2 (en) 2004-09-30 2020-04-14 Donnelly Corporation Driver assistance system for vehicle
US10509972B2 (en) 2004-12-23 2019-12-17 Magna Electronics Inc. Vehicular vision system
US9940528B2 (en) 2004-12-23 2018-04-10 Magna Electronics Inc. Driver assistance system for vehicle
US11072288B2 (en) 2005-09-14 2021-07-27 Magna Mirrors Of America, Inc. Vehicular exterior rearview mirror assembly with blind spot indicator element
US11285879B2 (en) 2005-09-14 2022-03-29 Magna Mirrors Of America, Inc. Vehicular exterior rearview mirror assembly with blind spot indicator element
US10829053B2 (en) 2005-09-14 2020-11-10 Magna Mirrors Of America, Inc. Vehicular exterior rearview mirror assembly with blind spot indicator
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US10086747B2 (en) 2007-07-12 2018-10-02 Magna Electronics Inc. Driver assistance system for vehicle
US10807515B2 (en) 2007-07-12 2020-10-20 Magna Electronics Inc. Vehicular adaptive headlighting system
US9972100B2 (en) 2007-08-17 2018-05-15 Magna Electronics Inc. Vehicular imaging system comprising an imaging device with a single image sensor and image processor for determining a totally blocked state or partially blocked state of the single image sensor as well as an automatic correction for misalignment of the imaging device
US11328447B2 (en) 2007-08-17 2022-05-10 Magna Electronics Inc. Method of blockage determination and misalignment correction for vehicular vision system
US11908166B2 (en) 2007-08-17 2024-02-20 Magna Electronics Inc. Vehicular imaging system with misalignment correction of camera
US10726578B2 (en) 2007-08-17 2020-07-28 Magna Electronics Inc. Vehicular imaging system with blockage determination and misalignment correction
US11613209B2 (en) 2007-09-11 2023-03-28 Magna Electronics Inc. System and method for guiding reversing of a vehicle toward a trailer hitch
US11763573B2 (en) 2009-02-27 2023-09-19 Magna Electronics Inc. Vehicular control system
US11288888B2 (en) 2009-02-27 2022-03-29 Magna Electronics Inc. Vehicular control system
US9911050B2 (en) 2009-02-27 2018-03-06 Magna Electronics Inc. Driver active safety control system for vehicle
US10839233B2 (en) 2009-02-27 2020-11-17 Magna Electronics Inc. Vehicular control system
US10106155B2 (en) 2009-07-27 2018-10-23 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US11518377B2 (en) 2009-07-27 2022-12-06 Magna Electronics Inc. Vehicular vision system
US10875526B2 (en) 2009-07-27 2020-12-29 Magna Electronics Inc. Vehicular vision system
US10300856B2 (en) 2009-09-01 2019-05-28 Magna Electronics Inc. Vehicular display system
US10053012B2 (en) 2009-09-01 2018-08-21 Magna Electronics Inc. Imaging and display system for vehicle
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US11553140B2 (en) 2010-12-01 2023-01-10 Magna Electronics Inc. Vehicular vision system with multiple cameras
US10868974B2 (en) 2010-12-01 2020-12-15 Magna Electronics Inc. Method for determining alignment of vehicular cameras
US11155211B2 (en) 2010-12-22 2021-10-26 Magna Electronics Inc. Vehicular multi-camera surround view system with video display
US10144352B2 (en) 2010-12-22 2018-12-04 Magna Electronics Inc. Vision display system for vehicle
US11708026B2 (en) 2010-12-22 2023-07-25 Magna Electronics Inc. Vehicular rear backup system with video display
US10589678B1 (en) 2010-12-22 2020-03-17 Magna Electronics Inc. Vehicular rear backup vision system with video display
US11548444B2 (en) 2010-12-22 2023-01-10 Magna Electronics Inc. Vehicular multi-camera surround view system with video display
US10336255B2 (en) 2010-12-22 2019-07-02 Magna Electronics Inc. Vehicular vision system with rear backup video display
US10486597B1 (en) 2010-12-22 2019-11-26 Magna Electronics Inc. Vehicular vision system with rear backup video display
US10814785B2 (en) 2010-12-22 2020-10-27 Magna Electronics Inc. Vehicular rear backup vision system with video display
US10858042B2 (en) 2011-01-26 2020-12-08 Magna Electronics Inc. Trailering assist system with trailer angle detection
US11820424B2 (en) 2011-01-26 2023-11-21 Magna Electronics Inc. Trailering assist system with trailer angle detection
US9950738B2 (en) 2011-01-26 2018-04-24 Magna Electronics Inc. Trailering assist system with trailer angle detection
US10202077B2 (en) 2011-04-25 2019-02-12 Magna Electronics Inc. Method for dynamically calibrating vehicular cameras
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US10654423B2 (en) 2011-04-25 2020-05-19 Magna Electronics Inc. Method and system for dynamically ascertaining alignment of vehicular cameras
US10640041B2 (en) 2011-04-25 2020-05-05 Magna Electronics Inc. Method for dynamically calibrating vehicular cameras
US10919458B2 (en) 2011-04-25 2021-02-16 Magna Electronics Inc. Method and system for calibrating vehicular cameras
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US11285873B2 (en) 2011-07-26 2022-03-29 Magna Electronics Inc. Method for generating surround view images derived from image data captured by cameras of a vehicular surround view vision system
US9919705B2 (en) 2011-10-27 2018-03-20 Magna Electronics Inc. Driver assist system with image processing and wireless communication
US11279343B2 (en) 2011-10-27 2022-03-22 Magna Electronics Inc. Vehicular control system with image processing and wireless communication
US11673546B2 (en) 2011-10-27 2023-06-13 Magna Electronics Inc. Vehicular control system with image processing and wireless communication
US10264249B2 (en) 2011-11-15 2019-04-16 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US11689703B2 (en) 2011-12-09 2023-06-27 Magna Electronics Inc. Vehicular vision system with customized display
US11082678B2 (en) 2011-12-09 2021-08-03 Magna Electronics Inc. Vehicular vision system with customized display
US10129518B2 (en) 2011-12-09 2018-11-13 Magna Electronics Inc. Vehicle vision system with customized display
US10542244B2 (en) 2011-12-09 2020-01-21 Magna Electronics Inc. Vehicle vision system with customized display
US11007937B2 (en) 2012-02-22 2021-05-18 Magna Electronics Inc. Vehicular display system with multi-paned image display
US11607995B2 (en) 2012-02-22 2023-03-21 Magna Electronics Inc. Vehicular display system with multi-paned image display
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US11872939B2 (en) 2012-09-26 2024-01-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11285875B2 (en) 2012-09-26 2022-03-29 Magna Electronics Inc. Method for dynamically calibrating a vehicular trailer angle detection system
US10800332B2 (en) 2012-09-26 2020-10-13 Magna Electronics Inc. Trailer driving assist system
US10586119B2 (en) 2012-09-26 2020-03-10 Magna Electronics Inc. Vehicular control system with trailering assist function
US10089541B2 (en) 2012-09-26 2018-10-02 Magna Electronics Inc. Vehicular control system with trailering assist function
US10904489B2 (en) 2012-10-05 2021-01-26 Magna Electronics Inc. Multi-camera calibration method for a vehicle moving along a vehicle assembly line
US10284818B2 (en) 2012-10-05 2019-05-07 Magna Electronics Inc. Multi-camera image stitching calibration system
US10321064B2 (en) 2012-11-19 2019-06-11 Magna Electronics Inc. Vehicular vision system with enhanced display functions
US10104298B2 (en) 2012-11-19 2018-10-16 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US10486596B2 (en) 2013-02-27 2019-11-26 Magna Electronics Inc. Multi-camera dynamic top view vision system
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US10574885B2 (en) 2013-05-06 2020-02-25 Magna Electronics Inc. Method for displaying video images for a vehicular vision system
US11616910B2 (en) 2013-05-06 2023-03-28 Magna Electronics Inc. Vehicular vision system with video display
US11050934B2 (en) 2013-05-06 2021-06-29 Magna Electronics Inc. Method for displaying video images for a vehicular vision system
US10057489B2 (en) 2013-05-06 2018-08-21 Magna Electronics Inc. Vehicular multi-camera vision system
US10567748B2 (en) 2013-05-21 2020-02-18 Magna Electronics Inc. Targetless vehicular camera calibration method
US10266115B2 (en) 2013-05-21 2019-04-23 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US11597319B2 (en) 2013-05-21 2023-03-07 Magna Electronics Inc. Targetless vehicular camera calibration system
US11109018B2 (en) 2013-05-21 2021-08-31 Magna Electronics Inc. Targetless vehicular camera misalignment correction method
US9979957B2 (en) 2013-05-21 2018-05-22 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US11919449B2 (en) 2013-05-21 2024-03-05 Magna Electronics Inc. Targetless vehicular camera calibration system
US10780826B2 (en) 2013-05-21 2020-09-22 Magna Electronics Inc. Method for determining misalignment of a vehicular camera
US10235775B2 (en) 2015-01-16 2019-03-19 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US11535154B2 (en) 2015-04-21 2022-12-27 Magna Electronics Inc. Method for calibrating a vehicular vision system
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration

Also Published As

Publication number Publication date
JP2015031990A (ja) 2015-02-16

Similar Documents

Publication Publication Date Title
JP6227318B2 (ja) 障害物及び急斜面を検出する検出装置およびそれを備えた車両
CN108520536B (zh) 一种视差图的生成方法、装置及终端
US8204278B2 (en) Image recognition method
JP6442834B2 (ja) 路面高度形状推定方法とシステム
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
JP4702569B2 (ja) 車両用画像処理装置
KR20200040374A (ko) 거리 추정 방법 및 장치
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
JP2016205887A (ja) 路面勾配検出装置
JP6358160B2 (ja) 走行路面検出装置及び走行路面検出方法
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP2013239168A (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
JPWO2017154389A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN110023953A (zh) 信息处理设备、成像设备、装置控制系统、移动体、信息处理方法以及计算机程序产品
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP2018025906A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN108399360B (zh) 一种连续型障碍物检测方法、装置及终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171011

R150 Certificate of patent or registration of utility model

Ref document number: 6227318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250