JP5967463B2 - 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 - Google Patents
物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 Download PDFInfo
- Publication number
- JP5967463B2 JP5967463B2 JP2011154695A JP2011154695A JP5967463B2 JP 5967463 B2 JP5967463 B2 JP 5967463B2 JP 2011154695 A JP2011154695 A JP 2011154695A JP 2011154695 A JP2011154695 A JP 2011154695A JP 5967463 B2 JP5967463 B2 JP 5967463B2
- Authority
- JP
- Japan
- Prior art keywords
- object identification
- image
- polarization
- environment
- polarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010287 polarization Effects 0.000 claims description 216
- 238000012545 processing Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 70
- 238000003384 imaging method Methods 0.000 claims description 44
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims 6
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 125000006850 spacer group Chemical group 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004038 photonic crystal Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Navigation (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
なお、上記問題は、運転者支援システムに用いられる物体識別装置に限らず、ロボット制御などに用いられる物体識別装置など、あらゆる物体識別装置においても同様に生じ得る問題である。
本実施形態においては、天候状況(環境)に応じた各路面状態(乾燥状態、湿潤状態、積雪状態)にそれぞれ適したノイズ除去用パラメータを用いてノイズ除去処理を行うことにより、どの天候状況でも高い認識精度を得ることができるようにするものである。
図示しない車両に搭載された撮像手段としての偏光カメラ10により、移動体である車両が走行する路面(移動面)を含む自車周囲の風景を撮影し、画素(処理領域)ごとの垂直偏光強度(以下、単に「S偏光強度」という。)及び水平偏光強度(以下、単に「P偏光強度」という。)を含んだ偏光RAW画像データを取得する。偏光RAW画像データに含まれるP偏光強度データから得られる水平偏光画像データは水平偏光画像メモリ11に、偏光RAW画像データに含まれるS偏光強度データから得られる垂直偏光画像データは垂直偏光画像メモリ12にそれぞれ格納される。これらの画像データは、それぞれ、モノクロ画像処理部21と、差分偏光度画像処理部22と、ノイズ除去部26に送信される。
この偏光カメラ10Aは、図2に示すように、CCD等の撮像素子を備えた1台のカメラ101の前面に、回転駆動する回転偏光子102を配置したものである。この偏光カメラ10Aは、回転偏光子102の回転角に応じて通過する光の偏光方向が変化する。よって、カメラ101は、回転偏光子102を回転駆動させながら撮像することで、P偏光画像とS偏光画像とを交互に撮像することができる。
図3は、偏光カメラ10の他の構成例を示す説明図である。
この偏光カメラ10Bは、図3のように、CCD等の撮像素子を備えた2台のカメラ111,112を用い、それぞれの前面に、S偏光を透過するS偏光フィルタ113とP偏光を透過するP偏光フィルタ114とを配置したものである。図2に示した偏光カメラ10Aでは、1台のカメラ101でP偏光画像とS偏光画像とを交互に撮像するため、P偏光画像とS偏光画像とを同時に撮影することができなかったが、図3に示した偏光カメラ10Bでは、P偏光画像とS偏光画像とを同時に撮影することができる。
この偏光カメラ10Cは、図4に示すように、撮像素子がP偏光画像とS偏光画像とについて個別に設けられている点では、図3に示した偏光カメラ10Bと同様であるが、各撮像素子が図3に示した偏光カメラ10Bの場合よりも近接配置されている点で大きく異なる。この偏光カメラ10Cによれば、図3に示した偏光カメラ10Bよりも小型化できる。図4に示す偏光カメラ10Cは、レンズアレイ122と、遮光スペーサ123と、偏光フィルタ124と、スペーサ125と、固体撮像ユニット126とが積層されて形成されている。レンズアレイ122は、2つの撮像レンズ122a,122bを有する。この2つの撮像レンズ122a,122bは、互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、それぞれの光軸121a,121bが互いに平行となるように、かつ、同一平面上に配置している。遮光スペーサ123は、2つの開口部123a,123bを有し、レンズアレイ122に対して被写体側とは反対側に設けられている。2つの開口部123a,123bは、光軸121a,121bをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。偏光フィルタ124は、偏光面が90度異なる2つの偏光子領域124a,124bを有する領域分割型の偏光子フィルタであり、遮光スペーサ123に対してレンズアレイ122とは反対側に設けられている。この偏光子領域124a,124bは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分(偏光成分)だけを透過させて直線偏光にする。なお、金属の微細凹凸形状で形成されたワイヤグリッド方式や、オートクローニング型のフォトニック結晶方式を用いることで、境界部が明瞭な領域分割型の偏光子フィルタを得ることができる。スペーサ125は、偏光フィルタ124の偏光子領域偏光a,偏光bに対応する領域が貫通した開口部125aを有する矩形枠状に形成され、偏光フィルタ124に対して遮光スペース123とは反対側に設けられている。固体撮像ユニット126は、基板127上に搭載された2つの固体撮像素子126a,126bを有し、スペーサ125に対して偏光フィルタ124とは反対側に設けられている。本実施形態では、モノクロのセンシングを行うため、これらの固体撮像素子126a,126bはカラーフィルタを備えていない。ただし、カラー画像のセンシングを行う場合には、カラーフィルタを配置する。
この偏光カメラ10Dは、図5に示すように、1:1の透過性を備えるハーフミラー131と、反射ミラー132と、S偏光フィルタ133と、P偏光フィルタ134と、S偏光フィルタ133を介してS偏光を受光するS偏光用CCD135と、P偏光フィルタ134を介してP偏光を受光するP偏光用CCD136とを有する。図3や図4に示した偏光カメラ10B,10Cでは、S偏光画像とP偏光画像の同時撮影は可能であるものの、視差が生じてしまう。これに対し、図5に示した偏光カメラ10Dでは、図示しない同一の撮像光学系(レンズ)を介して受光される同じ光を使ってS偏光画像とP偏光画像を同時撮影するため、視差が生じない。よって、視差ずれ補正などの処理が不要となる。
なお、ハーフミラー131に代えて、P偏光を反射し、かつ、S偏光を透過するプリズム等の偏光ビームスプリッタを用いてもよい。このような偏光ビームスプリッタを用いることで、S偏光フィルタ133やP偏光フィルタ134を省略することが可能となり、光学系の簡素化が図られるとともに、光利用効率も向上できる。
この偏光カメラ10Eは、図6に示すように、撮像レンズ142aの光軸141に沿ってカメラ構成要素が積層されたユニットである点では、図4に示した偏光カメラ10Cと同様であるが、S偏光画像とP偏光画像を単一の撮像レンズ(撮像レンズは光軸に複数枚積層配置してもよい。)142で撮像する点で異なっている。この偏光カメラ10Eによれば、図5に示した偏光カメラ10Dと同様に、S偏光画像とP偏光画像との間で視差が生じない。しかも、図5に示した偏光カメラ10Dよりも小型化できる。なお、図6に示した偏光カメラ10Eの偏光フィルタ144は、偏光面が90度異なる2種類の偏光子領域144a,144bが2つずつ設けられた領域分割型の偏光子フィルタとなっており、これに伴い、4つの固体撮像素子146a,146b,146c,146dが設けられている。
この偏光カメラ10Fは、図7に示すように、領域分割型のフィルタを採用したものである。図7において、縦横に並ぶ正方形が各受光素子の受光部151を示し、縦線で示す領域がS偏光フィルタ152の領域を示し、横線で示す領域がP偏光フィルタ153の領域を示す。この偏光カメラ10Fは、受光素子の画素に1:1で対応させたものではなく、各フィルタ152,153の領域は、横方向に受光素子一個分の幅を持ち、領域の境界線の傾きは2、つまり横方向に1画素分進む間に縦方向に2画素分変化する角度を持つ斜めの帯の形状をとる。このような特殊なフィルタ配置パターンと信号処理を組み合わせることによって、撮像素子配列と領域分割フィルタを接合する際の位置合せの精度が十分でなくとも、画面全体で各フィルタ透過画像を再現することを可能とし、S偏光画像及びP偏光画像を撮像できる低コストの偏光カメラを実現できる。
差分偏光度画像処理部22は、水平偏光画像メモリ11及び垂直偏光画像メモリ12内のP偏光強度データ及びS偏光強度データから、画素ごとに差分偏光度を算出する。差分偏光度は、下記の式(1)に示す計算式から求められる。すなわち、差分偏光度は、P偏光強度とS偏光強度との合計値(輝度合計値)に対するP偏光強度とS偏光強度との差分値(輝度差分値)の比率である。また、差分偏光度は、輝度合計値に対するP偏向強度の比率(P偏光比)と、輝度合計値に対するS偏向強度の比率(S偏光比)との差分値であると言い換えることもできる。なお、本実施形態では、P偏光強度からS偏光強度を差し引く場合について説明するが、S偏光強度からP偏光強度を差し引くようにしてもよい。また、差分偏光度に代えて、下記の式(2)に示す偏光比を用いてもよい。差分偏光度画像処理部15が算出した差分偏光度のデータは、路面状態判定部23に出力される。
差分偏光度=(P偏光強度−S偏光強度)/(P偏光強度+S偏光強度) ・・(1)
偏光比=P偏光強度/S偏光強度 ・・・(2)
通常の道路の車線(区画線)は、運転者が視認しやすいように、アスファルト等の黒い部分に対し、コントラストの高い色(白等)で形成されている。したがって、このような車線(ここでは白線とする。)の輝度は、その他の場所に存在するアスファルト等の物体よりも十分に大きい。よって、モノクロ輝度データが所定の閾値以上の部分を白線と判定することができる。なお、本実施形態で用いるモノクロ輝度データは、上述した偏光カメラ10により得たP偏光強度とS偏光強度の合計値を用いている。
例えば、CRTや液晶等で構成される車内の情報報知手段である表示部(ディスプレイ)に、モノクロ画像処理部で算出した輝度データを用いて生成されるモノクロ画像(フロントビュー画像)を表示し、その画像中の白線部分の情報を、運転者にとって有益な情報として報知するために、運転者が見やすい表示形態で表示する処理が挙げられる。これによれば、例えば、運転者が目視で白線を認識することが困難な状況下であっても、運転者は表示部のフロントビュー画像を見ることで、自車と白線との相対位置関係を把握することができ、白線で区画される走行レーンを維持して走行させることが容易になる。
また、例えば、白線識別部14により識別された白線の位置情報から、自車と白線との相対位置関係を把握する処理を行い、自車が白線で区画される走行レーン上の適正走行位置から外れて走行していないかどうかを判断し、適正走行位置から外れて走行しているときに警報音等を発する処理が挙げられる。あるいは、適正走行位置から外れて走行しているときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
一方、白線識別部14において白線エッジ部が識別できなかった場合、画像中における白線エッジ部の位置を特定するための情報は物体識別部18に出力されない。
また、例えば、物体認識部18により識別された路端エッジ部の位置情報から、自車と路端エッジ部との相対位置関係を把握する処理を行い、自車が路端に近づいて走行していないかどうかを判断し、路端に近づいたときに警報音等を発する処理が挙げられる。あるいは、路端に近づいたときに、自動ブレーキ機能を実行して、自車の走行速度を落とすような処理も挙げられる。
図9は、路端エッジ部と白線エッジ部を識別するための処理全体の流れを示すフローチャートである。
偏光カメラ10により偏光RAW画像データを取得したら、その偏光RAW画像データに含まれるP偏光強度データから得られる水平偏光画像データを水平偏光画像メモリ11に格納するとともに、その偏光RAW画像データに含まれるS偏光強度データから得られる垂直偏光画像データを垂直偏光画像メモリ12に格納する(S1)。その後、まず、差分偏光度画像処理部22は、水平偏光画像メモリ11及び垂直偏光画像メモリ12内のP偏光強度データ及びS偏光強度データから、画素ごとに、上記式(1)に示す計算式より、差分偏光度(識別指標値)を算出する(S2)。この算出結果から得られる差分偏光度画像のデータは、差分偏光度画像処理部22内の図示しない画像メモリに格納される。また、モノクロ画像処理部21は、水平偏光画像メモリ11及び垂直偏光画像メモリ12内のP偏光強度データ及びS偏光強度データから、画素ごとに、モノクロ輝度(当該画素のP偏光強度+S偏光強度)を算出する(S3)。この算出結果から得られるモノクロ画像のデータは、モノクロ画像処理部21内の図示しない画像メモリに格納される。そして、適切なノイズ除去用パラメータを用いてノイズ除去処理が行われる(S4)。
本実施形態において、モノクロ画像処理部21が算出したモノクロ輝度データと、差分偏光度画像処理部15が算出した差分偏光度のデータとを用いて、路面状態判定部23が撮像領域内の路面状態を判断する処理を行う。以下、説明の簡略化のため、路面が乾燥状態であるか湿潤状態であるかを判定し、これらの状態にそれぞれ適したノイズ除去用パラメータ(ε値)を用いてノイズ除去処理を行う場合で説明する。
湿潤状態の路面は、その表面全体が水で覆われており、そのような状況の路面での反射光は水中から空気中に透過して偏光カメラ10に受光されることになる。そのため、P偏光成分はS偏光成分よりも水から空気への透過率が高いという特性を利用することで、P偏光成分が相対的に大きい場合には、路面が湿潤状態と判定することができる。あるいは、S偏光成分とP偏光成とがほぼ同等である場合には、路面が乾燥状態であると判定することもできる。したがって、本実施形態のように輝度値と差分偏光度を予め設定した閾値(第1閾値や第2閾値)と比較することで、路面状態を判定することができる。本実施形態では、この特性を利用して、上記S11において、モノクロ輝度値が第1閾値未満であり、かつ、差分偏光度が第2閾値以上であると判断された場合には、路面が湿潤状態であると判定している。
図14は、雨の日で路面が湿潤状態であるときの高速道路のサンプル画像100枚について、図11に示した3点(A点、B点、C点)の箇所における差分偏光度をプロットしたグラフである。
これらのグラフに示すとおり、3点間における差分偏光度のバラツキは、乾燥状態よりも湿潤状態の方が小さい。この特性を利用すれば、路面が乾燥状態であるか湿潤状態であるかを判別することができる。本実施形態では、この特性を利用して、上記S13及び上記S14において、A−B点間及びB−C点間における差分偏光度の差分値を算出し、これらの差分値がいずれも第3閾値未満である場合には路面が湿潤状態であると判定している。
また、ノイズが除去された後のP偏光強度データ及びS偏光強度データから差分偏光度画像処理部15が差分偏光度画像データを算出し、これを用いて物体認識部18が識別対象物の物体識別処理を行う(S6)。以下の説明では、識別対象物が路端エッジ部である場合を例に挙げて説明するが、識別対象物が白線エッジ部であったりその他の物体であったりする場合も同様である。
本実施形態の物体識別処理では、上述したノイズ除去処理によりノイズ成分が除去された後の画像(ここでは差分偏光度画像とする。)を入力し(S21)、その画像に対してエッジ判別処理を行う。このエッジ判別処理では、まず、ノイズ除去後の差分偏光度画像を元にエッジ画像を作成する(S22)。このエッジ画像の作成は、処理対象として入力されたノイズ除去後の差分偏光度画像に対して公知のエッジ抽出処理を施して作成する。エッジ抽出処理を施すことにより、差分偏光度が急激に変化する部分の変化度合いに応じたエッジ値(エッジの強さ)が得られ、そのエッジ値の違いを輝度の違いで表現したエッジ画像を得ることができる。
また、撮像画像の上方部分と下方部分とでは、物体からの反射光の強度に差がある。これは、撮像画像の上方部分は遠くに位置する物体を撮影した部分であるため、近くに位置する物体を撮影した下方部分よりも、反射光の強度は小さいものとなる。したがって、撮像画像の上方部分と下方部分とではコントラストが異なることになるため、この違いを考慮し、撮像画像の上方部分と下方部分とで、用いるエッジ閾値を異ならせるようにしてもよい。
なお、白線識別部14により白線が識別できていない場合には、各処理ラインについて、例えば画像中央から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行い、これにより得られるエッジ部を路端エッジ部の候補点として抽出する。
また、白線識別部14により1本の白線だけが識別できている場合には、各処理ラインについて、その白線の内側部分から左右方向に向けてエッジを探索する処理を行う。そして、この処理を処理ライン全部について行うことで、その白線を除いた画像部分に存在するエッジ部を路端エッジ部の候補点として抽出する。
上述した物体識別処理(S21〜S25)を、偏光カメラ10にて所定の時間間隔で連続的に撮影して得られる偏光画像データについて行い。路端エッジ部であると特定された領域については、その処理結果が所定のメモリに記憶される。このメモリに記憶される過去の処理結果(例えば、直前に撮像された偏光画像データについての処理結果)を利用し、今回の処理により特定された路端エッジ部が、その領域に対応する過去の処理結果でも路端エッジ部であると特定されていれば、今回の処理結果が信頼度の高いものであると判断する。そして、この信頼度を路端エッジ部として特定する際に利用する。今回の処理結果に係る領域に対応する過去の処理結果は、例えば、今回の処理結果に係る領域の位置と自車の進行方向とから、対応する過去の処理結果に係る領域の位置を検索して、対応する過去の処理結果を特定する。
図16は、自車が直線道路を走行しているときの差分偏光度画像から特定される白線部分の候補点と、白線用の形状テンプレート(白線テンプレート)に対応する白線部分とを重ねて表示した説明図である。
上述した路端エッジ部の場合と同様にして、差分偏光度画像処理部15で生成される差分偏光度画像から白線部分の候補点を抽出したら、形状近似認識処理により白線テンプレートと比較する。ここで、物体認識部18による物体識別処理の対象領域(物体識別対象領域)は、処理時間の短縮化等の観点から、撮像画像の全体ではなく、撮像画像の一部に制限することがある。例えば、図16に示す例では、画像上端近傍と画像下端近傍については物体識別対象領域から除外されている。また、白線の識別に限って言えば、画像横方向中央部分についても物体識別対象領域から除外してもよい場合がある。
図17の例では、図中左側の白線部分に対応する候補点は白線テンプレートに一致しているが、図中右側の白線部分に対応する候補点は白線テンプレートに一致していない。このような場合、図中左側の白線部分に対応する候補点は白線テンプレートと一致しているので、その候補点が白線部分であると特定し、その位置を記憶する。一方、図中右側の白線部分に対応する候補点は白線テンプレートと一致していない。そのため、その候補点は白線ではないと判断してもよいが、図中右側の白線テンプレートの箇所を白線部分であると特定し、その位置を記憶してもよい。
(態様A)
本態様に係る物体識別装置は、撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる2つの偏光(P偏光成分及びS偏光成分)を受光して、それぞれの偏光画像(P偏光画像及びS偏光画像)を撮像する撮像手段としての偏光カメラ10と、ノイズ除去用パラメータ(ε値)を用いて偏光カメラ10が撮像したP偏光画像及びS偏光画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段としてのノイズ除去部26と、偏光カメラ10が撮像した2つの偏光画像をそれぞれ所定の識別処理領域(画素ごと)に分割し、画素ごとに、ノイズ除去部26によりノイズ成分が除去されたP偏光画像及びS偏光画像の輝度情報から物体識別用指標値である差分偏光度やモノクロ輝度を算出する指標値算出手段としてのモノクロ画像処理部13や差分偏光度画像処理部15と、モノクロ画像処理部13や差分偏光度画像処理部15が算出した各画素の差分偏光度やモノクロ輝度に基づいて白線エッジ部や路端エッジ部に対応する画素を特定し、白線エッジ部や路端エッジ部に対応する画素として特定した互いに近接する複数の画素を白線エッジ部や路端エッジ部の画像領域であると識別する物体識別処理を行う物体識別処理手段としての白線識別部14や物体認識部18とを有している。更に、この物体識別装置は、撮像領域内に存在する物体の環境(乾燥状態か湿潤状態か積雪状態か)を特定するための環境情報としてのモノクロ輝度及び差分偏光度を取得する環境情報取得手段としてのモノクロ画像処理部21や差分偏光度画像処理部22と、取得した環境情報(モノクロ輝度及び差分偏光度)に基づいて撮像領域内に存在する物体の環境(乾燥状態か湿潤状態か積雪状態か)を特定する環境特定手段としての路面状態判定部23と、予め決められた互いに異なる複数の環境(乾燥状態と湿潤状態と積雪状態)ごとに、当該環境下で撮像されたP偏光画像及びS偏光画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータ(ε値)を記憶するパラメータ記憶手段としてのパラメータ記憶部24とを有している。そして、パラメータ選択部25が路面状態判定部23が特定した路面状態に対応するノイズ除去用パラメータ(ε値)をパラメータ記憶部24から読み出し、ノイズ除去部26は、そのノイズ除去用パラメータ(ε値)を用いてノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からノイズ成分を適切に除去することができるので、いずれの路面状態でも高い物体識別精度を得ることができる。
上記態様Aにおいて、ノイズ除去用パラメータは、P偏光画像及びS偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であるε値であり、ノイズ除去処理は、このε値に基づいて偏光カメラ10が撮像したP偏光画像及びS偏光画像中の輝度情報がノイズ成分であるか否かを判断し、ノイズ成分であると判断された輝度情報がモノクロ画像処理部13によるモノクロ輝度の算出や差分偏光度画像処理部15による差分偏光度の算出で用いられないように除外するインパルスノイズ除去処理を含んでいる。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像からインパルスノイズを適切に除去することができる。
上記態様Bにおいて、上記インパルスノイズ除去処理は、P偏光画像及びS偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記ε値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除外する処理である。
これによれば、簡易な処理でインパルスノイズを適切に除去できる。
上記態様Cにおいて、上記ノイズ除去処理は、上記インパルスノイズ除去処理を行った後に、P偏光画像及びS偏光画像中の注目画素の輝度情報と該注目画素周辺に位置する複数の周辺画素の輝度情報とに基づいて、該注目画素及び該複数の周辺画素により区画されるノイズ除去処理領域内の輝度情報に含まれる高周波ノイズを除去する高周波ノイズ除去処理を行う。
これによれば、路面が乾燥状態であっても湿潤状態であっても、その撮像画像から高周波ノイズを適切に除去することができる。
上記態様A〜Dのいずれかの態様において、パラメータ記憶部24に記憶される各路面状態のノイズ除去用パラメータ(ε値)は、当該環境下において互いに異なる複数の撮像領域でP偏光画像及びS偏光画像を撮像して得られた複数(例えば100枚)の偏光画像サンプルを用い、当該環境下で撮像されるP偏光画像及びS偏光画像のノイズ成分をノイズ除去処理により高い精度で除去できるように調整されたノイズ除去用パラメータ(ε値)である。
これによれば、各路面状態に最適化されたノイズ除去用パラメータ(ε値)の調整が容易である。
上記態様A〜Dのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ10が撮像したP偏光画像及びS偏光画像間における輝度情報の比率を示す上記式(2)に示した偏光比を用いる。
(態様G)
上記態様A〜Dのいずれかの態様において、物体識別用指標値として、画素ごとに、偏光カメラ10が撮像したP偏光画像及びS偏光画像間における輝度合計値に対する該P偏光画像及びS偏光画像間における輝度差分値の比率を示す差分偏光度を用いる。
いずれの態様でも、モノクロ輝度を物体識別用指標値とした場合に物体識別精度が低い状況下で、高い物体識別精度を得ることが可能である。
上記態様F又は上記態様Gにおいて、環境情報として、物体識別用指標値(モノクロ輝度や差分偏光度)を採用し、この物体識別用指標値に基づいて路面状態を特定する。
これによれば、環境情報を取得するための別手段が不要となり、構成の簡素化を実現できる。
上記態様Hにおいて、撮像領域内の複数箇所(A点、B点、C点)に対応した差分偏光度間のばらつきに応じて路面状態を特定する。
これによれば、路面が乾燥状態か湿潤状態かを高い精度に判別することができる。
上記態様A〜Iのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両(自車)の移動制御を行う移動制御手段しての走行支援ECUを備えた移動体制御装置としての自動ブレーキシステムに適用する。
上記態様A〜Iのいずれかの態様に係る物体識別装置を、上述したように、当該物体識別装置による識別結果を利用して移動体である車両(自車)を運転操作する運転者にとって有益な情報を生成し、生成した情報を当該運転者に報知する情報提供装置に適用する。
また、本実施形態では、撮像領域内における物体の環境として路面状態を特定する場合を例に挙げて説明したが、環境の違いによって物体の識別精度に影響を与えるような環境であれば、路面状態とは異なる環境についても適用可能である。その場合、特定する環境の種類に応じて、適切な環境特定方法を適宜選定する。
11 水平偏光画像メモリ
12 垂直偏光画像メモリ
13 モノクロ画像処理部
14 白線識別部
15 差分偏光度画像処理部
17 形状記憶部
18 物体認識部
21 モノクロ画像処理部
22 差分偏光度画像処理部
23 路面状態判定部
24 パラメータ記憶部
25 パラメータ選択部
26 ノイズ除去部
Claims (10)
- 撮像領域内に存在する物体からの反射光に含まれている偏光方向が互いに異なる2つの偏光を受光して、それぞれの偏光画像を撮像する撮像手段と、
撮像領域内に存在する物体の環境を特定するための環境情報を取得する環境情報取得手段と、
該環境情報取得手段が取得した環境情報に基づいて撮像領域内に存在する物体の環境を特定する環境特定手段と、
該環境特定手段が特定した環境に応じたノイズ除去用パラメータを用いて、上記撮像手段が撮像した2つの偏光画像のノイズ除去処理を行うノイズ除去処理手段と、
該ノイズ除去処理手段によりノイズが除去された2つの偏光画像の輝度情報から物体識別用指標値を算出する指標値算出手段と、
該指標値算出手段が算出した物体識別指標値と所定の閾値との比較結果に基づいて識別対象物の画像領域を識別する物体識別処理を行う物体識別処理手段とを有し、
上記ノイズ除去用パラメータは、予め決められた互いに異なる複数の環境ごとに設定され、上記2つの偏光画像中の輝度情報がノイズ成分であるか否かを判断するための閾値であり、
上記ノイズ除去処理では、上記撮像手段が撮像した2つの偏光画像中の輝度情報がノイズ成分であるか否かを上記閾値に基づいて判断し、ノイズ成分であると判断された輝度情報を除去することを特徴とする物体識別装置。 - 請求項1の物体識別装置において、
上記ノイズ除去処理では、上記撮像手段が撮像した2つの偏光画像中の注目画素と該注目画素周辺に位置する周辺画素との間の輝度差が上記閾値を超えるとき、当該周辺画素の輝度情報がノイズ成分であると判断して除去することを特徴とする物体識別装置。 - 請求項1又は2に記載の物体識別装置において、
上記閾値は、上記複数の環境下それぞれにおいて撮像して得られた複数の画像を用いて定められることを特徴とする物体識別装置。 - 請求項1乃至3のいずれか1項に記載の物体識別装置において、
上記環境情報取得手段が取得する環境情報は、上記撮像手段により撮像された2つの偏光画像の輝度情報を含み、
上記環境特定手段は、該環境情報取得手段が取得した輝度情報に基づいて環境を特定することを特徴とする物体識別装置。 - 請求項1乃至4のいずれか1項に記載の物体識別装置において、
上記指標値算出手段は、上記物体識別用指標値として、上記撮像手段が撮像した2つの偏光画像間における輝度情報の比率を示す偏光比を算出することを特徴とする物体識別装置。 - 請求項1乃至4のいずれか1項に記載の物体識別装置において、
上記指標値算出手段は、上記物体識別用指標値として、上記撮像手段が撮像した2つの偏光画像間における輝度合計値に対する該2つの偏光画像間における輝度差分値の比率を示す差分偏光度を算出することを特徴とする物体識別装置。 - 請求項5又は6の物体識別装置において、
上記環境情報取得手段が取得する環境情報は、上記指標値算出手段が算出した物体識別用指標値を含み、
上記環境特定手段は、該環境情報取得手段が取得した物体識別用指標値に基づいて環境を特定することを特徴とする物体識別装置。 - 請求項7の物体識別装置において、
上記環境特定手段は、上記撮像領域内の複数箇所に対応した物体識別用指標値間のばらつきに応じて環境を特定することを特徴とする物体識別装置。 - 請求項1乃至8のいずれか1項に記載の物体識別装置による物体識別手段と、
移動体の移動制御を行う移動制御手段とを有し、
上記移動制御手段は、上記物体識別手段による識別結果を用いて上記移動制御を行うことを特徴とする移動体制御装置。 - 請求項1乃至8のいずれか1項に記載の物体識別装置による物体識別手段と、
上記物体識別手段による識別結果から報知情報を生成する報知情報生成手段と、
該報知情報生成手段が生成した報知情報を観察者に報知する情報報知手段とを有することを特徴とする情報提供装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011154695A JP5967463B2 (ja) | 2010-09-16 | 2011-07-13 | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
EP11180655.0A EP2439716B1 (en) | 2010-09-16 | 2011-09-09 | Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device |
US13/230,009 US9025027B2 (en) | 2010-09-16 | 2011-09-12 | Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010208415 | 2010-09-16 | ||
JP2010208415 | 2010-09-16 | ||
JP2011154695A JP5967463B2 (ja) | 2010-09-16 | 2011-07-13 | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012084121A JP2012084121A (ja) | 2012-04-26 |
JP5967463B2 true JP5967463B2 (ja) | 2016-08-10 |
Family
ID=46242878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011154695A Expired - Fee Related JP5967463B2 (ja) | 2010-09-16 | 2011-07-13 | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5967463B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768822B (zh) * | 2012-09-20 | 2017-04-19 | 谷歌公司 | 检测公路天气状况的方法和系统 |
JP6189523B2 (ja) * | 2013-04-11 | 2017-08-30 | グーグル インコーポレイテッド | 車載センサを用いて気象状態を検出する方法及びシステム |
JP6417666B2 (ja) | 2013-05-15 | 2018-11-07 | 株式会社リコー | 画像処理システム |
JP6201519B2 (ja) * | 2013-08-21 | 2017-09-27 | 株式会社リコー | 座標検知装置、及び座標検知方法、及び電子情報ボードシステム |
JP6485078B2 (ja) | 2014-02-18 | 2019-03-20 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理装置 |
EP3171241A4 (en) * | 2014-07-16 | 2017-12-13 | Ricoh Company, Ltd. | System, machine, control method, and program |
JP2016127333A (ja) | 2014-12-26 | 2016-07-11 | 株式会社リコー | 撮像素子および撮像装置および撮像情報認識システム |
JP6468162B2 (ja) * | 2015-10-19 | 2019-02-13 | 株式会社デンソー | 障害物報知装置 |
KR102355823B1 (ko) * | 2019-12-30 | 2022-01-26 | 성균관대학교산학협력단 | 진공 그리퍼를 이용해 파지 대상물을 파지하여 이송하는 시스템 및 방법 |
JP7460282B2 (ja) * | 2020-07-02 | 2024-04-02 | アルプスアルパイン株式会社 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4183542B2 (ja) * | 2003-03-28 | 2008-11-19 | 名古屋電機工業株式会社 | 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム |
JP5176289B2 (ja) * | 2006-06-05 | 2013-04-03 | 三菱電機株式会社 | 赤外線目標選択装置 |
JP4395789B2 (ja) * | 2006-10-30 | 2010-01-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2009059260A (ja) * | 2007-09-03 | 2009-03-19 | Alpine Electronics Inc | 立体物識別装置および立体物識別方法 |
-
2011
- 2011-07-13 JP JP2011154695A patent/JP5967463B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012084121A (ja) | 2012-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5967463B2 (ja) | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
JP5761601B2 (ja) | 物体識別装置 | |
JP5867807B2 (ja) | 車両識別装置 | |
JP5696927B2 (ja) | 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
KR101404924B1 (ko) | 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치 | |
JP5686281B2 (ja) | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
CN103322974B (zh) | 多透镜摄像机系统、安装多透镜摄像机系统的交通工具,以及由多透镜摄像机系统执行的测距方法 | |
CN106611512B (zh) | 前车起步的处理方法、装置和系统 | |
US8687896B2 (en) | Picture image processor, method for processing picture image and method for processing picture image | |
US9965690B2 (en) | On-vehicle control device | |
CN102450023B (zh) | 图像采集方法以及自动摄像机系统的图像采集装置 | |
JP5267101B2 (ja) | 車両用対象物検出装置 | |
JP2011150687A (ja) | 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置 | |
CN106461387B (zh) | 立体相机设备和设置有立体相机的车辆 | |
JP5077088B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2014006885A (ja) | 段差認識装置、段差認識方法及び段差認識用プログラム | |
CN104380341A (zh) | 车辆周边对象物检测装置 | |
JP2008174028A (ja) | 対象物検出システム、及び対象物検出方法 | |
JP2014016981A (ja) | 移動面認識装置、移動面認識方法及び移動面認識用プログラム | |
JP5957182B2 (ja) | 路面上パターン認識方法および車両用情報記録装置 | |
WO2014050285A1 (ja) | ステレオカメラ装置 | |
JP4661578B2 (ja) | 移動体認識装置 | |
JP2006317193A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2006024120A (ja) | 車両用画像処理システム及び画像処理装置 | |
JP2007085745A (ja) | 物体監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160623 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5967463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |