JP6970568B2 - 車両の周辺監視装置と周辺監視方法 - Google Patents

車両の周辺監視装置と周辺監視方法 Download PDF

Info

Publication number
JP6970568B2
JP6970568B2 JP2017183037A JP2017183037A JP6970568B2 JP 6970568 B2 JP6970568 B2 JP 6970568B2 JP 2017183037 A JP2017183037 A JP 2017183037A JP 2017183037 A JP2017183037 A JP 2017183037A JP 6970568 B2 JP6970568 B2 JP 6970568B2
Authority
JP
Japan
Prior art keywords
threshold value
parallax
peripheral monitoring
evaluation
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017183037A
Other languages
English (en)
Other versions
JP2019061303A (ja
Inventor
敏彦 寺田
尚秀 内田
裕丈 石神
宏晃 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2017183037A priority Critical patent/JP6970568B2/ja
Priority to US16/136,891 priority patent/US10853692B2/en
Publication of JP2019061303A publication Critical patent/JP2019061303A/ja
Application granted granted Critical
Publication of JP6970568B2 publication Critical patent/JP6970568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Description

本発明は、対象物を異なる位置から撮影した複数の撮像画像を用いて、車両の周辺を監視する周辺監視装置、周辺監視方法に関する。
ステレオカメラ等の撮像装置を用いて車両の周辺の対象物を異なる位置から撮影した複数の撮像画像を取得し、この複数の撮像画像から視差を算出して対象物の位置等を検出することで、車両の周辺を監視する周辺監視装置が知られている。対象物の検出には、撮影位置が異なる2つの撮像画像の間で対応する画素を探索することにより画素ごとの視差値を求めるステレオマッチング処理が行われる。
撮像環境が悪化した場合には、ステレオマッチング処理におけるミスマッチングが発生しやすく、周辺監視装置の誤作動または未作動が発生し、車両制御系への指令等が適切に実行されなくなる場合がある。このため、撮像環境が悪化したことを検知して、周辺監視装置による車両の制御指令等を停止する技術が開発されている。
一方で、撮像環境の悪化の程度が深刻でない場合には、周辺監視装置による車両の制御を継続した方が好ましいことがある。このため、例えば、特許文献1では、撮像画像に基づいて撮像環境の悪化の程度を3段階に分けて評価し、悪化の程度が最も高いと評価された画素領域が存在する場合と、悪化の程度が中程度である画素領域が一定数以上存在する場合に運転支援制御を停止している。撮像環境の悪化の程度が中程度であるときには、画像認識性能が限界に達するほどに画像領域の点数が不足するまで運転支援制御の停止を行わないようにすることで、運転支援制御を継続している。
特許第5172422号公報
例えば、画像にワイパー等の障害物が撮影された場合には、障害物によって遮蔽された画素領域の輝度は大きく低下する一方で、遮蔽されなかった画素領域の輝度は低下しないため、遮蔽されなかった画素領域を使用して視差点数を確保して周辺環境を十分に認識できる場合がある。特許文献1では、一部の画素領域でのみ輝度が大きく低下する場合であっても、その画素領域について悪化の程度が最も高い段階であると評価されると、直ちに運転支援制御が停止される。このため、周辺環境を十分に認識でき、運転支援を停止する必要がない場合であっても、運転支援制御が停止される場合があった。
本発明は、上記実情に鑑み、ワイパー等の障害物によって画像の一部が遮蔽した場合に、周辺監視装置による画像処理や車両の制御が不必要に停止されることを抑制することを目的とする。
本発明は、対象物を異なる位置から撮影した複数の画像を取得する画像取得部と、前記複数の画像にて区画される複数の画素領域のうち視差の算出が可能な画素領域の個数である視差点数と、前記複数の画素領域のうち認識信頼性の高い画素領域の個数である信頼度点数とを算出するマッチング処理部と、前記視差点数と前記信頼度点数に基づいて、前記複数の画像を撮影した撮像環境を評価する評価部とを備える車両の周辺監視装置を提供する。
本発明の周辺監視装置によれば、撮像環境を評価するための評価値を、信頼度点数と視差点数とに基づいて算出する。例えば、障害物が撮像される等によって一部の画素領域でのみ輝度が大きく低下した場合に、いずれもその値が小さくなる信頼度点数と視差点数の双方に基づいて評価値を算出するため、評価値が大きく変化し過ぎないようにすることができる。一部の画素領域でのみ輝度が大きく低下しても周辺環境を認識できるような場合に、評価値の値が大きく変化し過ぎて周辺監視装置による画像処理や車両の制御が不必要に停止されることを抑制することができる。
本発明は、また、上記の周辺監視装置によって実現可能な車両の周辺監視方法を提供することができる。この方法は、対象物を異なる位置から撮影した複数の画像を取得する画像取得ステップと、前記複数の画像にて区画される複数の画素領域のうち視差の算出が可能な画素領域の個数である視差点数と、前記複数の画素領域のうち認識信頼性の高い画素領域の個数である信頼度点数とを算出するマッチング処理ステップと、前記視差点数と前記信頼度点数に基づいて、前記複数の画像を撮影した撮像環境を評価する評価ステップとを含む。
本実施形態に係る周辺監視装置を示すブロック図。 信頼度点数Rについて説明する図。 図3(a)は、障害物が撮像されていない基準画像To、図3(b)は障害物が撮像されている参照画像。 周辺監視装置が行う演算処理のフローチャート。
図1に示すように、本実施形態に係る周辺監視装置10は、画像取得部100と、環境取得部102と、マッチング処理部110と、評価部120と、画像処理部140とを備えている。マッチング処理部110は、視差点数算出部111と、信頼度点数算出部112とを備えている。評価部120は、閾値算出部121と、評価値算出部122と、判定部123とを備えている。
周辺監視装置10は、A/D変換回路、I/O、CPU、RAM、ROM、画像メモリ等を含む電子制御ユニット(ECU)であり、CPUは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。CPUに替えて、またはCPUとともに、デジタル処理回路を書き込んだFPGA(Field-Programmable Gate Array)等を備えていてもよい。
撮像装置21、22、および環境測定装置23から出力される信号は、デジタル信号に変換されて、周辺監視装置10のCPUに入力される。周辺監視装置10は、入力信号に基づいて画像処理を行い、画像データや制御信号を報知装置161、表示装置162、運転制御装置163等の外部装置160に出力する。
画像取得部100は、一対の撮像装置21、22が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。撮像装置21,22は、CCDやCMOSセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置21、22は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置21、22は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。
撮像装置21は、基準画像Toを出力し、撮像装置22は、参照画像Tcを出力する。撮像装置21及び撮像装置22は、互いに同期が取れており、同一タイミングで周辺環境を撮影し、一対のアナログ画像To,Tcを画像取得部100へ出力する。
環境測定装置23は、撮像装置21,22が撮影する周辺環境について環境条件値を測定する装置である。環境測定装置23によって測定される環境条件値は、撮影される画像に影響する環境条件値であることが好ましく、例えば、照度、温度、湿度等を挙げることができる。本実施形態では、環境測定装置23が照度計である場合を例示して説明する。
環境測定装置23は、撮像装置21,22が画像を撮影した時刻において、撮像環境の照度を測定し、照度データとして環境取得部102に出力する。
画像取得部100は、A/D変換回路により、撮像装置21,22から入力された一対のアナログ画像To,Tcを、それぞれ所定の輝度階調のデジタル画像に変換して、マッチング処理部110に出力する。環境取得部102は、環境測定装置23が測定した照度データを取得し、デジタルデータに変換して評価部120の閾値算出部121に出力する。
マッチング処理部110は、画像取得部100が取得した複数の画像To,Tcに基づいて、マッチング処理を行う。画像To,Tcに基づいて、視差点数算出部111は視差点数Pを算出し、信頼度点数算出部112は信頼度点数Rを算出する。視差点数Pおよび信頼度点数Rは、評価値算出部122に出力される。
視差点数算出部111は、基準画像Toおよび参照画像Tcを、所定の画素領域に分割する。そして、基準画像Toの各画素領域PBoごとに、参照画像Tc中においてその画素領域PBoに対応するエピポーララインEPLを設定し、画素領域PBoと、エピポーララインEPL上に存在する参照画像Tc中の画素領域PBcの輝度パターンとを比較する。画素領域PBoと画素領域PBcの比較に際しては、例えば、SAD(sum of absolute difference)、SSD(Sum of Squared Difference)等の評価関数を用いることができる。また、マッチング手法としては、限定されないが、SGM(Semi-Global Matching)法を好適に用いることができる。
視差点数算出部111は、基準画像Toおよび参照画像Tcの画素領域のうち、視差の算出が可能な画素領域の個数を視差点数Pとして算出する。さらに、視差点数算出部111は、視差を算出可能な各画素領域について視差を算出し、視差の値と、視差画像と、画像取得部100から取得した画像データ(撮像画像)とを画像処理部140に出力する。
信頼度点数算出部112は、基準画像Toおよび参照画像Tcの画素領域のうち、認識信頼性の高い画素領域の個数を信頼度点数Rとして算出する。ここで、認識信頼性が高いとは、その画素領域に撮影されている対象物の認識性が高いことを意味する。その画素領域に撮影されている対象物の認識性が低いと、信頼度点数Rは小さくなり、基準画像To上の探索対象となる画素領域に類似する参照画像Tc上の画素領域を探索することが困難となる。その画素領域に撮影されている対象物の認識性が高いと、信頼度点数Rは大きくなり、基準画像To上の対象画素領域に類似する参照画像Tc上の画素領域を探索することが容易となる。例えば、画素領域の輝度が高過ぎたり、低過ぎたりする場合には、その画素領域に撮影されている対象物の認識性が低くなり、信頼度点数Rは小さくなる。
信頼度点数Rは、以下に例示的に説明する信頼度フラグを用いて算出することができる。まず、SGM法を用いて、基準画像To上の対象画素と、参照画像Tc上の探索画素領域との類似度f(D)を算出する。縦軸を類似度f(D)、横軸を視差値Dとしてプロットすると、例えば、図2のように、1つの最小値(図2中のkminで示す)と、複数の極小値(図2中のk1〜k5で示す)が現れる。
図2のグラフにおいて、複数の極小値k1〜k5における類似度f(D)の値に対して、最小値kminにおける類似度f(D)の値が突出しているほど、信頼度フラグはON状態になりやすい。信頼度点数算出部112は、複数の極小値k1〜k5における類似度f(D)の平均値faと、最小値kminにおける類似度fminとを用いて、FR=|fmin−fa|の値を算出する。そして、信頼度点数算出部112は、FRの値が所定値以上である場合に、信頼度フラグはON状態であると判定し、FRの値が所定値未満である場合に、信頼度フラグはOFF状態であると判定する。信頼度点数算出部112は、信頼度フラグがON状態である画素領域の個数を信頼度点数Rとして算出する。
評価値算出部122は、視差点数Pと信頼度点数Rとを用いて、下記式(1)に示す評価値Eを算出し、判定部123に出力する。
E=R/P … (1)
ワイパー等の障害物が撮影された場合には、その障害物によって遮蔽された画素領域について、信頼度点数Rの数値が小さくなる。例えば、図3(a)に示すように、基準画像Toにはワイパーが撮像されていないのに対し、図3(b)に示すように、参照画像TcにワイパーWが撮像された場合には、図3(b)に示すWに含まれる画素領域において認識信頼性が低くなり、信頼度点数Rが低くなる。このような場合、例えば、評価値として、信頼度点数Rを全画素数Pallで除した数値(R/Pall)を用いると、評価値は著しく小さくなる。
これに対して、本実施形態では、評価値算出部122は、上記式(1)に示す評価値Eを算出する。図3(a)(b)のような場合には、図3(b)に示すWに含まれる画素領域においては、視差を算出するための画素領域を見つけることができないため、Wに含まれる画素領域の分だけ視差点数Pの値も小さくなる。また、図3(b)に示すWに含まれる画素領域は、輝度が低下して認識信頼性が低くなっており、マッチング処理に利用できないため、Wに含まれる画素領域の分だけ信頼度点数Rの値も小さくなる。信頼度点数Rと視差点数Pの双方が小さくなるため、評価値Eは、それほど小さくならない。
閾値算出部121は、照度データに基づいて、第1閾値X1および第2閾値X2を算出し、判定部123に出力する。評価値Eの値は、撮像環境の照度(明るさの指標)によって全体的に変化するため、撮像環境の照度に応じて閾値X1、X2を適切に変更することが好ましい。明るい環境では、評価値Eの値が全体的に上昇し、暗い環境では、評価値Eの値が全体的に下降する。閾値算出部121は、環境取得部102から取得した照度に基づいて閾値X1および閾値X2を算出する。このため、照度が高い場合には、閾値X1および閾値X2を比較的高い値に設定し、照度が低い場合には、閾値X1および閾値X2を比較的低い値に設定することができる。
例えば、夜間に走行する車両が暗い環境から市街地などの明るい環境に移動した場合には、撮像環境の照度が著しく上昇する。一方、昼間に走行する車両が明るい環境からトンネルなどの暗い環境に移動すると、撮像環境の照度が著しく下降する。閾値算出部121は、このような照度の変化が計測された場合には、閾値X1および閾値X2を再算出するように構成されていてもよい。
判定部123は、評価値Eと、閾値X1,X2とを用いて、撮像環境が悪化したか否かを判定する。判定部123は、撮像環境が悪化していないと判定した場合には、画像処理部140に画像処理を指示する。判定部123は、さらに、撮像環境の悪化の程度を判定可能に構成することもできる。例えば、判定部123は、撮像環境の悪化の程度が大きいと判定した場合には、異常の報知や運転制御の停止指示を行い、撮像環境の悪化の程度が小さいと判定した場合には、画像処理部140に画像処理を指示するように構成されていてもよい。
画像処理部140は、視差点数算出部111から入力された、視差の値と、視差画像と、撮像画像とを用いて画像処理を行い、画像データや制御信号を外部装置160の表示装置162や運転制御装置163に出力する。
図4に、周辺監視装置10によって実施される周辺監視方法の一部を構成する、周辺監視装置10が行う演算処理のフローチャートを示す。画像取得部100は、画像取得ステップ(ステップS101)を実行し、撮像装置21,22から一対のアナログ画像To,Tc取得してデジタル画像に変換する。環境取得部102は、環境測定装置23が測定した照度データを取得し(ステップS101)、デジタルデータに変換する。
マッチング処理部110は、マッチング処理ステップ(ステップS102)を行う。具体的には、視差点数算出部111は、視差点数Pを算出し、信頼度点数算出部112は、信頼度点数Rを算出する(ステップS102)。
評価部120は、評価ステップ(ステップS103〜ステップS124)を行う。具体的には、評価値算出部122は、視差点数Pと信頼度点数Rとを用いて、上記式(1)に基づいて評価値Eを算出する(ステップS102)。閾値算出部121は、ステップS101において取得した照度データに基づいて、第1閾値X1および第2閾値X2を算出(ステップS103)する。
判定部123は、評価値Eと、閾値X1,X2とを用いて、撮像環境が悪化したか否かを判定し(ステップS104、ステップS106)、撮像環境の悪化の程度を「悪環境1」と「悪環境2」にランク設定する。「悪環境1」は、悪化の程度が比較的低く、画像処理が可能な第1段階に相当する。「悪環境2」は、悪化の程度が比較的高く、画像処理が不可能な第2段階に相当する。
「悪環境1」のランク設定および設定解除は、評価値Eと閾値X1との大小関係によって直ちに実行される。「悪環境2」のランク設定および解除は、評価値Eと閾値X2との大小関係と、カウンタ数b、カウンタ数gと閾値Y1,Y2との比較との双方によって実行される。閾値Y1,Y2は、周辺監視装置10に予め記憶されている。
判定部123は、評価値Eと閾値X1とを比較し(ステップS104)、E<X1の場合には、撮像環境が「悪環境1」にあると判定し(ステップS105)、悪環境1にランク設定する。E≧X1の場合には、判定部123は、撮像環境が悪化していないと判定し、現在、悪環境1にランク設定中である場合には悪環境1の設定を解除した上で(ステップS111)、画像処理部140に画像処理を指示する(ステップS131)。
ステップS105において悪環境1にランク設定した後、判定部123は、評価値Eと閾値X2とを比較し(ステップS106)、E<X2の場合には、カウンタ数をb=b+1に更新する(ステップS107)。さらに、ステップS108では、判定部123は、カウンタ数bがb≧Y1を満たしていることを条件に、「悪環境2」のランク設定を行う(ステップS109)。「悪環境2」のランク設定は、画像処理が不可能な状態であるから、判定部123は、画像処理部140に画像処理を指示することなく、報知装置161や運転制御装置163に対して、異常の報知や運転制御の停止に関する指示を行い(ステップS131)、処理を終了する。
すなわち、判定部123は、撮像環境の悪化の程度が「悪環境1」であると判定された後に、E<X2を満たす評価値Eを所定のデータ数以上取得したことを条件として、撮像環境の悪化の程度は、「悪環境2」であると判定する。この場合、判定部123は、画像処理部140に画像処理を指示することなく、報知装置161や運転制御装置163に対して、異常の報知や運転制御の停止に関する指示を行い(ステップS131)、処理を終了する。
ステップS106で、E≧X2の場合には、ステップS121に移行し、判定部123は、現在、悪環境2にランク設定中であるか否かを判定する。悪環境2に設定中である場合には、判定部123は、カウンタ数をg=g+1に更新し(ステップS122)、ステップS123に移行する。ステップS123では、判定部123は、カウンタ数gがg≧Y2を満たしていることを条件に、「悪環境2」のランク設定を解除した上で(ステップS124)、画像処理部140に画像処理を指示する(ステップS131)。
カウンタ数gがg<Y2の場合には、判定部123は、「悪環境2」の設定解除を行うことなく、演算処理を終了する。ステップS121において、悪環境2に設定中でない場合には、判定部123は、画像処理部140に画像処理を指示する(ステップS131)。
すなわち、判定部123は、撮像環境の悪化の程度が「悪環境2」であると判定された後に、E≧X2をみたす評価値Eを所定のデータ数以上取得したことを条件として、撮像環境の悪化の程度についての「悪環境2」の設定を解除する。
以上説明した本実施形態によれば、以下の効果を奏する。
評価値算出部122は、評価値Eを上記式(1)に基づいて算出する。このため、障害物が撮像される等によって一部の画素領域でのみ輝度が大きく低下し、認識信頼性の高い画素領域の個数が減少する等によって信頼度点数Rが小さくなった場合に、評価値Eが小さくなり過ぎないようにすることができる。その結果、一部の画素領域でのみ輝度が大きく低下しても周辺環境を認識できるような場合に、判定部123において「撮像環境が悪化した」と判定されたり、その判定の結果、周辺監視装置による画像処理や車両の制御が停止されたりすることを抑制することができる。
閾値算出部121は、撮像装置21,22が撮影した複数の画像の照度に基づいて閾値X1,X2を算出するため、撮像環境の明るさによって全体的に変化する評価値Eの値に応じて適切な閾値X1,X2を算出することができる。その結果、周辺監視装置による画像処理や車両の制御が不適切に停止されることを抑制することができる。
判定部123は、撮像環境の悪化の程度が第1段階であると判定された後に、E<X2を満たす評価値Eを所定のデータ数以上取得したことを条件として、撮像環境の悪化の程度は、画像処理が不可能な第2段階(悪環境2)であると判定する。このため、一時的に撮像環境が悪化した場合に、周辺監視装置による画像処理や車両の制御が不適切に停止されることを抑制することができる。
判定部123は、撮像環境の悪化の程度が第2段階(悪環境2)であると判定された後に、E≧X2をみたす評価値Eを所定のデータ数以上取得したことを条件として、第2段階(悪環境2)の設定を解除する。このため、一時的に撮像環境が改善した場合に、周辺監視装置が誤作動して不適切に画像処理や車両の制御が実行されることを抑制することができる。
・なお、上記の実施形態では、距離検出装置、撮像装置等の計測装置と、報知装置、表示装置、運転制御装置等とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。
・評価値算出部122は、第2の評価値として、信頼度点数Rを全画素数Pallで除した評価値:E2=R/Pallを算出してもよい。さらには、判定部123は、上記式(1)の評価値Eと、第2の評価値E2の双方を用いて撮像環境の悪化を判定するものであってもよい。判定部123において第2の評価値E2を用いた評価を併せて実行することによって、撮像環境悪化の影響が画像全体に表れている場合を的確に検知して、周辺監視装置10が誤作動して不適切に画像処理や車両の制御が実行されることを抑制することができる。
10…周辺監視装置、100…画像取得部、110…マッチング処理部、120…評価部

Claims (6)

  1. 対象物を異なる位置から撮影した複数の画像を取得する画像取得部(100)と、
    前記複数の画像にて区画される複数の画素領域のうち視差の算出が可能な画素領域の個数である視差点数と、前記複数の画素領域のうち認識信頼性の高い画素領域の個数である信頼度点数とを算出するマッチング処理部(110)と、
    前記視差点数と前記信頼度点数に基づいて、前記複数の画像を撮影した撮像環境を評価する評価部(120)とを備える車両の周辺監視装置(10)。
  2. 前記評価部は、
    前記視差点数と前記信頼度点数とを用いて下記式(1)に基づき評価値を算出する評価値算出部と、
    前記評価値を評価するための閾値を算出する閾値算出部と、
    前記評価値が前記閾値未満であることを条件として、前記撮像環境が悪化したと判定する判定部とを備える請求項1に記載の周辺監視装置。
    E=R/P … (1)
    (上記式(1)において、Eは評価値を表し、Rは信頼度点数を表し、Pは視差点数を表す。)
  3. 前記閾値算出部は、第1閾値と、前記第1閾値よりも小さい第2閾値を算出し、
    前記判定部は、
    前記評価値が前記第1閾値未満であることを条件として、前記撮像環境の悪化の程度は、画像処理が可能な第1段階であると判定し、
    前記撮像環境の悪化の程度が前記第1段階であると判定された後に、前記第2閾値未満である前記評価値を所定数以上取得したことを条件として、前記撮像環境の悪化の程度は、画像処理が不可能な第2段階であると判定する請求項2に記載の周辺監視装置。
  4. 前記判定部は、前記撮像環境の悪化の程度が前記第2段階であると判定された後に、前記第2閾値以上である評価値を所定数以上取得したことを条件として、前記撮像環境の悪化の程度について前記第2段階であると判定する請求項3に記載の周辺監視装置。
  5. 前記閾値算出部は、前記複数の画像の照度に基づいて前記閾値を算出する請求項2〜4のいずれかに記載の周辺監視装置。
  6. 対象物を異なる位置から撮影した複数の画像を取得する画像取得ステップ(S101)と、
    前記複数の画像にて区画される複数の画素領域のうち視差の算出が可能な画素領域の個数である視差点数と、前記複数の画素領域のうち認識信頼性の高い画素領域の個数である信頼度点数とを算出するマッチング処理ステップ(S102)と、
    前記視差点数と前記信頼度点数に基づいて、前記複数の画像を撮影した撮像環境を評価する評価ステップ(S103〜S124)とを含む車両の周辺監視方法。
JP2017183037A 2017-09-22 2017-09-22 車両の周辺監視装置と周辺監視方法 Active JP6970568B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017183037A JP6970568B2 (ja) 2017-09-22 2017-09-22 車両の周辺監視装置と周辺監視方法
US16/136,891 US10853692B2 (en) 2017-09-22 2018-09-20 Vicinity supervising device and method for supervising vicinity of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017183037A JP6970568B2 (ja) 2017-09-22 2017-09-22 車両の周辺監視装置と周辺監視方法

Publications (2)

Publication Number Publication Date
JP2019061303A JP2019061303A (ja) 2019-04-18
JP6970568B2 true JP6970568B2 (ja) 2021-11-24

Family

ID=65807692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017183037A Active JP6970568B2 (ja) 2017-09-22 2017-09-22 車両の周辺監視装置と周辺監視方法

Country Status (2)

Country Link
US (1) US10853692B2 (ja)
JP (1) JP6970568B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7018285B2 (ja) * 2017-09-29 2022-02-10 株式会社デンソー 車両の周辺監視装置および周辺監視方法
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
WO2023139675A1 (ja) * 2022-01-19 2023-07-27 日立Astemo株式会社 撮像装置、視差ずれ補正方法、及び視差ずれ補正プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5027710B2 (ja) 2008-03-26 2012-09-19 富士重工業株式会社 車両用環境認識装置および先行車追従制御システム
JP5172422B2 (ja) 2008-03-28 2013-03-27 富士重工業株式会社 運転支援システム
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
JP5587852B2 (ja) * 2011-11-11 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及び画像処理方法
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
JP6614822B2 (ja) * 2015-06-22 2019-12-04 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム及び記憶媒体
EP3316006B1 (en) * 2015-06-23 2020-12-09 KYOCERA Corporation Three-dimensional-object detection device, stereo camera device, vehicle, and three-dimensional-object detection method
WO2017043258A1 (ja) * 2015-09-09 2017-03-16 シャープ株式会社 計算装置および計算装置の制御方法
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6922169B2 (ja) * 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム

Also Published As

Publication number Publication date
JP2019061303A (ja) 2019-04-18
US10853692B2 (en) 2020-12-01
US20190095761A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
JP6970568B2 (ja) 車両の周辺監視装置と周辺監視方法
US10620000B2 (en) Calibration apparatus, calibration method, and calibration program
WO2016056197A1 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US20180308282A1 (en) Shape measuring apparatus and method
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
WO2017042998A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
JP6204844B2 (ja) 車両のステレオカメラシステム
US11308709B2 (en) Deposit detection device and deposit detection method
JP2008042759A (ja) 画像処理装置
WO2017042995A1 (ja) 車載用ステレオカメラ装置、およびその補正方法
JP2008064716A (ja) 車両方位補正システム
JP4435525B2 (ja) ステレオ画像処理装置
JP2020042716A (ja) 異常検出装置および異常検出方法
JP6985872B2 (ja) 車両の周辺監視装置と周辺監視方法
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
JP2020042715A (ja) 移動情報推定装置、異常検出装置、および、移動情報推定方法
JP2018116620A (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2021033345A (ja) 画像処理装置
JP6571571B2 (ja) 撮像装置、車載カメラおよび画像処理方法
JP6206334B2 (ja) 検出装置
US20240127604A1 (en) Road surface information collecting device, road surface deterioration detecting system, and road surface information collecting method
JP7334572B2 (ja) 物体検知装置および物体検知プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6970568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150