JP6565693B2 - 車載カメラのレンズ異常検出装置 - Google Patents

車載カメラのレンズ異常検出装置 Download PDF

Info

Publication number
JP6565693B2
JP6565693B2 JP2016003752A JP2016003752A JP6565693B2 JP 6565693 B2 JP6565693 B2 JP 6565693B2 JP 2016003752 A JP2016003752 A JP 2016003752A JP 2016003752 A JP2016003752 A JP 2016003752A JP 6565693 B2 JP6565693 B2 JP 6565693B2
Authority
JP
Japan
Prior art keywords
vehicle
bird
image
abnormality
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016003752A
Other languages
English (en)
Other versions
JP2017126835A (ja
Inventor
大輔 杉浦
大輔 杉浦
宗昭 松本
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016003752A priority Critical patent/JP6565693B2/ja
Priority to PCT/JP2017/000659 priority patent/WO2017122688A1/ja
Publication of JP2017126835A publication Critical patent/JP2017126835A/ja
Application granted granted Critical
Publication of JP6565693B2 publication Critical patent/JP6565693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載カメラのレンズの異常を検出するレンズ異常検出装置に関する。
従来、車載カメラを使って車両周囲を撮像することで、車両の走行状態を監視して異常を報知したり、車両周囲を上方から見た鳥瞰画像を生成したりするシステムが知られている。
この種のシステムでは、車載カメラのレンズに傷や汚れ等の異常が生じると、車両周囲を良好に撮像することができなくなるので、撮像画像を処理することでレンズの異常を検出することが提案されている。
例えば、特許文献1には、2つの車載カメラで車両の走行方向前方及び後方の道路を撮像し、その撮像画像から車道中央線や車線境界線等の道路区画線を抽出して、道路区画線の信頼度を算出することが提案されている。そして、この提案の装置では、カメラ毎に算出した道路区画線の信頼度の履歴を比較し、相対的に信頼度が低下している車載カメラがあれば、その車載カメラのレンズに異常があると判断する。
特開2014−115814号公報
上記提案の装置によれば、2つのカメラによる撮像画像の中から重複する画像領域を抽出して比較することで異常判定を行う装置に比べて、レンズの異常を精度よく検出することができる。これは、2つの撮像画像の中から重複する画像領域を抽出して異常判定すると、重複する画像領域に対応しないレンズ部分の異常(例えばレンズの汚れ)を検出できないからである。
しかしながら、上記提案の装置においては、各車載カメラによる撮像画像の中から道路区画線を抽出し、その抽出した道路区画線の直線性と道路区画線の幅方向両側のエッジの平行性とを算出することで、道路区画線の信頼度を求める。このため、上記提案の装置では、車両が道路区画線のない道路を走行しているときには、車載カメラのレンズ異常を検出することができない。
また、撮像画像の中から道路区画線を抽出して、その直線性と平行性を算出するには、2つの画像を比較する場合に比べて、複雑な画像処理を行う必要があるため、道路区画線の信頼性の算出、延いてはレンズ異常の判定、に時間がかかるという問題もある。
本発明は、こうした問題に鑑みなされたものであり、車両が道路区画線のない道路を走行しているときにでも、複数の車載カメラから得られる撮像画像を使って、車載カメラのレンズ異常を精度よく検出できるようにすることを目的とする。
本発明の車載カメラのレンズ異常検出装置は、複数の車載カメラ(4f、4r)と、視点変換部(22、S110)と、記憶部(16、S130)と、異常判定部(26、S160−S180)とを備える。
複数の車載カメラは、車両周囲を撮像するためのものであり、視点変換部は、その複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する。
そして、記憶部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する。
また、異常判定部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向後方に位置する後方鳥瞰画像と、記憶部に記憶された履歴画像とを比較する。
この比較に用いる履歴画像は、後方鳥瞰画像に対応した位置の履歴画像であり、異常判定部は、各画像の差分が異常判定値以上であるとき、複数の車載カメラの一つにレンズ異常が生じていると判定する。
なお、レンズ異常とは、車載カメラによって鮮明な画像を撮像できなくなるレンズの異常のことであり、例えば、レンズの傷や破損、汚れ、等が含まれる。
このように、本発明のレンズ異常検出装置によれば、複数の車載カメラで撮像された撮像画像から得られる鳥瞰画像同士を比較することで、車載カメラのレンズの異常を判定する。従って、本発明によれば、レンズ異常の判定対象となるカメラ同士を、撮像領域が重複するように配置しなくても、レンズ異常を判定することができる。
また、レンズ異常の判定は、車両の走行方向後方に位置する後方鳥瞰画像と、その後方鳥瞰画像に対応する履歴画像とを比較して、その差分を求めるようにすればよく、各画像から道路区画線を抽出してその直線性や平行性を算出する必要がない。このため、車両の走行路に道路区画線等の特定の物標がなくても異常判定を行うことができる。
また、レンズ異常の判定は、各車載カメラから得られる鳥瞰画像を比較し、その差分を求めることで実施できるため、上述した従来技術に比べて、レンズの異常判定を簡単かつ短時間で実施できることになる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
実施形態の撮像システム全体の構成を表すブロック図である。 車両への車載カメラの取付位置及び撮像方向を表す説明図である。 車載カメラによる撮像範囲及び視点変換後の鳥瞰画像領域を表す説明図である。 図1の画像処理部にて実行されるレンズ異常判定処理を表すフローチャートである。 レンズ異常判定処理により得られる鳥瞰画像とこれを用いた異常判定動作を説明する説明図である。
以下に本発明の実施形態を図面と共に説明する。
図1に示すように、本実施形態の撮像システム2は、車載カメラとしてのフロントカメラ4f及びリヤカメラ4rと、制御ユニット10と、表示部30とを備える。
図2に示すように、フロントカメラ4f及びリヤカメラ4rは、それぞれ、車両40の前方及び後方の道路を撮像するためのものであり、車両40の前部及び後部に取り付けられている。また、フロントカメラ4f及びリヤカメラ4rにおいて、撮像方向先端側には、それぞれ、レンズ5f、5rが設けられている。
制御ユニット10は、これら各カメラ4f、4rによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した鳥瞰画像を生成する。そして、その生成した鳥瞰画像を、液晶ディスプレイ等にて構成されて車室内に配置される表示部30に表示させる。また、制御ユニット10は、本発明のレンズ異常検出装置としても機能する。
このため、制御ユニット10には、撮像信号入力部12、検出信号入力部14、メモリ16、表示制御部18、画像処理部20、及び、異常報知部32が備えられている。
撮像信号入力部12は、フロントカメラ4f及びリヤカメラ4rからの撮像信号を取り込み、撮像画像データとして画像処理部20に入力するためのものである。
検出信号入力部14は、車両40の各車輪の回転速度を検出する車輪速センサ6や、ステアリングの操舵角を検出する操舵角センサ8からの検出信号をそれぞれ取り込み、車輪速データ、操舵角データに変換して、画像処理部20に入力するためのものである。
画像処理部20は、CPU、ROM、RAM、等を中心とするマイクロコンピュータにて構成されており、CPUがROM内のプログラムを実行することにより、視点変換部22、画像合成部24、異常判定部26、及び、影判定部28、として機能する。
視点変換部22は、図3に示すように、撮像信号入力部12から入力される車両前方及び後方の撮像画像データを視点変換することにより、車両40の前方及び後方の各道路領域を上方から見た鳥瞰画像50f及び鳥瞰画像50rを生成するためのものである。
そして、視点変換部22は、車両40の走行状態を表す車輪速データ及び操舵角データから得られる車両40の位置及び方向に関連づけて、鳥瞰画像50f若しくは鳥瞰画像50rをメモリ16に記憶する。
つまり、視点変換部22は、車両40の走行時に、走行方向前方に位置する鳥瞰画像50f若しくは50rをメモリ16に記憶することで、カメラ4f、4rではリアルタイムで撮像できない車両40直下の鳥瞰画像を履歴画像52として記憶するのである。
なお、メモリ16は、履歴画像を記憶する記憶部であり、EEPROM、フラッシュメモリ等の読み書き可能な不揮発性メモリにて構成されている。
画像合成部24は、視点変換部22で生成された最新の鳥瞰画像50f、50rと、メモリ16に記憶された履歴画像52と、を合成することで、車両40及びその周囲全体を上方から見た鳥瞰画像を生成する。
そして、その生成された鳥瞰画像は、画像処理部20から表示制御部18に出力され、表示制御部18を介して表示部30に表示される。
異常判定部26は、視点変換部22にて生成された鳥瞰画像50f、50rのうち、車両40の走行方向後方に位置する後方鳥瞰画像と、この後方鳥瞰画像に対応した位置の履歴画像とを比較し、その差分(換言すれば一致度)を算出する。
そして、その算出した差分が異常判定値以上であるとき(換言すれば一致度が閾値未満であるとき)、フロントカメラ4f及びリヤカメラ4rのレンズ5f、5rの少なくとも一方に異常が生じていると判定し、異常報知部32を介してその旨を報知する。
なお、異常報知部32は、車両40の乗員にレンズ5f、5rの異常を報知できればよく、例えば、LED等の表示ランプを点滅若しくは点灯させる回路にて構成してもよく、表示部30若しくは他の表示器にエラーメッセージを表示する回路にて構成してもよい。また、レンズ5f、5rの異常を音声にて報知できるように、音声合成回路を用いて構成してもよい。
影判定部28は、異常判定部26がレンズ5f、5rの異常判定に用いる後方鳥瞰画像及び履歴画像の少なくとも一方に、車両40の影が写っているか否かを判定するためのものである。そして、影判定部28は、後方鳥瞰画像及び履歴画像の一方に車両40の影があると判定すると、異常判定部26によるレンズ5f、5rの異常判定を禁止させる。
これは、レンズ5f、5rの異常判定に用いる後方鳥瞰画像と履歴画像との一方に車両40の影が写っている場合、これら両画像を比較すると、影の影響により画像の差分が大きくなり、レンズ5f、5rの異常を誤判定してしまうことが考えられるためである。
次に、画像処理部20において、視点変換部22、異常判定部26、及び、影判定部28としての機能を実現するために実行されるレンズ異常判定処理を、図4のフローチャートに沿って説明する。
なお、図4に示すレンズ異常判定処理は、画像処理部20を構成するマイクロコンピュータ(詳しくはCPU)において、メインルーチンの一つとして繰り返し実行されるプログラムを表している。
本実施形態では、このプログラムは、画像処理部20内のROMに記憶されるが、例えば、メモリ16等、画像処理部20を構成するマイクロコンピュータとは別体で構成された他の非遷移的実体的記録媒体に記憶されていてもよい。
図4に示すように、レンズ異常判定処理においては、まずS110(Sはステップを表す)にて、撮像信号入力部12からフロントカメラ4f及びリヤカメラ4rによる撮像画像を取り込み、車両前方及び後方の鳥瞰画像50f、50rを生成する。
S110の処理は、視点変換部22としての機能を実現するための処理である。S110では、撮像画像を視点変換することで鳥瞰画像を生成するが、この生成方法は公知であり、例えば、特開平10−211849号公報に記載された手法を利用することができることから、ここでは詳細な説明は省略する。
次にS120では、検出信号入力部14から車輪速データを取り込むことで、現在、車両40が走行中であるか否かを判断する。そして、車両40が走行中でなければ、当該レンズ異常判定処理を一旦終了し、車両40が走行中であれば、S130に移行する。
S130では、車輪速データから車両40の走行方向(つまり、前進又は後退)を判定して、S110にて生成された鳥瞰画像50f、50rの中から、走行方向前方に位置する前方鳥瞰画像を選択する。そして、その選択した前方鳥瞰画像を、車両走行中の履歴画像として、メモリ16に記憶する。
なお、S110にて生成された最新の鳥瞰画像50f、50rや、S130にてメモリ16に記憶された履歴画像は、画像合成部24としての表示制御処理によって、自車両周囲の鳥瞰画像を表示部30に表示させるのに利用される。
次に、S140では、S110にて生成された鳥瞰画像50f、50rの中から走行方向後方に位置する鳥瞰画像を選択し、その選択した後方鳥瞰画像に自車両40の影があるか否かを判断する。
S140にて、後方鳥瞰画像に自車両40の影があると判断された場合には、後述の処理でレンズ5f、5rの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。
一方、S140にて、後方鳥瞰画像に自車両40の影がないと判断された場合には、S150に移行して、S140で選択した後方鳥瞰画像に対応した履歴画像をメモリ16から読み出す。
つまり、メモリ16には、車両40の走行中に、その走行方向前方の鳥瞰画像が履歴画像として順次記憶される。そこで、S150では、車輪速データから得られる車速に基づき、メモリ16に記憶された履歴画像の中から、後方鳥瞰画像と同じ位置の前方鳥瞰画像を抽出するのである。
そして、続くS160では、S150にてメモリ16から読み出された履歴画像に自車両40の影があるか否かを判断する。
S160にて履歴画像に自車両40の影があると判断された場合にも、後述の処理でレンズ5f、5rの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。また、S160にて履歴画像に自車両40の影はないと判断された場合には、S170に移行する。
ここで、S140及びS160の処理は、影判定部28としての機能を実現するための処理である。そして、この処理において、鳥瞰画像に影が存在するか否かを判定する判定方法は公知であり、例えば、特開2010−237976号公報に記載された影検出技術を利用することができる。
つまり、例えば、鳥瞰画像の一部領域に対して、色相と輝度に基づいて領域分割を行い、分割された複数の領域のうち、色相の差が所定の閾値以下でありかつ輝度の差が所定値以上となっている2つの領域を抽出する。
そして、その抽出した2つのうち輝度の高い方を非陰影領域、輝度の低い方を陰影領域とし、色情報の空間における当該陰影領域から非陰影領域へのベクトルを光源の色情報として特定する。
次に、鳥瞰画像の全領域について、色相と輝度に基づいて領域分割を行い、隣接する領域間の色相の差が光源の色相と所定の範囲内で一致する場合に、それら隣接する領域のうち、輝度の低い方を、影であると特定する。
そして、S140、S160では、このように特定された影領域が自車両40の車体形状に対応しているか否かを判断することで、後方鳥瞰画像若しくは履歴画像に自車両40の影が含まれているか否かを判定できる。
なお、特開2010−237976号公報には、上記手順とは異なる手順で影検出を行う技術が紹介されているが、S140、S160では、その影検出技術を利用して自車両40の影を判定するようにしてもよし、他の影検出技術を利用するようにしてもよい。
また、後方鳥瞰画像に自車両40の影が含まれていても、その影領域が小さく、レンズ5f、5rの異常判定に影響を与えることがない場合には、S140、S160にて、自車両40の影は存在しないと判断するようにしてもよい。
次に、S170では、S140、S160にて自車両40の影はないと判断された後方鳥瞰画像と履歴画像との差分を計算する。この差分計算は、例えば、エッジ検出等によって各画像の中から特徴点を抽出し、特徴点同士を比較することで、その差分(換言すれば一致度)を算出することにより行われる。
そして、続くS180では、S170にて算出された差分と予め設定された異常判定値とを比較し、差分が異常判定値未満であれば、フロントカメラ4fとリヤカメラ4rとによる撮像画像は共に正常であると判断して、当該レンズ異常判定処理を一旦終了する。
S180において、差分が異常判定値以上である場合には、フロントカメラ4fとリヤカメラ4rとによる撮像画像の一方が異常であり、各カメラのレンズ5f、5rの一方に破損、汚れ等の異常があると判断して、S190に移行する。
なお、S170及びS180の処理は、異常判定部26としての機能を実現するための処理である。
S190では、画像合成部24としての表示制御処理の実行を禁止することで、自車両周囲の鳥瞰画像の生成、及び、その鳥瞰画像の表示制御部18への出力を禁止し、表示部30への鳥瞰画像の表示を中止させる。
そして、最後に、S200にて、異常報知部32を介して、レンズ5f、5rの異常を乗員に報知し、当該レンズ異常判定処理を一旦終了する。なお、当該レンズ異常判定処理は、CPUにおいてメインルーチンの一つとして実行されることから、所定時間経過後にS110の処理が開始される。
以上説明したように、本実施形態の撮像システム2においては、図5に例示するように、車両40が前方方向に走行しているときには、フロントカメラ4fによる撮像画像から生成された鳥瞰画像50fが、履歴画像として順次メモリ16に記憶される。
そして、メモリ16に記憶された履歴画像は、フロントカメラ4f及びリヤカメラ4rによる撮像画像から生成された最新の鳥瞰画像50f、50rと共に、車両40周囲の鳥瞰画像を生成するのに用いられる。
また、車両40の走行に伴い、時刻T1で履歴画像としてメモリ16に記憶された鳥瞰画像50f(t1)と同じ領域の鳥瞰画像が、時刻T2でリヤカメラ4rによる撮像画像から生成されることになる。
そして、本実施形態では、時刻T2で生成された鳥瞰画像50r(t2)と、この鳥瞰画像50r(t2)に対応した履歴画像である鳥瞰画像50f(t1)とを比較し、両画像の差分が異常判定値以上であるとき、レンズ5f又は5rに異常があると判定する。
従って、図5に例示するように、鳥瞰画像50r(t2)と履歴画像である鳥瞰画像50f(t1)とに横断歩道を表す標識60が含まれていれば、各画像から標識60のエッジが検出されて、その位置や形状の差分からレンズ5f、5rの異常が判定される。
また、各画像に標識60が写っていなくても、路面の模様や凹凸、走行路とその周囲との境界部分の色の違い、等がエッジ検出により特徴点として抽出され、これらの差分からレンズ5f、5rに異常があるか否かが判定される。
従って、本実施形態の撮像システム2によれば、異常判定の対象となるカメラ同士を、撮像領域が重複するように配置する必要がない。また、特許文献1に記載のように、フロントカメラ4f及びリヤカメラ4rによる撮像画像の中から道路区画線を抽出して、その直線性や平行性を算出する必要がない。
このため、本実施形態によれば、車両40に複数のカメラが搭載されていれば、車両40が走行する路面に道路区画線等の特定の物標がなくても、そのカメラのレンズ5f、5rの異常を判定できる。
また、この異常判定は、各カメラ4f、4rの撮像画像から生成される同一位置の鳥瞰画像を比較して、その差分を求めるだけでよいので、道路区画線を抽出して直線性や平行性を算出する場合に比べて、簡単かつ短時間で実施できる。
また、本実施形態では、レンズ5f、5rの異常判定に用いる後方鳥瞰画像と履歴画像との一方に自車両の影が含まれている場合には、異常判定を実施しないようにされている。
このため、本実施形態によれば、例えば、太陽光によって車両40の前方側若しくは後方側に影ができている場合に、その影の影響を受けてレンズ5f、5rの異常を誤判定してしまうのを防止できる。
また、本実施形態では、レンズ5f、5rの異常を検出すると、画像合成部24による表示部30への鳥瞰画像の表示を禁止し、異常報知部32を介して、レンズ5f、5rの異常を報知する。このため、フロントカメラ4f若しくはリヤカメラ4rのレンズに、破損、汚れ等の異常が生じ、車両40周囲の鳥瞰画像を正常に生成できないときに、表示部30に不鮮明な鳥瞰画像が表示されてしまうのを抑制できる。また、レンズ5f、5rの異常を報知することで、使用者に対し、各カメラ4f、4rの点検を促すことができる。
以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱市しない範囲内にて種々の態様をとることができる。
例えば、上記実施形態では、車両40には、フロントカメラ4fとリヤカメラ4rとが搭載されているものとして説明したが、本発明は、車両40に複数のカメラが搭載されていれば、上記実施形態と同様にレンズ異常を判定できる。
つまり、車両40には、フロントカメラ4fとリヤカメラ4rとに加えて、車両の左・右をそれぞれ撮像するサイドカメラが搭載されることがある。
この場合、フロントカメラと一方のサイドカメラとを使って、車両の走行方向前方側の前方鳥瞰画像と走行方向後方側の後方鳥瞰画像とを生成し、前方鳥瞰画像を履歴画像として残す。そして、後方鳥瞰画像と履歴画像とで位置が一致する画像領域同士を比較することで、レンズ異常を判定する。
このようにしても、上記実施形態と同様に、各カメラのレンズ異常を判定することができる。また、同様に、リヤカメラと一方のサイドカメラとを使って、レンズ異常を判定することもできる。
またこの場合、フロントカメラ4f、リヤカメラ4r、及び、サイドカメラの一方若しくは両方を使って、それぞれ、鳥瞰画像を生成し、その生成した鳥瞰画像の中から位置が一致する画像領域を抽出して比較することで、レンズ異常を判定するようにしてもよい。
また次に、上記実施形態では、画像処理部20はマイクロコンピュータにて構成されていて、CPUがプログラムを実行することで、視点変換部22、画像合成部24、異常判定部26、影判定部28としての機能が実現されるものとして説明した。
しかし、画像処理部20は、これら各部の機能を実現できればよく、その機能の一部若しくは全てを、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するように構成してもよい。
また、上記実施形態では、車両40の位置や進行方向を把握できるようにするために、車輪速センサ6及び操舵角センサ8を用いるものとして説明したが、これらとは別に衛星測位システムを利用するようにしてもよい。
次に、上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
また、本発明は、上述した撮像システム2の他、当該撮像システム2を構成要素とするシステム、あるいは、当該撮像システム2の画像処理部20としてコンピュータを機能させるためのプログラム、として実現することができる。また、本発明は、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理部20にて実現されるレンズ異常検出方法など、種々の形態で実現することもできる。
2…撮像システム、4f…フロントカメラ、4r…リヤカメラ、5f,5r…レンズ、6…車輪速センサ、8…操舵角センサ、10…制御ユニット、12…撮像信号入力部、14…検出信号入力部、16…メモリ、18…表示制御部、20…画像処理部、22…視点変換部、24…画像合成部、26…異常判定部、28…影判定部、30…表示部、32…異常報知部、40…車両。

Claims (3)

  1. 車両周囲を撮像するための複数の車載カメラ(4f、4r)と、
    前記複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する視点変換部(22、S110)と、
    前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する記憶部(16、S130)と、
    前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向後方に位置する後方鳥瞰画像と、前記記憶部に記憶され、当該後方鳥瞰画像に対応した履歴画像と、を比較し、各画像の差分が異常判定値以上であるとき、前記複数の車載カメラの一つにレンズ異常が生じていると判定する異常判定部(26、S160−S180)と、
    前記視点変換部にて生成された鳥瞰画像に自車両の影が含まれているか否かを判定する影判定部(28、S140、S150)と、
    を備え、前記異常判定部は、前記影判定部にて自車両の影が含まれていると判定された鳥瞰画像を利用して前記レンズ異常を判定するのを禁止する、ように構成されている車載カメラのレンズ異常検出装置。
  2. 前記視点変換部にて生成された鳥瞰画像と前記記憶部に記憶された履歴画像とを合成することで、自車両周囲の鳥瞰画像を生成する画像合成部(24)を備え、
    前記異常判定部は、前記レンズ異常が生じていると判定すると前記画像合成部による画像合成を禁止する、ように構成されている請求項1に記載の車載カメラのレンズ異常検出装置。
  3. 前記異常判定部にて前記レンズ異常が生じていると判定されると、その旨を報知する異常報知部(32、S190)を備えている、請求項1又は請求項2に記載の車載カメラのレンズ異常検出装置。
JP2016003752A 2016-01-12 2016-01-12 車載カメラのレンズ異常検出装置 Active JP6565693B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016003752A JP6565693B2 (ja) 2016-01-12 2016-01-12 車載カメラのレンズ異常検出装置
PCT/JP2017/000659 WO2017122688A1 (ja) 2016-01-12 2017-01-11 車載カメラのレンズ異常検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016003752A JP6565693B2 (ja) 2016-01-12 2016-01-12 車載カメラのレンズ異常検出装置

Publications (2)

Publication Number Publication Date
JP2017126835A JP2017126835A (ja) 2017-07-20
JP6565693B2 true JP6565693B2 (ja) 2019-08-28

Family

ID=59311246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016003752A Active JP6565693B2 (ja) 2016-01-12 2016-01-12 車載カメラのレンズ異常検出装置

Country Status (2)

Country Link
JP (1) JP6565693B2 (ja)
WO (1) WO2017122688A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7009209B2 (ja) * 2017-12-28 2022-01-25 株式会社デンソーテン カメラずれ検出装置、カメラずれ検出方法および異常検出装置
US20240010242A1 (en) * 2020-11-11 2024-01-11 Sony Semiconductor Solutions Corporation Signal processing device and signal processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188134A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 監視システム、その制御方法及び監視装置
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5994437B2 (ja) * 2012-07-04 2016-09-21 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム

Also Published As

Publication number Publication date
WO2017122688A1 (ja) 2017-07-20
JP2017126835A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
JP5421072B2 (ja) 接近物体検知システム
JP6137081B2 (ja) 車載機器
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP6376354B2 (ja) 駐車支援システム
JP2013001366A (ja) 駐車支援装置および駐車支援方法
US20170028917A1 (en) Driving assistance device and driving assistance method
WO2015186294A1 (ja) 車載画像処理装置
JP7270499B2 (ja) 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2020068515A (ja) 画像処理装置
JP6565693B2 (ja) 車載カメラのレンズ異常検出装置
US10740909B2 (en) Drive recorder
JP2020060899A (ja) 車載カメラのキャリブレーション装置
JP6635621B2 (ja) 自動車用視覚システム及び視覚システムを制御する方法
US20200151895A1 (en) Image processing device and image processing method
JP6799030B2 (ja) 画像認識装置、画像認識方法、及び駐車支援システム
US9827906B2 (en) Image processing apparatus
JP6601336B2 (ja) 区画線認識装置
JP2007221199A (ja) 車載カメラ表示装置及び画像処理装置
JP2007327803A (ja) 車両周辺監視装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
CN111989541A (zh) 立体摄像机装置
JP2008042759A (ja) 画像処理装置
JP5040851B2 (ja) 脇見運転判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250