JP7426987B2 - 撮影システムおよび画像処理装置 - Google Patents

撮影システムおよび画像処理装置 Download PDF

Info

Publication number
JP7426987B2
JP7426987B2 JP2021509458A JP2021509458A JP7426987B2 JP 7426987 B2 JP7426987 B2 JP 7426987B2 JP 2021509458 A JP2021509458 A JP 2021509458A JP 2021509458 A JP2021509458 A JP 2021509458A JP 7426987 B2 JP7426987 B2 JP 7426987B2
Authority
JP
Japan
Prior art keywords
image
camera
processing device
image processing
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021509458A
Other languages
English (en)
Other versions
JPWO2020196536A1 (ja
Inventor
亮 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of JPWO2020196536A1 publication Critical patent/JPWO2020196536A1/ja
Application granted granted Critical
Publication of JP7426987B2 publication Critical patent/JP7426987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)

Description

本発明は、撮影システムに関する。
近年、自動車にカメラの搭載が進められている。カメラの用途は、自動運転、ヘッドランプの配光の自動制御、デジタルミラーや、死角をカバーするためのフロントビューモニタやリアビューモニタなど多岐にわたる。
こうしたカメラは、なるべく歪みのない画像を撮影できることが望ましい。ところが車載カメラは、広角なものが使用されるケースが多く、外周部ほど、歪みの影響が顕著に表れる。また、カメラ自体の歪みが小さかったとしても、カメラをヘッドランプやリアランプなどに内蔵すると、アウターレンズなどの追加の光学系によって歪みが導入される。
特開２０１３－１６４９１３号公報 特開２０１８－８６９１３号公報
１． カメラをアウターレンズに内蔵した状態で、格子などのキャリブレーション用画像を撮影し、格子の歪みにもとづいて、補正関数を決定する方法が考えられる。この方法では、アウターレンズが設計変更されたり、カメラとアウターレンズの位置がずれると、補正関数が役に立たなくなる。
自動運転や配光制御のためにカメラを用いる場合には、カメラの画像は、機械学習により生成される予測モデルを実装した識別器（分類器）に入力され、カメラの画像に含まれる物体像の位置や種類が判定される。この場合に、カメラの歪みが大きい場合、同じように歪んだ画像を学習データ（教師データ）として利用する必要がある。したがって、アウターレンズが設計変更されたり、カメラとアウターレンズの位置がずれると、再学習が必要となる。
本発明の一態様はこうした状況においてなされたものであり、その例示的な目的のひとつは、歪みを自動で補正可能な撮影システムの提供にある。
２． カメラのレンズに、雨滴や雪粒、泥などの異物が付着すると、異物が付着した領域（異物領域）の画像が欠損し、カメラの画像を用いた処理に支障をきたす。
本発明の一態様はこうした状況においてなされたものであり、そのある例示的な目的のひとつは、異物による画質の劣化を抑制した撮影システムの提供にある。
３． カメラのレンズに、雨滴などの水滴が付着すると、水滴がレンズとなり、カメラの画像に歪みが生じ、画質が劣化する。
本発明の一態様はこうした状況においてなされたものであり、その例示的な目的のひとつは、水滴による画質の劣化を抑制した撮影システムの提供にある。
４． 自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
本発明者は、センサとしてのカメラを、ヘッドランプに内蔵することを検討した。この場合、ランプ光源の出射光が、アウターレンズに反射して、カメラのイメージセンサに入射し、カメラ画像に写り込む可能性がある。カメラ画像内において、ランプ光源の写り込みと、物体が重なると、物体の識別率が著しく低下する。
写り込み除去のための技術として、機械学習による手法などが提案されているが、処理負荷が重く、リアルタイム性が要求される車載カメラでは採用が困難である。
本発明の一態様はこうした状況においてなされたものであり、その例示的な目的のひとつは、ランプ光源の写り込みの影響を低減した撮影システムの提供にある。
１． 本発明のある態様は、車両用の撮影システムに関する。撮影システムは、カメラと、カメラの出力画像を処理する画像処理装置と、を備える。画像処理装置は、出力画像に含まれる物体像をトラッキングし、物体像の移動にともなう形状の変化にもとづいて、出力画像の歪みを補正するための情報を取得し、当該情報を用いて出力画像を補正する。
本発明の別の態様もまた、車両用の撮影システムに関する。この撮影システムは、カメラと、カメラの出力画像を処理する画像処理装置と、を備える。画像処理装置は、出力画像の中から、真の形状が既知である基準物体を検出し、真の形状と、出力画像における基準物体の像の形状と、にもとづいて、出力画像の歪みを補正するための情報を取得し、当該情報を用いて出力画像を補正する。
本発明のさらに別の態様は、カメラとともに使用され、車両用の撮影システムを構成する画像処理装置に関する。画像処理装置は、カメラの出力画像に含まれる物体像をトラッキングし、物体像の移動にともなう形状の変化にもとづいて、出力画像の歪みを補正するための情報を取得し、当該情報を用いて出力画像を補正する。
本発明のさらに別の態様もまた、画像処理装置である。この画像処理装置は、カメラの出力画像の中から、真の形状が既知である基準物体を検出し、真の形状と、出力画像における基準物体の像の形状と、にもとづいて、出力画像の歪みを補正するための情報を取得し、当該情報を用いて出力画像を補正する。
２． 本発明のある態様は、車両用の撮影システムに関する。撮影システムは、所定のフレームレートでカメラ画像を生成するカメラと、カメラ画像を処理する画像処理装置と、を備える。画像処理装置は、カメラ画像の現フレームに異物が含まれるとき、異物によって遮蔽されている背景画像を過去のフレームから探索し、現フレームの異物が存在する異物領域に、背景画像を貼り付ける。
本発明の別の態様は、カメラとともに使用され、車両用の撮影システムを構成する画像処理装置に関する。画像処理装置は、カメラ画像の現フレームに異物が含まれるとき、異物によって遮蔽されている背景画像を過去のフレームから探索し、現フレームの異物が存在する異物領域に、背景画像を貼り付ける。
３． 本発明のある態様は、車両用の撮影システムに関する。撮影システムは、カメラ画像を生成するカメラと、カメラ画像を処理する画像処理装置と、を備える。画像処理装置は、カメラ画像に水滴が写っているとき、水滴のレンズ特性を演算し、当該レンズ特性にもとづいて水滴の領域内の像を補正する。
本発明の別の態様は、画像処理装置である。この装置は、カメラとともに使用され、車両用の撮影システムを構成する画像処理装置であって、カメラが生成するカメラ画像に水滴が写っているとき、水滴のレンズ特性を演算し、当該レンズ特性にもとづいて水滴の領域内の像を補正する。
４． 本発明のある態様は、車両用の撮影システムに関する。撮影システムは、車両用灯具にランプ光源とともに内蔵され、所定のフレームレートでカメラ画像を生成するカメラと、カメラ画像を処理する画像処理装置と、を備える。画像処理装置は、複数のフレームにもとづいてランプ光源の出射光の写り込み成分を抽出し、写り込み成分を現在のフレームから除去する。
本発明の別の態様は、画像処理装置に関する。画像処理装置は、カメラとともに使用され、車両用の撮影システムを構成する。カメラは、ランプ光源とともに車両用灯具に内蔵される。画像処理装置は、カメラが生成するカメラ画像の複数のフレームにもとづいてランプ光源の出射光の写り込み成分を抽出し、写り込み成分を現在のフレームから除去する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム等の間で変換したものもまた、本発明の態様として有効である。
本発明の一態様によれば、画像の歪みを自動で補正できる。本発明の一態様によれば、異物による画質の劣化を抑制できる。本発明の一態様によれば、ランプ光源の写り込みの影響を低減できる。本発明の一態様によれば、水滴による画質の劣化を抑制できる。
実施の形態１．１に係る撮影システムのブロック図である。 画像処理装置の機能ブロック図である。 撮影システムの動作を説明する図である。 図４（ａ）～（ｄ）は、複数の位置における物体の形状と真の形状を対比して示す図である。 基準領域が消失点を含む場合のトラッキングを説明する図である。 実施の形態１．２に係る撮影システムのブロック図である。 図６の撮影システムの動作を説明する図である。 実施の形態１．３に係る撮影システムのブロック図である。 実施の形態２に係る撮影システムのブロック図である。 図９の撮影システムの動作を説明する図である。 図１１（ａ）、（ｂ）は、エッジ検出にもとづく異物領域の判定を説明する図である。 異物検出を説明する図である。 背景画像の探索を説明する図である。 画像処理装置の機能ブロック図である。 実施の形態３に係る撮影システムのブロック図である。 画像処理装置の機能ブロック図である。 図１７（ａ）、（ｂ）は、レンズ特性の推定を説明する図である。 図１８（ａ）～（ｃ）は、レンズ特性にもとづく画像の補正を説明する図である。 図１９（ａ）、（ｂ）は、エッジ検出にもとづく水滴領域の判定を説明する図である。 水滴検出を説明する図である。 実施の形態４に係る撮影システムのブロック図である。 画像処理装置の機能ブロック図である。 ２枚のフレームＦａ，Ｆｂにもとづく写り込み画像の生成を説明する図である。 ４枚のフレームから生成した写り込み画像を示す図である。 明るいシーンで撮影した２枚のフレームにもとづいて生成される写り込み画像を示す図である。 図２６（ａ）～（ｄ）は、写り込みの除去の効果を示す図である。 図２７（ａ）～（ｄ）は、写り込み除去における係数の影響を説明する図である。 撮影システムを備える物体識別システムのブロック図である。 撮影システムを備える表示システムのブロック図である。
（実施の形態１．１）
図１は、実施の形態１．１に係る撮影システム１００のブロック図である。撮影システム１００は、カメラ１１０および画像処理装置１２０を備える。カメラ１１０は、たとえば自動車のヘッドランプなどの車両用灯具１０のランプボディ１２に内蔵される。車両用灯具１０には、カメラ１１０に加えて、ハイビーム１６やロービーム１８のランプ光源、それらの点灯回路、ヒートシンクなどが内蔵されている。
カメラ１１０は、アウターレンズ１４を介してカメラ前方を撮影することとなる。アウターレンズ１４は、カメラ１１０に固有の歪みに加えて、追加の歪みをもたらす。カメラ１１０の種類は限定されず、可視光カメラ、赤外線カメラ、ＴＯＦカメラなど、さまざまなカメラを用いることができる。
画像処理装置１２０は、カメラ１１０の出力画像ＩＭＧ１にもとづいて、カメラ１１０およびアウターレンズ１４の影響を含む歪みの補正に必要な情報（パラメータや関数）を生成する。そして、生成した情報にもとづいてカメラ画像ＩＭＧ１を補正し、補正後の画像ＩＭＧ２を出力する。
図１では、画像処理装置１２０が車両用灯具１０に内蔵されているが、その限りでなく、画像処理装置１２０は、車両側に設けられてもよい。
図２は、画像処理装置１２０の機能ブロック図である。画像処理装置１２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。したがって図２に示す各ブロックは、画像処理装置１２０が実行する処理を示しているに過ぎない。画像処理装置１２０は、複数のプロセッサの組み合わせであってもよい。また画像処理装置１２０はハードウェアのみで構成してもよい。
画像処理装置１２０は、歪補正実行部１２２と補正特性取得部１３０を備える。補正特性取得部１３０は、カメラ１１０からの画像（カメラ画像）ＩＭＧ１にもとづいて、歪み補正に必要な情報を取得する。歪補正実行部１２２は、補正特性取得部１３０が取得した情報にもとづいて、補正処理を実行する。
画像処理装置１２０の補正特性取得部１３０は、カメラ１１０の出力画像ＩＭＧ１に含まれる物体像をトラッキングし、物体像の移動にともなう形状の変化にもとづいて、出力画像ＩＭＧ１の歪みを補正するための情報を取得する。
補正特性取得部１３０は、物体検出部１３２、トラッキング部１３４、メモリ１３６、補正特性演算部１３８を備える。物体検出部１３２は、カメラ画像（フレーム）ＩＭＧ１に含まれる物体を検出する。トラッキング部１３４は、連続する複数のフレームに含まれる同じ物体の移動を監視し、物体の位置と、形状を対応付けてメモリ１３６に規定する。
補正特性演算部１３８は、メモリ１３６に格納されるデータにもとづいて、歪み補正に必要な情報（たとえばパラメータや補正関数）を取得する。
カメラ１１０によって撮影したカメラ画像ＩＭＧ１は、歪みが無視できる程度に小さい領域（以下、基準領域という）を含むものとする。典型的には、カメラ画像の中央ほど歪みが小さく、外周に近づくにつれて、歪みが大きくなる。この場合、カメラ画像の中央に、基準領域ＲＥＦを設ければよい。
補正特性演算部１３８は、トラッキング中の物体が基準領域ＲＥＦに含まれるとき、そのときの物体の形状を、真の形状とする。そして、基準領域外の任意の位置における同じ物体の形状と、真の形状の関係にもとづいて、歪み補正のための情報を取得する。
以上が撮影システム１００の構成である。続いてその動作を説明する。図３は、撮影システム１００の動作を説明する図である。図３には、連続する複数のフレームＦ１～Ｆ５が示されており、物体（自動車）が画面左から右に向かって移動する様子が示される。物体検出部１３２は、物体ＯＢＪを検出すると、それをトラッキングする。フレームの中央には、基準領域ＲＥＦが示されている。
各フレームにおける物体ＯＢＪの形状は、位置Ｐ１～Ｐ５と対応付けてメモリ１３６に順次格納される。フレームＦ３において、物体ＯＢＪは基準領域ＲＥＦに含まれる。したがってフレームＦ３における物体ＯＢＪの形状が真の形状ＳＲＥＦとされる。
図４（ａ）～（ｄ）は、位置Ｐ１，Ｐ２，Ｐ４，Ｐ５における物体の形状Ｓ１，Ｓ２，Ｓ４，Ｓ５と、真の形状ＳＲＥＦを対比して示す図である。位置Ｐ＃（＃＝１，２，４，５）における歪み補正は、形状Ｓ＃を真の形状ＳＲＥＦに一致させることに他ならない。補正特性演算部１３８は、各位置Ｐ＃において、形状Ｓ＃を真の形状ＳＲＥＦに変換するための補正特性（関数やパラメータ）を計算する。
さまざまな物体についてトラッキングを繰り返すことにより、多くの点に関して、補正特性を取得することが可能となる。
実施の形態１．１に係る撮影システム１００によれば、設計段階において歪み補正のためのキャリブレーションが不要となる。したがってアウターレンズ１４の形状（すなわち光学的特性）を自由に設計することができる。
また撮影システム１００を搭載する自動車が出荷された後に、カメラ１１０の位置ズレが生じた場合に、位置ズレ後の光学特性による歪みに対応した補正特性が自動的に生成されるという利点がある。
補正特性取得部１３０は、走行中、常に動作してもよい。あるいは、補正特性取得部１３０は、イグニッションオンから補正特性の学習が完了するまでの間、毎回動作し、学習完了後は動作を停止してもよい。イグニッションがオフされた後、すでに学習した補正特性は破棄してもよいし、次のイグニッションオンまで保持しておいてもよい。
上の説明では、歪みが小さい領域を基準領域ＲＥＦとしたがその限りでなく、歪み特性（したがってその逆特性である補正特性）が既知である領域を、基準領域ＲＥＦとしてもよい。この場合、基準領域ＲＥＦに含まれる物体の形状を、補正特性にもとづいて補正し、補正後の形状を真の形状とすることができる。この考えにもとづくと、一旦、補正特性が得られた範囲については、その後、基準領域ＲＥＦとして扱うことができる。
遠方から接近する物体をカメラによって撮影するとき、当該物体の像は、消失点から現れ、そこから周囲に移動する。カメラ１１０を、消失点が基準領域ＲＥＦに含まれるように配置するとよい。図５は、基準領域ＲＥＦが消失点ＤＰを含む場合のトラッキングを説明する図である。この例では、看板ＯＢＪＡと、対向車ＯＢＪＢがカメラに写っている。初期のフレームＦ１において、看板ＯＢＪＡと、対向車ＯＢＪＢは基準領域ＲＥＦに含まれているから、それらの真の形状ＳＲＥＦＡ，ＳＲＥＦＢは、初期のフレームＦ１で取得できる。その後、フレームＦ２，Ｆ３，Ｆ４と物体像の位置が移動すると、各点における補正特性を取得することができる。
（実施の形態１．２）
図６は、実施の形態１．２に係る撮影システム２００のブロック図である。この撮影システム２００は、実施の形態１．１と同様に、車両用灯具１０に内蔵してもよい。撮影システム２００は、カメラ２１０および画像処理装置２２０を備える。実施の形態１．１と同様に、画像処理装置２２０は、カメラ２１０の出力画像ＩＭＧ１にもとづいて、カメラ２１０およびアウターレンズ１４の影響を含む歪みの補正に必要な情報（パラメータや関数）を生成する。そして、生成した情報にもとづいてカメラ画像ＩＭＧ１を補正し、補正後の画像ＩＭＧ２を出力する。
画像処理装置２２０は、歪補正実行部２２２および補正特性取得部２３０を含む。補正特性取得部２３０は、カメラ画像ＩＭＧ１の中から、真の形状が既知である基準物体ＯＢＪＲＥＦの像を検出する。そして、基準物体ＯＢＪの像の真の形状ＳＲＥＦと、出力画像ＩＭＧ１における物体像の形状Ｓ＃と、にもとづいて、カメラ画像ＩＭＧ１の歪みを補正するための情報を取得する。歪補正実行部２２２は、補正特性取得部２３０が取得した情報を用いてカメラ画像ＩＭＧ１を補正する。
補正特性取得部２３０は、基準物体検出部２３２、メモリ２３６、補正特性演算部２３８を含む。基準物体検出部２３２は、カメラ画像ＩＭＧ１の中から、真の形状ＳＲＥＦが既知である基準物体ＯＢＪＲＥＦの像を検出する。基準物体ＯＢＪとしては、交通標識や電柱、路面標識などを用いることができる。
基準物体検出部２３２は、検出した基準物体ＯＢＪＲＥＦの像の形状Ｓ＃を、位置Ｐ＃と対応付けてメモリ２３６に格納する。実施の形態１．１と同様に、一旦検出した基準物体ＯＢＪＲＥＦをトラッキングし、位置と形状の関係を連続的に取得してもよい。
補正特性演算部２３８は、各位置Ｐ＃ごとに、基準物体像ＯＢＪＲＥＦの形状Ｓ＃と、真の形状ＳＲＥＦの関係にもとづいて、補正特性を演算する。
以上が撮影システム２００の構成である。続いてその動作を説明する。図７は、図６の撮影システム２００の動作を説明する図である。この例において基準物体ＯＢＪＲＥＦは交通標識であり、その真の形状ＳＲＥＦは真円である。図６に示すような複数の画像（フレーム）が得られた場合、基準物体ＯＢＪＲＥＦの歪んだ形状が、真円となるような補正特性を生成すればよい。
実施の形態１．２は、画像の中に歪みが小さい基準領域ＲＥＦが定義できないような場合に有効である。
図８は、実施の形態１．３に係る撮影システム３００のブロック図である。撮影システム３００は、カメラ３１０および画像処理装置３２０を備える。画像処理装置３２０は、歪補正実行部３２２と、第１補正特性取得部３３０、第２補正特性取得部３４０を備える。第１補正特性取得部３３０は、実施の形態１．１における補正特性取得部１３０であり、第２補正特性取得部３４０は、実施の形態１．２における補正特性取得部２３０である。つまり画像処理装置３２０は、基準領域を用いた画像補正と、基準物体を用いた画像補正の両方をサポートする。
（実施の形態２の概要）
本明細書に開示される一実施の形態は、車両用の撮影システムに関する。撮影システムは、カメラと、カメラの出力画像を処理する画像処理装置と、を備える。画像処理装置は、出力画像の現フレームに異物が含まれるとき、異物によって遮蔽されている背景画像を過去のフレームから探索し、現フレームの異物が存在する異物領域に、背景画像を貼り付ける。
車載用の撮影システムでは、車両の移動にともなってカメラが移動するため、カメラ画像に含まれる物体像は移動し続ける。一方、異物が付着すると、異物は同じ位置に留まり続け、あるいは物体像より遅く移動する傾向がある。つまり、現在、異物により遮蔽されている異物領域に存在する物体像は、過去において、異物領域とは別の領域に存在しており、したがって異物によって遮蔽されていなかった可能性が高い。そこで、過去のフレームから、その背景画像を検出し、パッチとして異物領域に貼り付けることにより、画像を欠損を回復できる。
画像処理装置は、出力画像の各フレームについてエッジを検出し、エッジに囲まれる領域を、異物領域の候補としてもよい。異物が雨滴である場合、夜間はランプの反射によって雨滴が光るため、カメラ画像に輝点として写る。一方、昼間（ランプ消灯時）は雨滴が光を遮蔽し、その部分が暗点として写る。したがって、エッジを検出することにより、雨滴を初めとする異物を検出できる。
ただし、それだけでは、雨滴以外のエッジを有する物体を異物と誤判定する可能性がある。そこで画像処理装置は、異物領域の候補が所定数フレームにわたり実質的に同じ位置に留まる場合に、当該候補を異物領域と判定してもよい。異物は数フレームから数十フレーム程度の時間スケールにおいて静止しているとみなせるから、この性質を異物判定の条件に組み込むことで、誤判定を防止できる。
別の手法として、パターンマッチングにより異物を検出してもよく、この場合、１フレーム毎の検出が可能となる。しかしながら、異物の種類や、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、パターンのバリエーションを増やす必要があり、処理が複雑となる。この点において、エッジにもとづく異物検出は処理が簡素化できるため有利である。
画像処理装置は、出力画像の各フレームについてエッジを検出し、Ｎフレーム（Ｎ≧２）離れた２枚のフレームの同じ箇所に同形状のエッジが存在するときに、そのエッジに囲まれる範囲を、異物領域と判定してもよい。この場合、間に挟まれるフレームについての判定が不要となるため、画像処理装置の負荷を減らすことができる。
画像処理装置は、現在のフレームにおいて異物領域の近傍に現基準領域を定義し、過去のフレームにおいて現基準領域に対応する過去基準領域を検出し、現基準領域と過去基準領域のオフセット量を検出し、過去のフレームにおいて、異物領域をオフセット量にもとづいてシフトさせた領域を、背景画像としてもよい。これにより、パッチとして利用すべき背景画像を効率的に探索できる。
過去基準領域の検出は、パターンマッチングにもとづいてもよい。異物として雨滴などが付着しているケースでは、異物領域の周辺に、オプティカルフローの演算に利用可能な特徴点が存在しない可能性が高い。加えてオプティカルフローは、本来的に、過去から未来に向かって光（物体）の移動を追跡する技術であるところ、背景画像の探索は、現在から過去に遡る処理であるため、連続する複数のフレームをバッファしておき、時間軸を反転させてオプティカルフローを適用する必要があり、膨大な演算処理が必要となる。あるいは、過去のフレームにおいて、将来的に基準領域となりうる部分をすべて監視し、オプティカルフローを適用する方法も考えられるが、これもまた膨大な演算処理が必要となる。パターンマッチングを利用することで、効率的に過去基準領域を探索できる。
なお、過去基準領域の検出は、オプティカルフローにもとづいてもよい。現基準領域に、オプティカルフローの演算に利用可能な特徴点が存在する場合、その特徴点の移動を時間軸を遡って追跡することで、過去基準領域を探索できる。
画像処理装置は、出力画像の各フレームについてエッジを検出し、Ｎフレーム離れた２枚のフレームの同じ箇所に同形状のエッジが存在するときに、そのエッジに囲まれる範囲を、異物領域と判定し、２枚のフレームのうち現フレームにおいて異物領域の近傍に現基準領域を定義し、２枚のフレームのうち過去フレームにおいて、現基準領域に対応する過去基準領域を検出し、現基準領域と過去基準領域のオフセット量を検出し、過去フレームにおいて、異物領域をオフセット量にもとづいてシフトさせた領域を、背景画像としてもよい。
画像処理装置は、パターンマッチングにより異物領域を検出してもよい。
カメラは、灯具に内蔵され、アウターレンズを介して撮影してもよい。
以下、実施の形態２について、図面を参照しながら説明する。
図９は、実施の形態２に係る撮影システム１００のブロック図である。撮影システム１００は、カメラ１１０および画像処理装置１２０を備える。カメラ１１０は、たとえば自動車のヘッドランプなどの車両用灯具１０のランプボディ１２に内蔵される。車両用灯具１０には、カメラ１１０に加えて、ハイビーム１６やロービーム１８のランプ光源、それらの点灯回路、ヒートシンクなどが内蔵されている。
カメラ１１０は、所定のフレームレートでカメラ画像ＩＭＧ１を生成する。カメラ１１０は、アウターレンズ１４を介してカメラ前方を撮影することとなるが、アウターレンズ１４には、雨滴ＲＤや雪粒、泥などの異物が付着する。これらの異物は、カメラ画像ＩＭＧ１に映り込み、画像の欠損を生じさせる。以下の説明では異物として雨滴ＲＤを想定するが、本発明は雪粒や泥などにも有効である。
画像処理装置１２０は、カメラ画像ＩＭＧ１の現フレームＦｉに異物が含まれるとき、異物によって遮蔽されている背景画像を過去のフレームＦｊ（ｊ＜ｉ）から探索し、現フレームの異物領域に、背景画像を貼り付ける。そして補正後の画像（以下、補正画像と称する）ＩＭＧ２を出力する。
以上が撮影システム１００の基本構成である。続いてその動作を説明する。
図１０は、図９の撮影システム１００の動作を説明する図である。図１０の上段は、カメラ画像ＩＭＧ１を、下段は補正画像ＩＭＧ２を示す。上段には、現在のフレームＦｉと、過去のフレームＦｊが示される。現在のフレームＦｉには、対向車３０が写っている。また対向車３０とオーバーラップする領域３２に異物（水滴）ＲＤが写っており、異物によって対向車（背景）３０の一部が遮蔽されている。異物ＲＤが存在する領域を異物領域３２と称する。また、背景（対向車３０）のうち、異物ＲＤによって遮蔽されている部分を背景画像という。
画像処理装置１２０は、異物ＲＤによって遮蔽されている背景画像３４を過去のフレームＦｊ（ｊ＜ｉ）から探索し、現フレームＦｉの異物領域３２に、背景画像３４を貼り付ける。
以上が撮影システム１００の動作である。車載用の撮影システムでは、車両の移動にともなってカメラ１１０が移動するため、カメラ画像ＩＭＧ１に含まれる物体像（背景）は移動し続ける。一方、異物３２が付着すると、異物は同じ位置に留まり続け、あるいは物体像より遅く移動する傾向がある。つまり、現フレームＦｉにおいて異物３２により遮蔽されている異物領域に存在する物体像（対向車３０）は、過去のフレームＦｊにおいて、異物領域とは別の領域に存在しており、したがって異物によって遮蔽されていなかった可能性が高い。そこで過去のフレームＦｊから、背景画像を検出し、パッチとして異物領域に貼り付けることにより、画像を欠損を回復できる。
続いて、具体的な処理を説明する。
（異物検出）
画像処理装置１２０は、カメラ画像ＩＭＧ１の各フレームについてエッジを検出し、エッジに囲まれる領域を、異物領域の候補と判定する。図１１（ａ）、（ｂ）は、エッジ検出にもとづく異物領域の判定を説明する図である。図１１（ａ）は、雨滴ごしに撮影したカメラ画像ＩＭＧ１を、図１１（ｂ）は、異物領域の候補を示す画像である。
図１１（ｂ）に示すように、エッジを抽出することにより、雨滴が存在する異物領域を好適に検出できることがわかる。ただし、図１１（ｂ）では、異物ではない背景も異物と誤判定されている。ここで、カメラが移動する車載用途では、数～数十フレームの時間スケールにおいて、異物が静止しているとみなせるから、この性質を異物判定の条件に組み込むことで、誤判定を防止できる。具体的には、画像処理装置１２０は、異物領域の候補が所定数フレームにわたり実質的に同じ位置に留まる場合に、当該候補を異物領域と本判定してもよい。
この場合において、画像処理装置１２０は、Ｎフレーム離れた２枚のフレームを比較し、同じ位置に同形状のエッジが存在するときに、それらの中間フレームにおいても、同じ位置にエッジが存在するものとみなして、そのエッジに囲まれる範囲を、異物領域と判定してもよい。これにより画像処理装置１２０の演算処理量を低減できる。
別の手法として、パターンマッチングにより異物を検出してもよく、この場合、１フレーム毎の検出が可能となる。しかしながら、異物の種類や、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、パターンのバリエーションを増やす必要があるため、エッジにもとづく異物検出にアドバンテージがある。なお、本発明において、画像処理装置の演算処理能力に余裕がある場合には、異物検出にパターンマッチングを利用してもよい。
図１２は、異物検出を説明する図である。各フレームにおいて３個のエッジＡ～Ｃ、すなわち異物領域の候補が検出されている。Ｆｉ－１が現在のフレームであるとき、それよりＮフレーム前のＦｉ－１－Ｎと比較される。エッジＡ，Ｂについては、同じ位置に存在するため、異物と本判定される。一方、エッジＣについては、２つのフレームＦｉ－１とＦｉ－１－Ｎとで位置が異なるため、異物からは除外される。
Ｆｉが現在のフレームであるとき、それよりＮフレーム前のＦｉ－Ｎと比較される。エッジＡ，Ｂについては、同じ位置に存在するため、異物と本判定される。一方、エッジＣについては、２つのフレームＦｉとＦｉ－Ｎとで位置が異なるため、異物からは除外される。
この処理を繰り返すことにより、異物領域を効率よく検出することができる。なお、異物の検出方法として、パターンマッチングを利用することも考えられる。パターンマッチングによれば、１フレーム毎の検出が可能となるという利点がある一方で、異物の種類や、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、マッチング用のパターンのバリエーションを増やす必要があり、演算処理量が増加するという問題がある。エッジ検出にもとづく異物判定によれば、このような問題を解決できる。
（背景画像の探索）
図１３は、背景画像の探索を説明する図である。図１３には、現在のフレームＦｉと、過去のフレームＦｊが示される。過去のフレームＦｊは、Ｆｉ－Ｎであってもよい。画像処理装置１２０は、現在のフレームＦｉにおいて異物領域４０の近傍に現基準領域４２を定義する。そして、過去のフレームＦｊにおいて、現基準領域４２に対応する過去基準領域４４を検出する。
過去基準領域４４の検出には、パターンマッチングあるいはオプティカルフローを用いることができるが、以下の理由から、パターンマッチングを用いるとよい。異物として雨滴などが付着しているケースでは、異物領域の周辺に、オプティカルフローの演算に利用可能な特徴点が存在しない可能性が高い。加えてオプティカルフローは、本来的に、過去から未来に向かって光（物体）の移動を追跡する技術であるところ、背景画像の探索は、現在から過去に遡る処理であるため、連続する複数のフレームをバッファしておき、時間軸を反転させてオプティカルフローを適用する必要があり、膨大な演算処理が必要となる。あるいは、過去のフレームにおいて、将来的に基準領域となりうる部分をすべて監視し、オプティカルフローを適用する方法も考えられるが、これもまた膨大な演算処理が必要となる。これに対して、パターンマッチングを利用することで、効率的に少ない演算で過去基準領域を探索できる。
そして、現基準領域４２の位置（ｘ，ｙ）と過去基準領域４４の位置（ｘ’，ｙ’）のオフセット量Δｘ（＝ｘ’－ｘ）、Δｙ（＝ｙ’－ｙ）を検出する。ここでは基準領域を矩形としたがその形状は特に問わない。
過去のフレームＦｊにおいて、異物領域４０をオフセット量Δｘ、Δｙにもとづいてシフトさせた領域を、背景画像４６とする。背景画像４６の位置（ｕ’，ｖ’）と異物領域の位置（ｕ，ｖ）には以下の関係が成り立つ。
ｕ’＝ｕ＋Δｘ
ｖ’＝ｖ＋Δｙ
以上が背景画像の探索の方法である。この方法によれば、パッチとして利用すべき背景画像を効率的に探索できる。
図１４は、画像処理装置１２０の機能ブロック図である。画像処理装置１２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。したがって図１４に示す各ブロックは、画像処理装置１２０が実行する処理を示しているに過ぎない。画像処理装置１２０は、複数のプロセッサの組み合わせであってもよい。また画像処理装置１２０はハードウェアのみで構成してもよい。
画像処理装置１２０は、エッジ検出部１２２、異物領域判定部１２４、背景画像探索部１２６、貼り付け部１２８を含む。エッジ検出部１２２は、現フレームＦｉについて、エッジを検出し、検出したエッジの情報を含むエッジデータＥｉを生成する。
異物領域判定部１２４は、現フレームＦｉのエッジデータＥｉと、過去のフレームＦｊ（＝Ｆｉ－Ｎ）のエッジデータＥｉ－Ｎを参照し、静止しているエッジに囲まれる領域を異物領域と判定し、異物領域データＧｉを生成する。
背景画像探索部１２６は、異物領域データＧｉ、現フレームＦｉ，過去フレームＦｉ－Ｎにもとづいて、パッチとして利用可能な背景画像を探索する。その処理は、図１３を参照して説明した通りであり、現フレームＦｉにおいて、異物領域データＧｉの近傍に、現基準領域を定義し、過去フレームＦｉ－Ｎの中から、現基準領域に対応する過去基準領域を抽出する。そしてそれらのオフセット量Δｘ、Δｙを検出し、背景画像を検出する。貼り付け部１２８は、背景画像探索部１２６が検出した背景画像を、現フレームＦｉの対応する異物領域に貼り付ける。
実施の形態２に関連する変形例を説明する。
（変形例２．１）
実施の形態では、異物領域を検出する際に、現フレームよりＮフレーム前の過去フレームを参照し、パッチとして用いる背景画像を探索する際にも、現フレームよりＮフレーム前の過去フレームを参照したがその限りでない。背景画像の探索は、現フレームよりＭフレーム（Ｎ≠Ｍ）前の過去フレームを利用してもよい。また、ある過去フレームにおいて適切な背景画像が検出できなかった場合、さらに過去のフレームの中から、背景画像を探索してもよい。
（変形例２．２）
実施の形態では、エッジにもとづいて、異物領域の候補を探索した。この際に、エッジの形状や大きさを、制約として与えてもよい。たとえば雨滴の形状は円形や楕円形である場合が多いため、コーナを有する図形は除外することができる。これにより、看板などが異物の候補として抽出されるのを防止できる。
（実施の形態３の概要）
実施の形態３は、車両用の撮影システムに関する。撮影システムは、カメラ画像を生成するカメラと、カメラ画像を処理する画像処理装置と、を備える。画像処理装置は、カメラ画像に水滴が写っているとき、水滴のレンズ特性を演算し、当該レンズ特性にもとづいて水滴の領域内の像を補正する。
この構成によれば、水滴のレンズ作用による光路の歪み（レンズ特性）を計算し、水滴のレンズ作用が存在しないときの光路を計算することで、水滴による歪みを補正することができる。
画像処理装置は、カメラ画像のうち所定の領域内を、像の補正の対象としてもよい。カメラ画像の全範囲を歪み補正の対象とすると、画像処理装置の演算量が多くなり、高速なプロセッサが必要となる。そこで、カメラ画像のうち重要な領域のみを補正対象とすることで、画像処理装置に要求される演算量を減らすことができる。「重要な領域」は固定されてもよいし、動的に設定されてもよい。
画像処理装置は、カメラ画像の各フレームについてエッジを検出し、エッジに囲まれる領域を、水滴の候補としてもよい。夜間はランプの反射によって水滴が光るため、カメラ画像に輝点として写る。一方、昼間（ランプ消灯時）は水滴が光を遮蔽し、その部分が暗点として写る。したがって、エッジを検出することにより水滴を検出できる。
ただし、それだけでは、水滴以外のエッジを有する物体を水滴と誤判定する可能性がある。そこで画像処理装置は、水滴の候補が所定数フレームにわたり実質的に同じ位置に留まる場合に、当該候補を水滴と判定してもよい。水滴は数フレームから数十フレーム程度の時間スケールにおいて静止しているとみなせるから、この性質を水滴判定の条件に組み込むことで、誤判定を防止できる。
画像処理装置は、水滴の候補が所定数フレームにわたり実質的に同じ位置に留まる場合に、当該候補を水滴と判定してもよい。
別の手法として、パターンマッチングにより水滴を検出してもよく、この場合、１フレーム毎の検出が可能となる。ただし、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、パターンのバリエーションを増やす必要があり、処理が複雑となる。この点において、エッジにもとづく水滴検出は処理が簡素化できるため有利である。
画像処理装置は、カメラ画像の各フレームについてエッジを検出し、Ｎフレーム離れた２枚のフレームの同じ箇所に同形状のエッジが存在するときに、そのエッジに囲まれる範囲を、水滴と判定してもよい。
カメラは、灯具に内蔵され、アウターレンズを介して撮影してもよい。
実施の形態３には、カメラとともに使用され、車両用の撮影システムを構成する画像処理装置が開示される。この画像処理装置は、カメラが生成するカメラ画像に水滴が写っているとき、水滴のレンズ特性を演算し、当該レンズ特性にもとづいて水滴の領域内の像を補正する。
以下、実施の形態３について図面を参照しながら詳細に説明する。
図１５は、実施の形態３に係る撮影システム１００のブロック図である。撮影システム１００は、カメラ１１０および画像処理装置１２０を備える。カメラ１１０は、たとえば自動車のヘッドランプなどの車両用灯具１０のランプボディ１２に内蔵される。車両用灯具１０には、カメラ１１０に加えて、ハイビーム１６やロービーム１８のランプ光源、それらの点灯回路、ヒートシンクなどが内蔵されている。
カメラ１１０は、所定のフレームレートでカメラ画像ＩＭＧ１を生成する。カメラ１１０は、アウターレンズ１４を介してカメラ前方を撮影することとなるが、アウターレンズ１４には、雨滴などの水滴ＷＤが付着する場合がある。水滴ＷＤは、レンズとして作用するため、それを透過する光線の経路は屈折し、像を歪ませる。
画像処理装置１２０は、カメラ画像ＩＭＧ１に水滴ＷＤが含まれるとき、当該水滴ＷＤのレンズ特性を演算し、当該レンズ特性にもとづいて水滴ＷＤの領域内の像を補正する。
画像処理装置１２０の処理の詳細を説明する。図１６は、画像処理装置１２０の機能ブロック図である。画像処理装置１２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。したがって図１６に示す各ブロックは、画像処理装置１２０が実行する処理を示しているに過ぎない。画像処理装置１２０は、複数のプロセッサの組み合わせであってもよい。また画像処理装置１２０はハードウェアのみで構成してもよい。
画像処理装置１２０は、水滴検出部１２２、レンズ特性取得部１２４、補正処理部１２６を備える。水滴検出部１２２は、カメラ画像ＩＭＧ１の中から、ひとつ、または複数の水滴ＷＤを検出する。レンズ特性取得部１２４は、各水滴ＷＤについて、その形状や位置にもとづいて、そのレンズ特性を計算する。
補正処理部１２６は、レンズ特性取得部１２４によって得られたレンズ特性にもとづいて、各水滴の領域内の像を補正する。
以上が撮影システム１００の構成である。続いてその動作を説明する。図１７（ａ）、（ｂ）は、レンズ特性の推定を説明する図である。図１７（ａ）は、カメラ画像ＩＭＧ１が示される。水滴検出部１２２は、カメラ画像ＩＭＧ１の中から水滴ＷＤを検出し、水滴ＷＤの形状（たとえば、幅ｗおよび高さｈ）や位置を取得する。水滴ＷＤの形状や位置が取得できると、図１７（ｂ）に示すように、表面張力による水滴の断面形状が推定でき、レンズ特性が取得できる。
図１８（ａ）～（ｃ）は、レンズ特性にもとづく画像の補正を説明する図である。図１８（ａ）には、水滴ＷＤによるレンズ効果が示され、実線は水滴により屈折した実際の光線(i)を示す。
図１８（ｂ）は、イメージセンサＩＳによって撮影されるカメラ画像の一部を示す。カメラ画像ＩＭＧ１には、実線の光線（i）がイメージセンサＩＳの撮像面上に結像した像が写っており、この例では、イメージセンサＩＳには、屈折により縮小された像が結像する。
画像処理装置１２０は、水滴ＷＤが存在しないと仮定したときの光線（ii）の光路を計算し、図１８（ｃ）に示すように、光線（ii）がイメージセンサＩＳの撮像面上に形成する像を推定する。推定された像が、補正後の画像となる。
以上が画像処理装置１２０の動作である。この撮影システム１００によれば、水滴ＷＤのレンズ作用による光路の歪み（レンズ特性）を計算し、水滴ＷＤのレンズ作用が存在しないときの光路を計算することで、水滴ＷＤによる歪みを補正することができる。
ここで、図１７（ａ）に示すように、カメラ画像ＩＭＧ１には、複数の水滴が同時に映り込む場合がある。このような場合において、すべての水滴を補正対象とすると、画像処理装置１２０の演算処理量が多くなり、処理が間に合わなくなる可能性がある。
この問題を解決するために、画像処理装置１２０は、カメラ画像ＩＭＧ１のうち、所定の領域内の水滴のみを、補正の対象としてもよい。所定の領域は、たとえば興味領域（ＲＯＩ：Region Of Interest）であり、画像の中心であってもよいし、注目すべき物体を含む領域であってもよい。したがって所定の領域の位置や形状は固定されていてもよいし、動的に変化してもよい。
また画像処理装置１２０は、水滴の内側の領域に、像が含まれている水滴のみを補正の対象としてもよい。これにより、演算処理量を減らすことができる。
（水滴検出）
続いて、水滴の検出について説明する。画像処理装置１２０は、カメラ画像ＩＭＧ１の各フレームについてエッジを検出し、エッジに囲まれる領域を、水滴が存在する領域（水滴領域という）の候補と判定する。図１９（ａ）、（ｂ）は、エッジ検出にもとづく水滴領域の判定を説明する図である。図１９（ａ）は、水滴ごしに撮影したカメラ画像ＩＭＧ１を、図１９（ｂ）は、水滴領域の候補を示す画像である。
図１９（ｂ）に示すように、エッジを抽出することにより、水滴領域を好適に検出できることがわかる。ただし、図１９（ｂ）では、水滴ではない背景も水滴と誤判定されている。ここで、カメラが移動する車載用途では、数～数十フレームの時間スケールにおいて、水滴が静止しているとみなせるから、この性質を水滴判定の条件に組み込むことで、誤判定を防止できる。具体的には、画像処理装置１２０は、水滴領域の候補が所定数フレームにわたり実質的に同じ位置に留まる場合に、当該候補を水滴領域と本判定してもよい。
この場合において、画像処理装置１２０は、Ｎフレーム離れた２枚のフレームを比較し、同じ位置に同形状のエッジが存在するときに、それらの中間フレームにおいても、同じ位置にエッジが存在するものとみなして、そのエッジに囲まれる範囲を、水滴領域と判定してもよい。これにより画像処理装置１２０の演算処理量を低減できる。
別の手法として、パターンマッチングにより水滴を検出してもよく、この場合、１フレーム毎の検出が可能となる。しかしながら、水滴の種類や、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、パターンのバリエーションを増やす必要があるため、エッジにもとづく水滴検出にアドバンテージがある。なお、本発明において、画像処理装置の演算処理能力に余裕がある場合には、水滴検出にパターンマッチングを利用してもよい。
図２０は、水滴検出を説明する図である。各フレームにおいて３個のエッジＡ～Ｃ、すなわち水滴領域の候補が検出されている。Ｆｉ－１が現在のフレームであるとき、それよりＮフレーム前のＦｉ－１－Ｎと比較される。エッジＡ，Ｂについては、同じ位置に存在するため、水滴と本判定される。一方、エッジＣについては、２つのフレームＦｉ－１とＦｉ－１－Ｎとで位置が異なるため、水滴からは除外される。
Ｆｉが現在のフレームであるとき、それよりＮフレーム前のＦｉ－Ｎと比較される。エッジＡ，Ｂについては、同じ位置に存在するため、水滴と本判定される。一方、エッジＣについては、２つのフレームＦｉとＦｉ－Ｎとで位置が異なるため、水滴からは除外される。
この処理を繰り返すことにより、水滴領域を効率よく検出することができる。なお、水滴の検出方法として、パターンマッチングを利用することも考えられる。パターンマッチングによれば、１フレーム毎の検出が可能となるという利点がある一方で、水滴の種類や、走行環境（昼夜、天候、自車あるは他車のヘッドランプの点消灯）などに応じて、マッチング用のパターンのバリエーションを増やす必要があり、演算処理量が増加するという問題がある。エッジ検出にもとづく水滴判定によれば、このような問題を解決できる。
実施の形態３に関連する変形例を説明する。
（変形例３．１）
実施の形態では、エッジにもとづいて、水滴領域の候補を探索した。この際に、エッジの形状や大きさを、制約として与えてもよい。たとえば雨滴の形状は円形や楕円形である場合が多いため、コーナを有する図形は除外することができる。これにより、看板などが水滴の候補として抽出されるのを防止できる。
（実施の形態４の概要）
実施の形態４は、車両用の撮影システムに関する。撮影システムは、車両用灯具にランプ光源とともに内蔵され、所定のフレームレートでカメラ画像を生成するカメラと、カメラ画像を処理する画像処理装置と、を備える。画像処理装置は、複数のフレームにもとづいてランプ光源の出射光の写り込み成分を抽出し、写り込み成分を現在のフレームから除去する。
除去すべき写り込みは、ランプという固定光源がアウターレンズという固定媒体に反射して発生するため、写り込みの像は長時間にわたり不変とみなすことができる。したがって、複数のフレームに共通して含まれる明るい部分を、写り込み成分とみなして抽出することができる。この方法は、単純な差分抽出や論理演算のみで行うことができ、したがって演算量が少ないという利点がある。
画像処理装置は、複数のフレームの画素毎の論理積をとることにより、写り込み成分を生成してもよい。論理積の演算は、ピクセルの画素値（あるいは輝度値）をバイナリに展開し、対応する画素の対応する桁同士の論理積演算を実行することにより生成してもよい。
複数のフレームは、少なくとも３秒以上、離れていてもよい。これにより、写り込み以外の物体は、複数のフレームの異なる位置に写る可能性が高まり、写り込みとして誤抽出されるのを防止できる。
画像処理装置は、ランプ光源とカメラとの位置関係から定まる所定の除外領域を、写り込み成分の抽出処理から除外してもよい。カメラにより撮影すべき物体（光源）が遠方に位置する場合、時間的に十分に離れた２枚のフレームの同じ位置に物体が写り、ランプ光源の写り込みとして誤抽出される可能性がある。そこで、ランプ光源の写り込みが生じ得ない領域を予め定めておくことで、誤抽出を防止できる。
複数のフレームは２フレームであってもよい。２フレームのみの処理でも、３フレーム以上の処理と比べて遜色がない精度で、写り込みを検出できる。
複数のフレームは、暗い場面で撮影されてもよい。これにより、写り込みの抽出の精度をさらに高めることができる。
本発明の別の態様は、車両用灯具に関する。車両用灯具は、ランプ光源と、上述のいずれかの撮影システムと、を備える。
実施の形態４には、カメラとともに使用され、車両用の撮影システムを構成する画像処理装置が開示される。カメラは、ランプ光源とともに車両用灯具に内蔵される。画像処理装置は、カメラが生成するカメラ画像の複数のフレームにもとづいてランプ光源の出射光の写り込み成分を抽出し、写り込み成分を現在のフレームから除去する。
以下、実施の形態４について図面を参照しながら詳細に説明する。
図２１は、実施の形態４に係る撮影システム１００のブロック図である。撮影システム１００は、カメラ１１０および画像処理装置１２０を備える。カメラ１１０は、たとえば自動車のヘッドランプなどの車両用灯具１０のランプボディ１２に内蔵される。車両用灯具１０には、カメラ１１０に加えて、ハイビーム１６やロービーム１８のランプ光源、それらの点灯回路、ヒートシンクなどが内蔵されている。
カメラ１１０は、所定のフレームレートでカメラ画像ＩＭＧ１を生成する。カメラ１１０は、アウターレンズ１４を介してカメラ前方を撮影することとなる。ハイビーム１６やロービーム１８などのランプ光源が点灯すると、ランプ光源の出射するビームが、アウターレンズ１４で反射あるいは散乱し、その一部がカメラ１１０に入射する。これによりカメラ画像ＩＭＧ１には、ランプ光源が写り込む。なお図２１では単純化した光路を示すが、実際にはより複雑な光路を経て、写り込みが生じうる。
画像処理装置１２０は、カメラ画像ＩＭＧ１の複数のフレームにもとづいて、ランプ光源の出射光の写り込み成分を抽出し、写り込み成分を現在のフレームから除去する。
画像処理装置１２０の処理の詳細を説明する。図２２は、画像処理装置１２０の機能ブロック図である。画像処理装置１２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。したがって図２２に示す各ブロックは、画像処理装置１２０が実行する処理を示しているに過ぎない。画像処理装置１２０は、複数のプロセッサの組み合わせであってもよい。また画像処理装置１２０はハードウェアのみで構成してもよい。
画像処理装置１２０は、写り込み抽出部１２２、写り込み除去部１２４を備える。写り込み抽出部１２２は、カメラ１１０によって撮影された複数のフレームのうち、時間的に離れた２つ、あるいは３つ以上のフレームのセット（この例では、２枚のフレームＦａ，Ｆｂである）にもとづいて、写り込み成分を含む写り込み画像ＩＭＧ３を生成する。写り込み抽出のための、複数のフレームＦａ，Ｆｂの選び方については後述する。
写り込み抽出部１２２は、複数のフレームＦａ，Ｆｂに共通して写る明るい部分を、写り込み成分として抽出する。具体的には写り込み抽出部１２２は、複数のフレームＦａ，Ｆｂの画素毎の論理積（ＡＮＤ）をとることにより、写り込み成分（写り込み画像ＩＭＧ３）を生成することができる。写り込み抽出部１２２は、フレームＦａ，Ｆｂの全ピクセルについて、画素値（ＲＧＢ）をバイナリに展開したときの、対応する桁（ビット）同士の論理積をとる。簡単のため、フレームＦａのある画素の赤の画素値Ｒａが８であり、フレームＦｂの同じ画素の画素値Ｒｂが１１であったとする。簡単のため５ビットで表すと、
Ｒａ＝［０１０００］
Ｒｂ＝［０１０１１］
となり、それらの論理積は、ビット同士を乗算することにより得ることができ、
Ｒａ×Ｒｂ＝[０１０００]
となる。全画素について論理積の演算を行うことにより、写り込み成分を含む画像ＩＭＧ３が生成される。写り込み画像ＩＭＧ３の生成は、走行開始後に１回だけ行ってもよいし、走行中に適当な頻度でアップデートしてもよい。あるいは、数日、あるいは数ヶ月に１回の頻度で、写り込み画像ＩＭＧ３を生成してもよい。
なお、ＲＧＢの画素値に変えて、ＲＧＢの画素値を輝度値に変換し、輝度値について論理積をとり、写り込み成分を抽出してもよい。
写り込み除去部１２４は、カメラ画像の各フレームＦｉを、写り込み画像ＩＭＧ３を用いて補正し、写り込み成分を除去する。
写り込み除去部１２４は、写り込み画像ＩＭＧ３の画素値に、所定の係数を乗算し、元のフレームＦｉから減算してもよい。Ｆｉ（ｘ、ｙ）は、フレームＦｉにおける水平位置ｘ、垂直位置ｙの画素を表す。
Ｆｉ’（ｘ，ｙ）＝Ｆｉ（ｘ，ｙ）－β×ＩＭＧ３（ｘ，ｙ）
βは、写り込み除去の効果がもっとも高くなるように実験によって最適化することができる。
以上が撮影システム１００の構成である。続いてその動作を説明する。図２３は、２枚のフレームＦａ，Ｆｂにもとづく写り込み画像ＩＭＧ３ｘの生成を説明する図である。この例では、アウターレンズに雨滴が付着しているが、写り込みは雨滴の有無にかかわらず発生する。この２枚のフレームＦａ，Ｆｂは、走行中に、３．３秒（３０ｆｐｓで１００フレーム）の間隔を隔てて撮影されたものである。３秒以上の間隔を空けることにより、大抵の物体は、異なる位置に写るため、論理積をとることで除去することができる。写り込み画像ＩＭＧ３ｘの生成に利用する複数のフレームは、暗い場面で撮影されたものである。これにより、背景の写り込みを減らすことができ、より高精度に写り込み成分を抽出できる。暗い場面の判定は、画像処理によって行ってもよいし、照度センサを利用して行ってもよい。
なお、２枚のフレームＦａ，Ｆｂそれぞれの右側には遠景成分である街灯や道路標識が写っている。これらは遠景であるが故に、３．３秒の走行ではほとんど位置が動かないため、写り込み画像ＩＭＧ３にその成分が混入する。
この問題を解決するために、フレームに、除外領域を定めるとよい。写り込みが発生する位置は、ランプ光源とカメラとの位置関係から幾何学的に定まるため、大きくは変化しない。言い換えれば、写り込みが発生し得ない領域を、除外領域として予め定めておき、写り込み成分の抽出処理から除外することができる。図２３の例では、写り込みが画像の左に集中しているのに対して、遠景（消失点）は画像の右側に集中している。したがって、消失点を含む右半分を除外領域とすることで、遠景の看板や街灯、標識、ビルの明かりなどが、写り込みとして誤抽出されるのを防止できる。
図２４は、４枚のフレームから生成した写り込み画像ＩＭＧ３ｙを示す図である。写り込み画像ＩＭＧ３の生成に使用した４枚のフレームは、時間も場所も異なる場面で撮影されたものであり、それらの論理積をとることで、画像ＩＭＧ３ｙが生成される。
図２３の例では、雨滴や背景の一部が、写り込みとして抽出されているのに対して、図２４のように完全に異なるシーンで撮影されたフレームを用いることで、雨滴や背景を除去し、より正確に写り込み成分のみを抽出できる。
図２５は、明るいシーンで撮影した２枚のフレームにもとづいて生成される写り込み画像ＩＭＧ３ｚを示す。明るいシーンで撮影すると、背景の光を完全に除去することが難しくなる。
図２６（ａ）～（ｄ）は、写り込みの除去の効果を示す図である。図２６（ａ）は、元のフレームＦｉを示す。図２６（ｂ）は、元のフレームＦｉを、図２３の写り込み画像ＩＭＧ３ｘを用いて補正した画像を示す。図２６（ｃ）は、元のフレームＦｉを、図２４の写り込み画像ＩＭＧ３ｙを用いて補正した画像を示す。図２６（ｄ）は、元のフレームＦｉを、図２５の写り込み画像ＩＭＧ３ｚを用いて補正した画像を示す。補正に用いた係数βは０．７５とした。
図２６（ｂ）～（ｄ）の比較から分かるように、暗いシーンで撮影したフレームにより得られた画像ＩＭＧ３ｘや、全く異なるシーンで撮影したフレームにより得られる画像ＩＭＧ３ｙを利用することで、写り込みの影響をうまく除去できることがわかる。
なお理想的にはヘッドランプを暗幕で覆った状態で撮影したフレームを用いて、写り込み画像ＩＭＧ３を生成することが望ましい。たとえば、撮影システム１００にメンテナンスモードを実行して、車両のメンテナンス時に、ユーザあるいは作業車にヘッドランプを暗幕で覆うように指示し、カメラ１１０による撮影を行って、写り込み画像ＩＭＧ３を生成してもよい。
図２７（ａ）～（ｄ）は、写り込み除去における係数の影響を説明する図である。図２７（ａ）は、補正前のフレームを、図２７（ｂ）～（ｄ）は、係数βを０．５，０．７５，１としたときの補正後の画像ＩＭＧ２を示す。β＝１とすると過補正となり、過剰に暗くなる。反対にβ＝０．５とすると、写り込みの除去が不十分となり、β＝０．７５のときに、良好な画像が得られている。このことから、β＝０．６～０．９程度とするのがよい。
写り込みを抽出する別のアプローチとして、同じシーンで、ランプを点消灯させて差分をとる方法も考えられる。しかしながらこの別のアプローチでは、映像背景全体に対する投光の有無が変化するため、画面全体の明るさが変化する。したがって差分をとるだけでは、写り込みの有無であるのか、背景の明るさの差分であるのかを区別することが難しい。これに対して、本実施の形態に係る方法によれば、写り込みの有無を確実に検出することができる。
実施の形態１．１～１．３、実施の形態２、実施の形態３、実施の形態４で説明した技術は、任意の組み合わせが有効である。
（用途）
図２８は、撮影システムを備える物体識別システム４００のブロック図である。物体識別システム４００は、撮影システム４１０と、演算処理装置４２０を備える。撮影システム４１０は、実施の形態１．１～１．３で説明した撮影システム１００，２００，３００のいずれかであり、歪みが補正された画像ＩＭＧ２を生成する。
あるいは撮影システム４１０は、実施の形態２で説明した撮影システム１００であり、異物による情報の欠損が回復された画像ＩＭＧ２を生成する。
あるいは撮影システム４１０は、実施の形態３で説明した撮影システム１００であり、水滴による情報の欠損が回復された画像ＩＭＧ２を生成する。
あるいは撮影システム４１０は、実施の形態４で説明した撮影システム１００であり、写り込みが除去された画像ＩＭＧ２を生成する。
演算処理装置４２０は、画像ＩＭＧ２にもとづいて、物体の位置および種類（カテゴリー、クラス）を識別可能に構成される。演算処理装置４２０は、分類器４２２を含むことができる。演算処理装置４２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４２０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４２０はハードウェアのみで構成してもよい。
分類器４２２は、機械学習によって生成された予測モデルにもとづいて実装され、入力された画像に含まれる物体の種類（カテゴリー、クラス）を判別する。分類器４２２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。演算処理装置４２０と、撮影システム４１０の画像処理装置１２０（２２０，３２０）は、同じプロセッサに実装してもよい。
実施の形態１．１～１．３に係る撮影システムを備える物体識別システム４００では、分類器４２２には、歪みが補正された画像ＩＭＧ２が入力される。したがって、分類器４２２を学習する際には、歪みのない画像を教師データとして用いることができる。言い換えれば、撮影システム４１０の歪み特性が変化した場合でも、学習をやり直す必要がないという利点がある。
実施の形態２に係る撮影システムを備える物体識別システム４００では、分類器４２２には、異物による情報の欠損が回復された後の画像ＩＭＧ２が入力される。したがって、物体の識別率を高めることができる。
実施の形態３に係る撮影システムを備える物体識別システム４００では、分類器４２２には、水滴による情報の欠損が回復された後の画像ＩＭＧ２が入力される。したがって、物体の識別率を高めることができる。
実施の形態４に係る撮影システムを備える物体識別システム４００では、分類器４２２には、写り込みが除去された画像ＩＭＧ２が入力される。したがって、物体の識別率を高めることができる。
物体識別システム４００の出力は、車両用灯具の配光制御に利用してもよいし、車両側ＥＣＵに送信して、自動運転制御に利用してもよい。
図２９は、撮影システムを備える表示システム５００のブロック図である。表示システム５００は、撮影システム５１０と、ディスプレイ５２０を備える。撮影システム５１０は、実施の形態１．１～１．３に係る撮影システム１００，２００，３００のいずれかであり、歪みが補正された画像ＩＭＧ２を生成する。
あるいは撮影システム５１０は、実施の形態２に係る撮影システム１００であり、異物による情報の欠損が回復された画像ＩＭＧ２を生成する。
あるいは撮影システム５１０は、実施の形態３に係る撮影システム１００であり、水滴による情報の欠損が回復された画像ＩＭＧ２を生成する。
あるいは撮影システム５１０は、実施の形態４に係る撮影システム１００であり、写り込みが除去された画像ＩＭＧ２を生成する。
ディスプレイ５２０は、画像ＩＭＧ２を表示する。表示システム５００は、デジタルミラーであってもよいし、死角をカバーするためのフロントビューモニタやリアビューモニタであってもよい。
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
本発明は、撮影システムに関する。
１００ 撮影システム
１１０ カメラ
１２０ 画像処理装置
１２２ 歪補正実行部
１３０ 補正特性取得部
１３２ 物体検出部
１３４ トラッキング部
１３６ メモリ
１３８ 補正特性演算部
２００ 撮影システム
２１０ カメラ
２２０ 画像処理装置
２２２ 歪補正実行部
２３０ 補正特性取得部
２３２ 基準物体検出部
２３６ メモリ
２３８ 補正特性演算部
３００ 撮影システム
３１０ カメラ
３２０ 画像処理装置
３２２ 歪補正実行部
３３０ 第１補正特性取得部
３４０ 第２補正特性取得部
４００ 物体識別システム
４１０ 撮影システム
４２０ 演算処理装置
４２２ 分類器
５００ 表示システム
５１０ 撮影システム
５２０ ディスプレイ
１０ 車両用灯具
１２ ランプボディ
１４ アウターレンズ

Claims (7)

  1. 車両用の撮影システムであって、
    カメラと、
    前記カメラの出力画像を処理する画像処理装置と、
    を備え、
    前記画像処理装置は、前記出力画像に含まれる物体像をトラッキングし、前記物体像の移動にともなう形状の変化にもとづいて、前記出力画像の歪みを補正するための情報を取得し、当該情報を用いて前記出力画像を補正することを特徴とする撮影システム。
  2. 前記出力画像の中に、歪みが小さい基準領域が規定されており、前記物体像が前記基準領域に含まれるときの形状を、前記物体像の真の形状とすることを特徴とする請求項１に記載の撮影システム。
  3. 前記カメラは、消失点が、前記基準領域に含まれるように配置されることを特徴とする請求項２に記載の撮影システム。
  4. 前記画像処理装置は、前記出力画像の中から、真の形状が既知である基準物体の像を検出し、真の形状と、前記出力画像における前記基準物体の像の形状と、にもとづいて、前記出力画像の歪みを補正するための情報を取得することを特徴とする請求項１から３のいずれかに記載の撮影システム。
  5. 前記真の形状が既知である物体像は、交通標識を含むことを特徴とする請求項４に記載の撮影システム。
  6. 前記カメラは、灯具に内蔵され、アウターレンズを介して撮影することを特徴とする請求項１から５のいずれかに記載の撮影システム。
  7. カメラとともに使用され、車両用の撮影システムを構成する画像処理装置であって、
    前記カメラの出力画像に含まれる物体像をトラッキングし、前記物体像の移動にともなう形状の変化にもとづいて、前記出力画像の歪みを補正するための情報を取得し、当該情報を用いて前記出力画像を補正することを特徴とする画像処理装置。
JP2021509458A 2019-03-26 2020-03-24 撮影システムおよび画像処理装置 Active JP7426987B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2019058306 2019-03-26
JP2019058304 2019-03-26
JP2019058303 2019-03-26
JP2019058304 2019-03-26
JP2019058305 2019-03-26
JP2019058303 2019-03-26
JP2019058306 2019-03-26
JP2019058305 2019-03-26
PCT/JP2020/013063 WO2020196536A1 (ja) 2019-03-26 2020-03-24 撮影システムおよび画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020196536A1 JPWO2020196536A1 (ja) 2020-10-01
JP7426987B2 true JP7426987B2 (ja) 2024-02-02

Family

ID=72608416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021509458A Active JP7426987B2 (ja) 2019-03-26 2020-03-24 撮影システムおよび画像処理装置

Country Status (4)

Country Link
US (1) US20220014674A1 (ja)
JP (1) JP7426987B2 (ja)
CN (1) CN113632450B (ja)
WO (1) WO2020196536A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126905A (ja) 2002-10-02 2004-04-22 Honda Motor Co Ltd 画像処理装置
JP2010260379A (ja) 2009-04-30 2010-11-18 Koito Mfg Co Ltd 撮像素子を内蔵した車両用灯具
JP2013164913A (ja) 2012-02-09 2013-08-22 Koito Mfg Co Ltd 車両用灯具
WO2014017403A1 (ja) 2012-07-27 2014-01-30 クラリオン株式会社 車載用画像認識装置
JP2014127027A (ja) 2012-12-26 2014-07-07 Nippon Soken Inc 境界線認識装置
JP2015035704A (ja) 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
JP2018072312A (ja) 2016-10-24 2018-05-10 株式会社デンソーテン 付着物検出装置、付着物検出方法
JP2018086913A (ja) 2016-11-29 2018-06-07 株式会社小糸製作所 車両用ランプの点灯制御装置
JP2018142828A (ja) 2017-02-27 2018-09-13 株式会社デンソーテン 付着物検出装置および付着物検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142814A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置及方法、程序、以及记录介质
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP5525277B2 (ja) * 2010-02-10 2014-06-18 株式会社小糸製作所 カメラを内蔵した車両用灯具
EP3467775A1 (en) * 2017-10-03 2019-04-10 Fujitsu Limited Estimating program, estimating method, and estimating system for camera parameter
US10809364B2 (en) * 2018-08-06 2020-10-20 Luminar Technologies, Inc. Determining relative velocity using co-located pixels

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126905A (ja) 2002-10-02 2004-04-22 Honda Motor Co Ltd 画像処理装置
JP2010260379A (ja) 2009-04-30 2010-11-18 Koito Mfg Co Ltd 撮像素子を内蔵した車両用灯具
JP2013164913A (ja) 2012-02-09 2013-08-22 Koito Mfg Co Ltd 車両用灯具
WO2014017403A1 (ja) 2012-07-27 2014-01-30 クラリオン株式会社 車載用画像認識装置
JP2014127027A (ja) 2012-12-26 2014-07-07 Nippon Soken Inc 境界線認識装置
JP2015035704A (ja) 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
JP2018072312A (ja) 2016-10-24 2018-05-10 株式会社デンソーテン 付着物検出装置、付着物検出方法
JP2018086913A (ja) 2016-11-29 2018-06-07 株式会社小糸製作所 車両用ランプの点灯制御装置
JP2018142828A (ja) 2017-02-27 2018-09-13 株式会社デンソーテン 付着物検出装置および付着物検出方法

Also Published As

Publication number Publication date
US20220014674A1 (en) 2022-01-13
JPWO2020196536A1 (ja) 2020-10-01
CN113632450A (zh) 2021-11-09
CN113632450B (zh) 2023-07-04
WO2020196536A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
US10380434B2 (en) Vehicle detection system and method
CN107852465B (zh) 车载环境识别装置
O'Malley et al. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
JP6120395B2 (ja) 車載装置
TWI607901B (zh) 影像修補系統及其方法
US7986812B2 (en) On-vehicle camera with two or more angles of view
US20060215882A1 (en) Image processing apparatus and method, recording medium, and program
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
US11676394B2 (en) Processing device for conversion of images
US20150332099A1 (en) Apparatus and Method for Detecting Precipitation for a Motor Vehicle
JP5501477B2 (ja) 環境推定装置及び車両制御装置
US10922827B2 (en) Distance estimation of vehicle headlights
US20170116488A1 (en) Method for identifying an incoming vehicle and corresponding system
JP7241772B2 (ja) 画像処理装置
JP7426987B2 (ja) 撮影システムおよび画像処理装置
CN113628202B (zh) 一种确定方法、清洁机器人和计算机存储介质
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS
US20230171510A1 (en) Vision system for a motor vehicle
EP3168779A1 (en) Method for identifying an incoming vehicle and corresponding system
Brehar et al. Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors
Alam et al. How to deal with glare for improved perception of Autonomous Vehicles
KR20230161708A (ko) 차량 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R150 Certificate of patent or registration of utility model

Ref document number: 7426987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150