JPWO2010084707A1 - コンピュータビジョン・システムに於ける画像復元方法 - Google Patents
コンピュータビジョン・システムに於ける画像復元方法 Download PDFInfo
- Publication number
- JPWO2010084707A1 JPWO2010084707A1 JP2010547420A JP2010547420A JPWO2010084707A1 JP WO2010084707 A1 JPWO2010084707 A1 JP WO2010084707A1 JP 2010547420 A JP2010547420 A JP 2010547420A JP 2010547420 A JP2010547420 A JP 2010547420A JP WO2010084707 A1 JPWO2010084707 A1 JP WO2010084707A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- camera
- raindrops
- contamination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 238000011109 contamination Methods 0.000 claims abstract description 12
- 239000011521 glass Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 16
- 230000007717 exclusion Effects 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】 コンピュータビジョン・システムに於ける画像処理に於けるロバストネスを改善する。【解決手段】 汚染により光学的に閉塞された対象の第1の画像をキャプチャし、異なる視点から同一対象の第2の画像をキャプチャし、第1の画像の光学的に閉塞された部分を、第2の画像の情報により再構成するような画像復元方法が用いられる。その手法としては、ステレオ画像不一致推定、オプティカルフロー推定、フォトメトリック・モデル推定、フレームの選択的除外、アウトリア(outlier)の除外、カルマンフィルタの応用等がある。【選択図】 図1
Description
本発明は改良されたコンピュータビジョン・システムに関し、特に雨滴その他の外乱としての光学的閉塞による視野の閉塞(occlusion)に基づく干渉を除去することにより、コンピュータ・ビジョンのロバストネス即ち頑強性を改善するための技術に関する。
コンピュータビジョンに基づく高度ドライバ補助システム(ADAS: advanced driver assistance system)は、対象の検出及び追跡により周囲の交通状況に関する知識を抽出する。検出されるべき代表的な対象としては、他の車両、車線、交通信号、歩行者などがある。典型的な画像処理システムは、ADASによる機能並びに応用自体に加えて、モジュール特徴抽出(feature extraction)、対象検出、追跡及び分類を含む。特徴抽出モジュール分析は、キャプチャされたフレームのエッジ、コーナー、強度ヒストグラムなどの低レベル特性を分析する。所望に応じて、景色の時間に伴う挙動についての情報を収集するためにオプティカルフロー推定を用いることもできる。ステレオカメラシステムは、将来のビジョンに基づくADASのための有効な技術であると考えられる。景色の深さについての情報を、一対のステレオ視画像の不一致を推定することにより得ることができる。
更に、対象追跡は、検出された対象の時間に関連する挙動についての知識を得て、対象の分類を補助するための公知の手法である。例えば、カルマンフィルターや拡張カルマンフィルターは対象追跡のために広く利用されている。
画像領域及び又は画像特徴についての相関手法は、ビデオストリーム中の次の画像に於ける対象を発見するための公知の対象追跡アルゴリズムにより利用されている。このような方法に於いては、特定の対象が次の画像フレームに於いて同様の外観を呈することが重要である。画像にローカルな歪みがある場合、この要件を満たすことができず、このようなアルゴリズムは、関心の対象である物体を見失うことがある。画像のローカルな歪みは、ウインドシールド上の雨滴、ウインドシールドの汚染、石によるガラスの破損、その他のウインドシールド上の乱れた領域により引き起こされる。
ウインドシールド上の雨滴に代表されるような悪天候による影響、汚染された領域或いは小さな破損などは、様々な画像領域の部分的閉塞、ぼやけ或いはローカルな歪などの幾つもの種類の画像の乱れの原因となる。従って、特徴を抽出する性能並びに、追跡モジュールの検出性能が劣化する。
特許文献1は、走行する車両に取り付けられたカメラにより、移動体を検出するための方法を記載している。特許文献1によれば、この先行発明により、外乱と称されるノイズを除去することができるとされている。しかしながら、この文献の開示内容によれば、この先行発明は道路の凹凸により引き起こされる外乱に対処するものである。従って、この特許文献に於いてノイズと称されるものは、車両のピッチングに他ならず、これは斬新な方法により補償されている。しかしながら、この方法は悪天候に際しては、画像を復元するために利用することが出来ない。なぜなら、ほとんど全ての画像には、雨滴が含まれており、ノイズを含まない次の画像フレーム或いは新たな画像フレームが出現するのを待つ必要があることから、画像処理に要する時間が多大となる。
特許文献2は、異物により一時的に光学的に閉塞された移動体を追跡するための方法を記載している。しかも、このような一時的に閉塞された対象のための警告方法についても記載している。
特許文献3は、ウインドシールド上の疑わしい点のそれぞれにより形成される画像を外の景色と、ある座標変換の手法を用いることにより比較し、これら両画像の相関を評価することによりウインドシールド上の雨滴を検出するための方法を開示している。
このような従来技術の問題点に鑑み、本発明の主な目的は画像処理に於けるロバストネスを改善するための方法を提供することにある。
本発明の第2の目的は、異なる視点から得られた光学情報を用いることにより、閉塞された画像を再構成するための方法を提供することにある。
本発明によれば、このような目的は、コンピュータビジョン・システムに於ける画像復元方法であって、汚染により光学的に閉塞(occluded)された対象の第1の画像をキャプチャする工程と、異なる視点から前記対象の第2の画像をキャプチャする工程と、前記第1の画像の光学的に閉塞された部分を、前記第2の画像の情報により再構成する工程とを有することを特徴とする方法を提供することにより達成される。
このようにして、画像の閉塞された部分を、冗長性を有する光学情報を利用することにより、再構成することができる。特に、これは、ローカルな歪みがある画像領域を再構成し、或いは更なる画像処理から排除するために、時間的或いは空間的マッピング手法を利用することにより達成される。これらのマッピング手法は、多大な計算時間を要するなどの従来技術の問題を解消することができる。このようにして、最小限のハードウェア資源を用いて、最小限の計算時間を要するのみで、コンピュータビジョン・システムに完全な画像を提供することができる。通常、前記汚染により光学的に閉塞された実質的に透明なシートを通して前記第1及び第2の画像をキャプチャし、前記汚染が、透明なシート上の雨滴、ガラスの欠け及び汚れのいずれかを含むものからなる。
発明の或る側面によれば、前記第1の画像が前記第1の位置にある第1のカメラによりキャプチャされ、前記第2の画像が前記第1の位置にある第1のカメラの光軸に対して直角方向に変位した第2の位置にある第2のカメラによりキャプチャされる。
これは、ステレオ視画像の不一致推定に基づくもので、通常、キャプチャされた画像の深さに関する情報を提供するが、同時に、光学的閉塞を再構成することを可能にするような光学的冗長性を提供する。
発明の別の側面によれば、前記対象が静止体であって、前記第1の画像が移動体に搭載されたカメラにより第1の時点に於いてキャプチャされ、前記第2の画像が前記カメラにより、前記第1の時点に対して時間的に変位した第2の時点に於いてキャプチャされる。
これは、オプティカルフロー推定に基づくものである。対象が静止体であって、その画像が。車両などの移動体に搭載された1つ又は複数のカメラによりキャプチャされる場合、対象と移動体との間の相対運動のために、対象はカメラの視野内で移動するように見えるのに対し、光学的閉塞はカメラの視野内で静止したままとなる。従って、或る時点に於いて光学的に閉塞した対象の部分は、後続の或いは先行する時点では、光学的に閉塞していないことがある。このような時間的な冗長性は、光学的に閉塞した画像を再構成することを可能にする。
光学的な閉塞がウインドシールド上の雨滴であったり、他の車両からウインドシールド上に跳ね上げられた水であって、その後にワイパにより、そのような光学的な閉塞が除去されるような、光学的な閉塞が時間的なものである場合、現在の画像を、その直前の同一の画像により置換することにより、光学的に閉塞された画像を再構成することができる。
このような原理に基づく実施例によれば、前記対象の画像が、一連の時点に対応する複数のフレームとしてキャプチャされ、前記フレームのいずれかに光学的閉塞が検出されたときには、そのフレームを、先行するフレーム内の画像の対応する部分により再構成するものとしている。
これは、前記対象の画像が、汚染により光学的に閉塞されることがあり、かつそのような汚染を定期的に除去するためのワイパを備えた実質的に透明なシートを通してキャプチャされ、前記画像の光学的に閉塞された部分の再構成が、前記ワイパにより光学的な閉塞が除去されたばかりのフレームを利用して行なうようにした場合に、特に有益である。
図1は、本発明の基本概念を示す。本発明は、通常、様々な可能性のうちでも、車線追跡、障害物の検出、交通信号の検出、車間距離を適正に保つために先行車両を追跡するなどの目的で外界の景色の像をキャプチャするために車両に用いられる。
車両には、ステレオカメラであって良いカメラが搭載され、更にカメラにより取得された画像データを処理するためのコンピュータを備えている。カメラにより取得された画像は、コンピュータにより処理され、その画像の特徴点が抽出される。これらの特徴点は、対象検出、セグメンテーション及び対象追跡/分類などの様々な手法により更に処理される。必要な画像取り扱い処理は、コンピュータ上で実行される適当なコンピュータプログラムにより実現される。取得された画像は、ウインドシールド上の雨滴、小石による破損或いは泥などにより汚染される場合がある。そのような場合、画像の閉塞された部分は以下に詳しく説明するオプティカルフロー推定またはステレオ不一致推定などにより再構成される。完全に再構成された画像は、所要の目的に供される。対象追跡はしばしば対象分類と一体的に利用される。
ステレオ画像不一致推定
将来のビジョンシステムは、車線、交通標識、歩行者、先行車両、交通信号などからなるいくつものADAS機能を実現することが期待されている。これらの機能のいくつかは、ステレオカメラにより取得される深さ情報を必要とする。車線認識などのような単一のカメラの画像を利用するものもある。ステレオカメラの対による冗長性を伴う情報は、単一のカメラの画像によって動作し得るようなこれらの機能を果たすために、歪んだ画像の領域を再構成するために用いることを特徴としている。
将来のビジョンシステムは、車線、交通標識、歩行者、先行車両、交通信号などからなるいくつものADAS機能を実現することが期待されている。これらの機能のいくつかは、ステレオカメラにより取得される深さ情報を必要とする。車線認識などのような単一のカメラの画像を利用するものもある。ステレオカメラの対による冗長性を伴う情報は、単一のカメラの画像によって動作し得るようなこれらの機能を果たすために、歪んだ画像の領域を再構成するために用いることを特徴としている。
例えば、道路面などのような車両の前方の知られた水平面上の対象について、ステレオカメラ対の一方のカメラの画像は、他方のカメラの画像から計算することができる。その詳細については、"Inverse perspective mapping technique", Mallot H.A., Bulthoff H. H., Little J. J. & Bohrer S. (1991): Inverse perspective mapping simplifies optical flow computation and obstacle detection. Biological Cybernetics 64:177-185を参照されたい。ここで提案されている方法によれば、一方のカメラの画像に於いては雨滴その他の異物により歪められた車両の前方の道路標識(車線、停止線など)を、第2のカメラの画像を用いて再構成することができる。図2は、道路面の画像が雨滴により歪められた状態の左右のカメラフレーム画像(a)、(b)及び、(a)から(b)に情報をコピーすることにより右側の画像(c)を再構成する様子を示している。
雨滴の位置に関する情報は、特許文献3に記載された方法或いは他の適宜な方法により得ることができる。この方法は、両方のカメラの画像間に相当程度の不一致があるような領域(近傍領域)について特に好適に適用することができる。この方法は、左右のカメラ画像間に知られた不一致がある対象に対して適用することができる。
図3は、上記した概念を実現するために低レベルの画像再構成を伴うステレオ画像処理システムの拡張ブロック図を示す。取得された画像の閉塞された部分は、例えば特許文献3に於いて提案されている方法を用いて雨滴を検出することにより識別することができる。この方法は、画像を再構成するために逆透視マッピング技術(inverse perspective mapping technology)をうまく利用することに基づくものである。通常逆透視マッピング法は、路面などのような既知の面上に於ける障害物を検出するために適用することができる。ここでは、この方法を画期的な方法で適用している。この方法は、実際の画像を再構成可能とし、したがって処理時間を増大させることなく画像処理を行うことができる。
遠方にある対象については、ステレオカメラに於ける2つの画像間の不一致はほとんど無視することができる。その場合、一方のカメラの画像内に於いて乱された領域に対しては、左カメラの画像のピクセルを右側のカメラの画像に単純にコピーし或いはその逆を行うことにより対応することができる。この概念は、特に遠方にある対象については、上記した概念の変形であるということができる。この概念は、図3に示された構造に対して適用することができる。
この方法は特許文献3に開示された発明に基づくものである。更に、画像を再構成するためにステレオカメラの両画像に於ける冗長性を利用する。この冗長性は、影響を受けたピクセルのみを再構成する点で新規な方法で利用されている。この方法によれば、実際の画像の再構成が可能であって、従って画像の処理を多大な時間を要することなく行うことができる。
ステレオカメラ・システムに於いては、関心のある領域(ROI:region of interest)を、対象を認識する目的のために、乱された領域による影響を比較的受けていない側の左又は右側の画像から選択することができる。その理由は次の通りである。特定の機能或いはサブ機能(交通信号の識別など)のために、両ステレオ画像の不一致により得られる深さ情報が重要でない場合には、ステレオカメラの冗長性を利用することができる(図4)。これは、上記した方法の変形であって、雨滴による影響を受けた個々のピクセルではなく、ROI全体をカバーする。従って、対象セグメンテーションのステップが必要となる。図3の破線を参照されたい。
この方法は、画像を再構成するためにステレオカメラの画像の冗長性を利用する。この冗長性は、影響を受けたROIのみを再構成する点でうまく利用されていると言える。この方法によれば、実際の画像の再構成が可能であって、従って画像の処理を多大な時間を要することなく行うことができる。
オプティカルフロー推定
地表面上の物体等、既知のオプティカルフローに関わる対象については、ある時点tnに於いてキャプチャされた画像に於ける乱れた領域は、先行する時点tn−1に於いてキャプチャされた対応する画像領域をリマッピングすることにより再構成することができる。この方法は、乱れた領域の再構成を可能にする。この考えによればステレオカメラを必要としない。図5は、オプティカルフローを用いることにより車線を再構成する例を示しており、外界の景色は、上部には空を下部には路面を含んでいる。路面は車線を含んでいる。車両が道路を走行するに伴い、車線の各点は、時間の経過と共に下方向に移動する。各時点t0、t1、t2に於ける点Aの位置の変化を観察されたい。
地表面上の物体等、既知のオプティカルフローに関わる対象については、ある時点tnに於いてキャプチャされた画像に於ける乱れた領域は、先行する時点tn−1に於いてキャプチャされた対応する画像領域をリマッピングすることにより再構成することができる。この方法は、乱れた領域の再構成を可能にする。この考えによればステレオカメラを必要としない。図5は、オプティカルフローを用いることにより車線を再構成する例を示しており、外界の景色は、上部には空を下部には路面を含んでいる。路面は車線を含んでいる。車両が道路を走行するに伴い、車線の各点は、時間の経過と共に下方向に移動する。各時点t0、t1、t2に於ける点Aの位置の変化を観察されたい。
オプティカルフロー推定即ち、オプティカルフロー・リマッピングによれば、ある時点に於ける点A等の位置を、それに先立つ時点に於ける同一の点の位置から推定することができる。道路上の点或いは対象が、固定した物体に属する場合には、車両のオドメータを、車両の位置即ち距離情報を提供するために利用することができる。適当なアルゴリズムを用いることにより、ある時点に於ける外界の景色内に於ける移動体の位置を、それに先行する時点に於ける同一対象の2つ以上の位置から予測することができる。
図6は、オプティカルフロー推定を雨滴検知と組み合わせた場合の画像再構成を行う構成を示すブロック図である。これは、図3のブロック図と同様であるが、ステレオカメラに於ける不一致に基づく推定に代えて、オプティカルフロー推定が用いられている点に於いて相違する。
図7は、オプティカルフロー推定に基づく画像再構成を実行するためのアルゴリズムを示している。
1.カメラ(1)によりキャプチャされた画像は、バッファされ(2)、それに引き続く1組のフレームが抽出される。特許文献3に記載されたアルゴリズムを用いて雨滴が検出される(3)。雨滴マスクを計算し、バッファする(4)。
2.(オドメータの情報を考慮するものであって良い)パラレル・オプティカルフロー推定(5)が、ワーピングマトリックス/ホモグラフィ(6)を計算し、過去の画像を現在の画像のジオメトリ−にワープするために用いられる。
3.雨滴マスクに基づいて現在の画像及びワープされた過去の画像をマルチプレックスし、画像(7)を再構成する。このブロックに関する詳細が図8に示されている。
4.最後に、再構成された画像がアプリケーション(8)に転送される。
より詳しい画像再構成のフロー図が図8に示されている。現在のフレームNに於いて雨滴によりカバーされた各領域について、前回の画像N-Mに於ける(ワープ後の)同一の領域も雨滴による影響を受けているかをチェックする。影響を受けていない場合、現在の雨滴に対応する領域を置換する。影響を受けている場合には2つの可能性が考えられる。
1.何の対策も取らない。従って、この領域は再構成されない。例えばウインドシールドの5%の領域が雨滴により覆われていたとすると、これは、(見える範囲の)ウインドシールドの(0.05*0.05)*100 =0.25%に当てはまることになり、これは多くの用途に於いて、無視できる大きさである。(この計算に於ける仮定の内容は次の通りである。例えば、フレームN及びN-Mについて、雨滴により、画像領域の5%が、均等なパターンで乱されていたとする。即ち、雨滴の分布には格別なパターンが無いものとする。上記したアルゴリズムは、ワープされたフレームN-Mを用いることにより、フレームNに於ける乱れた領域を再構成しようとする。ワープを行なうことから、フレームN-Mに於けるワープされた領域が乱れている確率は、この領域がフレームNに於いても乱れている確率とは独立した事象である。この独立性のため、ある領域が、フレームNに於いて乱れ、かつフレームN-Mに於いても乱れている確率は、2つの事象の確率の積として与えられる。)即ち、これにより、画像処理の応用に於けるロバストネスが高いことが示されている。
2.より多数のフレームがバッファされている場合には、特定の領域がフレームN-Kから再構成し得るかをチェックする。そのためには、より大きなバッファスペースが必要となる。
この方法の性能は、"Video-based raindrop detection for improved image registration", Martin Roser, Andreas Geiger, Institut fur Mess- und Regelungstechnik, Universitat Karlsruhe (TH), July 3, 2009に報告されている。
雨滴検知は、特許文献3に開示された発明に基づいて行われる。更に、画像を再構成するためにオプティカルフロー補償が適用される。しかしながら、雨滴による外乱があるために、(相関手法に基づく)通常のオプティカルフロー推定法ではうまくいかないと考えられる。そこで、オドメータからの情報を考慮することにより路面上のオプティカルフローを推定する方法が提案される。この方法によれば、実際の画像の再構成が可能となり、画像処理に要する時間が短縮される。
フォトメトリック・モデル推定
雨滴により閉塞されたウインドシールドの領域は、特許文献3に記載されたフォトメリックモデルを適用することにより部分的に再構成することができる。図9は、垂直の壁からなるものと仮定される背景について、カメラよりキャプチャされた景色を示している。濃い領域は雨滴により閉塞されており、従ってカメラによって観測されていない。それに代えて、カメラは、レンズとして機能する雨滴の内部で屈折された背景の画像である灰色の領域を観測することになる。フォトメトリック・モデルを適用することにより、濃い領域即ち雨滴の背景は、雨滴の内部の画像情報から部分的に再構成することができる。
雨滴により閉塞されたウインドシールドの領域は、特許文献3に記載されたフォトメリックモデルを適用することにより部分的に再構成することができる。図9は、垂直の壁からなるものと仮定される背景について、カメラよりキャプチャされた景色を示している。濃い領域は雨滴により閉塞されており、従ってカメラによって観測されていない。それに代えて、カメラは、レンズとして機能する雨滴の内部で屈折された背景の画像である灰色の領域を観測することになる。フォトメトリック・モデルを適用することにより、濃い領域即ち雨滴の背景は、雨滴の内部の画像情報から部分的に再構成することができる。
図10に示されるよう、雨滴内の雨滴背景の観測位置及び寸法は、雨滴毎に異なる。しかしながら、雨滴の形状が知られれば、雨滴背景(図9、濃い領域)の位置を、ウインドシールド上に於ける雨滴の位置(x, y)及び雨滴の半径のみから表現することができる。背景の全体が雨滴により屈折された画像から再構成されるためには、カメラは、高い解像度を有することが必要となり、また画像プロセッサは短い時間で多数のピクセルを処理し得るものであることを有する。そこで、雨滴などについて局部的に高い解像度を適用し、視界のうちのそれ以外の部分の解像度を下げる等の対策が必要になるかもしれない。特に、マッピング技術を用いることにより計算を高速化することができる。この方法のためには、雨滴の形状の仮定がなされる。
(図9に於いて灰色により示された)雨滴を通過する観測領域の境域を知り、特許文献3に記載された正確なフォトメリック雨滴モデルを近似するために、線形マッピング関数を用いることができる。この関数は、それほど計算労力を要することなく、十分に雨滴の外観を近似することができる。図11は、線形マッピング関数の一例による結果を示す。
高速化のもう1つの方法としては図12に示されたルックアップ・テーブルがある。それによれば、フォトメリック・モデルに基づき計算することに代えて、ルックアップ・テーブルに記憶されたピクセルの対応関係に基づくアフィン・マッピングを行うことにより、画像の再構成を行うことかできる。
フレームの選択的除外
対象領域(ROI:region of interest)が殆ど歪みを含まない場合には、パターンマッチングを画像フレームに適用することにより対象認識を限定することができる。ROIがかなりの歪みを含むようなフレームについては、パターンマッチングから除外することができる。あまり歪みのないフレームは、ワイパのタイミングを知ることにより識別することができる。歪みのある領域は、雨滴及び外乱領域を検出する方法により特定することができる。図13は、2つの異なるフレームを示し、速度制限の交通標識がROIとして抽出される。フレームの1つに於いては、速度制限標識が雨滴によりぼやかされている。このようなフレームはパターンマッチングから除外することができる。
対象領域(ROI:region of interest)が殆ど歪みを含まない場合には、パターンマッチングを画像フレームに適用することにより対象認識を限定することができる。ROIがかなりの歪みを含むようなフレームについては、パターンマッチングから除外することができる。あまり歪みのないフレームは、ワイパのタイミングを知ることにより識別することができる。歪みのある領域は、雨滴及び外乱領域を検出する方法により特定することができる。図13は、2つの異なるフレームを示し、速度制限の交通標識がROIとして抽出される。フレームの1つに於いては、速度制限標識が雨滴によりぼやかされている。このようなフレームはパターンマッチングから除外することができる。
この概念に基づくある実施例に於いては、システムが外界の景色を一連のフレームとしてキャプチャする。フレームの或るものに於いては、外界の景色が雨滴により閉塞され、これにより特定のコンピュータビジョン・システム(CVS:computer vision system)の適用を妨げる。しかしながら、ワイパがウインドシールドを拭く度ごとに、雨滴、従ってそれにより引き起こされる光学的閉塞が解消される。CVSは、ワイパの運動に関する情報が与えられていることから、ウインドシールドの表面からの雨滴の除去を予測することができる。従って、雨滴により光学的に閉塞されたフレームを、ワイパの作用により閉塞が除去されている隣接するフレームをもって適宜置換することにより、光学的閉塞のない連続したフレーム即ち画像をCVSに適用することができる。
アウトリア(outlier)の除外
この概念の変形としてエッジ或いはコーナー検出のような特徴抽出から歪んだ領域を除外するための方法を適用することができる。画像特徴に基づき作動する対象認識モジュールの多くは、間違った特徴の場合よりも、特徴が失われた場合に於けるロバストネスが高い。従って、アウトリア(outlier: 例外)を含む特徴画像に於いては、破綻することがあるのに対し(図14の左側を参照されたい)、有る特徴が失われている場合には同一のアルゴリズムが良好な結果を得ることがある(図14の右側を参照されたい)。
この概念の変形としてエッジ或いはコーナー検出のような特徴抽出から歪んだ領域を除外するための方法を適用することができる。画像特徴に基づき作動する対象認識モジュールの多くは、間違った特徴の場合よりも、特徴が失われた場合に於けるロバストネスが高い。従って、アウトリア(outlier: 例外)を含む特徴画像に於いては、破綻することがあるのに対し(図14の左側を参照されたい)、有る特徴が失われている場合には同一のアルゴリズムが良好な結果を得ることがある(図14の右側を参照されたい)。
図14に示された実施例では、特徴抽出に於いて、アウトリアを回避することにより、より改善されたロバストネスをもって雨滴を検知をすることができる。雨滴検出に於いては、障害となるアウトリアを抑制するためのマスクされた画像が得られる。
実際のDASの応用に際して、複数対象追跡(MOT:multi object tracking)と呼ばれる方法により、いくつもの対象を追跡する必要が生じる場合がある。MOTのためには、新たなトラック、分岐したトラック、合流したトラック、及び消去されたトラックを生成するために複数のトラックを管理する必要がある。後続の画像フレームには対象が見いだされないような場合には、対応するトラックを消去する必要がある。トラックを消去する決定を行うためには、異なる画像フレームにおけるROI間の最小限の近似性については閾値を定める必要がある。この閾値は、対象を見失うのを回避するために雨滴などのような既知のローカルな画像の乱れに対応するように適合させることかできる。
カルマンフィルタの応用
カルマンフィルタは、(速度が徐々に変化するという仮定に基づくなどして)追跡されるべき対象の特性をモデル化し、所定の時間に渡って、観測された位置の不確定さを考慮したような観測を行うことにより対象を追跡する。このようなフィルタを用いることにより、外部的な観測及び(内部的な)対象の予測に対して重み付けを行なうことができる。変化する環境条件についての知識があれば、この重み付けをチューニングすることができる。即ち、カメラ画像などのような外部的な観測結果は、ウインドシールド上の雨滴などのような外乱を含む場合には、対象の特性についての内部的な予測に対する重みを増大させ、全体的な追跡性能を改善することができる。従って、悪天候の下であっても、追跡性能を向上させ、複数の対象を追跡する際にロバストネスを改善することができる。
カルマンフィルタは、(速度が徐々に変化するという仮定に基づくなどして)追跡されるべき対象の特性をモデル化し、所定の時間に渡って、観測された位置の不確定さを考慮したような観測を行うことにより対象を追跡する。このようなフィルタを用いることにより、外部的な観測及び(内部的な)対象の予測に対して重み付けを行なうことができる。変化する環境条件についての知識があれば、この重み付けをチューニングすることができる。即ち、カメラ画像などのような外部的な観測結果は、ウインドシールド上の雨滴などのような外乱を含む場合には、対象の特性についての内部的な予測に対する重みを増大させ、全体的な追跡性能を改善することができる。従って、悪天候の下であっても、追跡性能を向上させ、複数の対象を追跡する際にロバストネスを改善することができる。
画像処理手法に於いては、ワイパの運動について知識を利用し、それを追跡パラメータに対して適用することができる。即ち、ワイパが通過した直後であれば、ウインドシールド上には雨滴がないと仮定することができるため、測定ノイズの共分散を減少させることできる。ワイパが通過した後に時間が経過するに従って、即ちウインドシールド上の雨滴が増大するに従って、測定ノイズの共分散が増大し、ウインドシールド上の雨滴による認識結果の不確定さが増大する。図16を参照されたい。この方法は、詳細なローカルな画像の乱れの情報に代えて雨滴な数などのようなマクロ的情報を利用することにより追跡性能を改善することができる。
先行車両による水の跳ね上げなどのような局部的な水滴の付着或いは濡れた表面による太陽光などの反射などの明るい反射光などの影響を車両の前方に生じた場合には、景色におけるローカルかつ一時的な盲点領域が発生する。このような領域についての知識を、対象を追跡する際のロバストネスを改善するために利用することができる。
ローカルな水の跳ね上げの影響は、高レベルの情報から得ることもできる。例えば雨が降っており、車両の前方に於いて、トラックが走行しているような場合が考えられる。このような場合には、水の跳ね上げが生じることが予想され、影響を受けた領域に於ける対象の視認性が減少する。必要なレベルの情報は、図15に示されるような対象分類モジュールにより提供することができる。
以上、本発明を特定の実施例について説明したが、当業者であれは容易に理解できるように、本発明の発明概念から逸脱することなく様々な変形・変更が可能であって、本発明の発明概念は、添付の請求の範囲に記載された通りである。
また、パリ条約に基づく優先権主張の基礎となった日本国出願は、それに言及することをもって、その内容を本願の一部とする。
Claims (7)
- コンピュータ・ビジョン・システムに於ける画像復元方法であって、
汚染により光学的に閉塞(occluded)された対象の第1の画像をキャプチャする工程と、
異なる視点から前記対象の第2の画像をキャプチャする工程と、
前記第1の画像の光学的に閉塞された部分を、前記第2の画像の情報により再構成する工程とを有することを特徴とする方法。 - 前記汚染により光学的に閉塞された実質的に透明なシートを通して前記第1及び第2の画像をキャプチャすることを特徴とする請求項1に記載の方法。
- 前記汚染が、透明なシート上の雨滴、ガラスの欠け及び汚れのいずれかを含むことを特徴とする請求項2に記載の方法。
- 前記第1の画像が前記第1の位置にある第1のカメラによりキャプチャされ、前記第2の画像が前記第1の位置にある第1のカメラの光軸に対して直角方向に変位した第2の位置にある第2のカメラによりキャプチャされることを特徴とする請求項1に記載の方法。
- 前記対象が静止体であって、前記第1の画像が移動体に搭載されたカメラにより第1の時点に於いてキャプチャされ、前記第2の画像が前記カメラにより、前記第1の時点に対して時間的に変位した第2の時点に於いてキャプチャされることを特徴とする請求項1に記載の方法。
- 前記対象の画像が、一連の時点に対応する複数のフレームとしてキャプチャされ、前記フレームのいずれかに光学的閉塞が検出されたときには、そのフレームを、先行するフレーム内の画像の対応する部分により再構成することを特徴とする請求項1に記載の方法。
- 前記対象の画像が、汚染により光学的に閉塞されることがあり、かつそのような汚染を定期的に除去するためのワイパを備えた実質的に透明なシートを通してキャプチャされ、前記画像の光学的に閉塞された部分の再構成が、前記ワイパにより光学的な閉塞が除去されたばかりのフレームを利用して行なうようにしたことを特徴とする請求項6に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/000181 WO2010084521A1 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
JPPCT/JP2009/000181 | 2009-01-20 | ||
PCT/JP2010/000092 WO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010084707A1 true JPWO2010084707A1 (ja) | 2012-07-12 |
Family
ID=42355602
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009525820A Expired - Fee Related JP5216010B2 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
JP2010547420A Pending JPWO2010084707A1 (ja) | 2009-01-20 | 2010-01-08 | コンピュータビジョン・システムに於ける画像復元方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009525820A Expired - Fee Related JP5216010B2 (ja) | 2009-01-20 | 2009-01-20 | ウインドシールド上の雨滴を同定するための方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8797417B2 (ja) |
EP (1) | EP2381416B1 (ja) |
JP (2) | JP5216010B2 (ja) |
WO (2) | WO2010084521A1 (ja) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5216010B2 (ja) | 2009-01-20 | 2013-06-19 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
US8376595B2 (en) | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
US9230189B2 (en) * | 2010-03-04 | 2016-01-05 | Valeo Schalter Und Sensoren Gmbh | Method of raindrop detection on a vehicle windscreen and driving assistance device |
DE112010005669B4 (de) * | 2010-06-18 | 2017-10-26 | Honda Motor Co., Ltd. | System zur Straßenoberflächenreflektivitätsklassifizierung |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
MY165851A (en) * | 2011-03-29 | 2018-05-17 | Jura Trade Ltd | Method and apparatus for generating and authenticating security documents |
EP2754095B1 (en) * | 2011-09-07 | 2017-06-14 | Valeo Schalter und Sensoren GmbH | Method and camera assembly for detecting raindrops on a windscreen of a vehicle |
DE102011056051A1 (de) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
BR112015001804B1 (pt) * | 2012-07-27 | 2021-11-16 | Nissan Motor Co., Ltd | Dispositivo de detecção de gotícula de água e dispositivo de detecção de objeto tridimensional. |
CN102821323B (zh) * | 2012-08-01 | 2014-12-17 | 成都理想境界科技有限公司 | 基于增强现实技术的视频播放方法、系统及移动终端 |
US9165196B2 (en) * | 2012-11-16 | 2015-10-20 | Intel Corporation | Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform |
JP6045889B2 (ja) * | 2012-11-27 | 2016-12-14 | クラリオン株式会社 | 車載用制御装置 |
DE102012112104A1 (de) * | 2012-12-11 | 2014-06-12 | Conti Temic Microelectronic Gmbh | Verfahren und vorrichtung zur befahrbarkeitsanalyse |
EP2757527B1 (en) * | 2013-01-16 | 2018-12-12 | Honda Research Institute Europe GmbH | System and method for distorted camera image correction |
DE102013204935A1 (de) * | 2013-03-20 | 2014-09-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erstellen einer Aufnahme eines gepulst aufleuchtenden Objekts |
KR102117273B1 (ko) | 2013-03-21 | 2020-06-01 | 삼성전자주식회사 | 수술 로봇 시스템 및 그 제어 방법 |
US9350969B2 (en) | 2013-04-19 | 2016-05-24 | Adobe Systems Incorporated | Target region filling involving source regions, depth information, or occlusions |
US9380286B2 (en) | 2013-04-19 | 2016-06-28 | Adobe Systems Incorporated | Stereoscopic target region filling |
EP2821960B1 (en) | 2013-07-03 | 2018-01-31 | Kapsch TrafficCom AB | Method for identification of contamination upon a lens of a stereoscopic camera |
US20150097827A1 (en) * | 2013-10-09 | 2015-04-09 | Adobe Systems Incorporated | Target Region Fill Utilizing Transformations |
KR101518896B1 (ko) * | 2013-10-10 | 2015-05-11 | 현대자동차 주식회사 | 와이퍼 작동 시스템 및 방법 |
FR3019359B1 (fr) | 2014-03-31 | 2017-10-06 | Continental Automotive France | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
US9900505B2 (en) * | 2014-07-23 | 2018-02-20 | Disney Enterprises, Inc. | Panoramic video from unstructured camera arrays with globally consistent parallax removal |
KR102426631B1 (ko) * | 2015-03-16 | 2022-07-28 | 현대두산인프라코어 주식회사 | 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 |
FR3034899B1 (fr) | 2015-04-13 | 2018-07-06 | Latecoere | Procede et systeme de visualisation externe deportee a l'interieur d'une cabine d'avion |
TWI554979B (zh) * | 2015-05-15 | 2016-10-21 | 財團法人國家實驗研究院 | 雨滴偵測系統及其方法 |
KR102366402B1 (ko) | 2015-05-21 | 2022-02-22 | 엘지전자 주식회사 | 운전자 보조 장치 및 그 제어방법 |
EP3107063A1 (en) * | 2015-06-16 | 2016-12-21 | Continental Automotive GmbH | Method for processing camera images |
CN106324708B (zh) * | 2015-06-24 | 2018-08-14 | 郝立 | 雨量记录图纸的数字化方法、装置 |
EP3113477B1 (en) * | 2015-06-30 | 2017-08-02 | Axis AB | Monitoring camera |
JP6240328B2 (ja) | 2015-07-31 | 2017-11-29 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | オプティカルフロー場を構築する方法 |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
JP6450852B2 (ja) * | 2015-09-17 | 2019-01-09 | 株式会社日立国際電気 | 落下物検知追跡システム |
TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
CN108778180B (zh) * | 2016-03-02 | 2021-06-01 | 柯惠Lp公司 | 用于移除手术图像和/或视频中的遮挡对象的系统和方法 |
US10764561B1 (en) | 2016-04-04 | 2020-09-01 | Compound Eye Inc | Passive stereo depth sensing |
US10049284B2 (en) | 2016-04-11 | 2018-08-14 | Ford Global Technologies | Vision-based rain detection using deep learning |
EP3300023A1 (en) | 2016-09-21 | 2018-03-28 | Autoliv Development AB | Vision system and method for a motor vehicle |
US10427645B2 (en) | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
TWI632814B (zh) * | 2016-11-11 | 2018-08-11 | 財團法人工業技術研究院 | 視訊畫幀產生方法及其系統 |
GB2559759B (en) * | 2017-02-16 | 2020-07-29 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
US10430671B2 (en) * | 2017-04-22 | 2019-10-01 | Honda Motor Co., Ltd. | System and method for remapping surface areas of a vehicle environment |
CN107292911B (zh) * | 2017-05-23 | 2021-03-30 | 南京邮电大学 | 一种基于多模型融合和数据关联的多目标跟踪方法 |
US10587828B2 (en) * | 2017-06-27 | 2020-03-10 | Wipro Limited | System and method for generating distortion free images |
US10586316B2 (en) * | 2017-08-07 | 2020-03-10 | Morphotrust Usa, Llc | Reduction of glare in imaging documents |
US10282827B2 (en) * | 2017-08-10 | 2019-05-07 | Wipro Limited | Method and system for removal of rain streak distortion from a video |
CN109087332B (zh) * | 2018-06-11 | 2022-06-17 | 西安电子科技大学 | 一种基于分块相关的遮挡检测方法 |
EP3599569A1 (en) * | 2018-07-24 | 2020-01-29 | Continental Automotive GmbH | Method and system for representation of vehicle surroundings with reduced artefacts |
JP7216593B2 (ja) * | 2018-09-07 | 2023-02-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置、及び情報処理プログラム |
EP3629240B1 (en) * | 2018-09-07 | 2023-08-23 | Panasonic Intellectual Property Corporation of America | Generative adversarial networks for local noise removal from an image |
US10836356B2 (en) | 2018-09-20 | 2020-11-17 | Ford Global Technologies, Llc | Sensor dirtiness detection |
US10829091B2 (en) | 2018-09-20 | 2020-11-10 | Ford Global Technologies, Llc | Vehicle sensor cleaning |
US10694105B1 (en) * | 2018-12-24 | 2020-06-23 | Wipro Limited | Method and system for handling occluded regions in image frame to generate a surround view |
US10780861B2 (en) * | 2019-01-08 | 2020-09-22 | Ford Global Technologies, Llc | Liquid droplet path prediction |
WO2021108626A1 (en) | 2019-11-27 | 2021-06-03 | Compound Eye Inc. | System and method for correspondence map determination |
US11328428B2 (en) * | 2019-12-18 | 2022-05-10 | Clarion Co., Ltd. | Technologies for detection of occlusions on a camera |
US11069071B1 (en) * | 2020-01-21 | 2021-07-20 | Compound Eye, Inc. | System and method for egomotion estimation |
US11270467B2 (en) | 2020-01-21 | 2022-03-08 | Compound Eye, Inc. | System and method for camera calibration |
DE102020210549A1 (de) * | 2020-08-20 | 2022-02-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | Prüfsystem und Prüfverfahren für Scheibenwischer |
EP3982328A1 (en) * | 2020-10-08 | 2022-04-13 | Saint-Gobain Glass France | Method for simulating the effects of the optical distortions of a windshield on the image recording quality of a digital image recording device |
WO2022194679A1 (de) * | 2021-03-18 | 2022-09-22 | Volkswagen Aktiengesellschaft | Semantische bildsegmentierung eines bilddatenstroms |
US20230222761A1 (en) * | 2022-01-12 | 2023-07-13 | Nec Corporation Of America | Removal of artifacts from images captured by sensors |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005515565A (ja) * | 2002-01-17 | 2005-05-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 画像センサシステムにおける視界妨害物の識別方法および識別装置 |
WO2006109398A1 (ja) * | 2005-03-15 | 2006-10-19 | Omron Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10261064A (ja) * | 1997-03-17 | 1998-09-29 | Mitsuba Corp | 雨滴検出装置における付着物識別方法 |
US5923027A (en) * | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
US8180099B2 (en) * | 2002-07-16 | 2012-05-15 | Trw Limited | Rain detection apparatus and method |
JP2004164992A (ja) | 2002-11-13 | 2004-06-10 | Canon Inc | 電子注入性電極の製造方法、及び有機エレクトロルミネッセンス素子の製造方法 |
JP2004212184A (ja) * | 2002-12-27 | 2004-07-29 | Nissan Motor Co Ltd | 画像処理装置 |
JP4590887B2 (ja) | 2004-03-10 | 2010-12-01 | セイコーエプソン株式会社 | 電子機器、ファイル消去プログラム及びファイル消去方法 |
JP4483413B2 (ja) | 2004-06-02 | 2010-06-16 | トヨタ自動車株式会社 | 移動物体検出装置及び移動物体検出方法 |
JP4611776B2 (ja) * | 2005-03-15 | 2011-01-12 | セコム株式会社 | 画像信号処理装置 |
JP4353127B2 (ja) * | 2005-04-11 | 2009-10-28 | 株式会社デンソー | レインセンサ |
JP4371076B2 (ja) * | 2005-04-26 | 2009-11-25 | 株式会社デンソー | レインセンサ |
JP4720386B2 (ja) | 2005-09-07 | 2011-07-13 | 株式会社日立製作所 | 運転支援装置 |
JP5384807B2 (ja) | 2007-06-20 | 2014-01-08 | 株式会社岡村製作所 | 椅子における背板へのカバー部材取付構造 |
JP4856612B2 (ja) * | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
US8494251B2 (en) * | 2008-01-11 | 2013-07-23 | Sri International | System and method for measuring image quality |
DE102008001679A1 (de) * | 2008-05-09 | 2009-11-12 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug |
DE102009000005A1 (de) * | 2009-01-02 | 2010-07-08 | Robert Bosch Gmbh | Kameraanordnung und Verfahren zur Erfassung einer Fahrzeugumgebung |
JP5216010B2 (ja) | 2009-01-20 | 2013-06-19 | 本田技研工業株式会社 | ウインドシールド上の雨滴を同定するための方法及び装置 |
US20120087573A1 (en) * | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
-
2009
- 2009-01-20 JP JP2009525820A patent/JP5216010B2/ja not_active Expired - Fee Related
- 2009-01-20 WO PCT/JP2009/000181 patent/WO2010084521A1/ja active Application Filing
-
2010
- 2010-01-08 US US13/144,985 patent/US8797417B2/en not_active Expired - Fee Related
- 2010-01-08 EP EP10733315.5A patent/EP2381416B1/en not_active Not-in-force
- 2010-01-08 JP JP2010547420A patent/JPWO2010084707A1/ja active Pending
- 2010-01-08 WO PCT/JP2010/000092 patent/WO2010084707A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005515565A (ja) * | 2002-01-17 | 2005-05-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 画像センサシステムにおける視界妨害物の識別方法および識別装置 |
WO2006109398A1 (ja) * | 2005-03-15 | 2006-10-19 | Omron Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2010084521A1 (ja) | 2010-07-29 |
JP5216010B2 (ja) | 2013-06-19 |
EP2381416B1 (en) | 2014-03-12 |
WO2010084707A1 (ja) | 2010-07-29 |
JPWO2010084521A1 (ja) | 2012-07-12 |
US8797417B2 (en) | 2014-08-05 |
US20110273582A1 (en) | 2011-11-10 |
EP2381416A4 (en) | 2012-07-11 |
EP2381416A1 (en) | 2011-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010084707A1 (ja) | コンピュータビジョン・システムに於ける画像復元方法 | |
JP6772113B2 (ja) | 付着物検出装置、および、それを備えた車両システム | |
US9390329B2 (en) | Method and system for automatically locating static occlusions | |
Assidiq et al. | Real time lane detection for autonomous vehicles | |
JP5124592B2 (ja) | 車両を検出および追跡するためのシステムおよび方法 | |
TWI607901B (zh) | 影像修補系統及其方法 | |
CN101872546B (zh) | 一种基于视频的过境车辆快速检测方法 | |
Wang et al. | Overtaking vehicle detection using dynamic and quasi-static background modeling | |
Li et al. | A real-time vehicle detection and tracking system in outdoor traffic scenes | |
JP2005509984A (ja) | 画像強調を用いて自動車の安全性を向上させる方法及びシステム | |
Taubel et al. | An experimental study of a lane departure warning system based on the optical flow and Hough transform methods | |
Yoon et al. | Thermal-infrared based drivable region detection | |
Wedel et al. | Warpcut–fast obstacle segmentation in monocular video | |
Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
CN113870129B (zh) | 基于空间感知与时间差异学习的视频去雨方法 | |
US20220014674A1 (en) | Imaging system and image processing apparatus | |
Baker et al. | Automated street crossing for assistive robots | |
Nguyen et al. | M2gan: A multi-stage self-attention network for image rain removal on autonomous vehicles | |
Qiao et al. | Traffic parameters detection using edge and texture | |
US20230410318A1 (en) | Vehicle and method of controlling the same | |
Pavya | Segmentation of visual images under complex outdoor conditions | |
Ishizuka et al. | Raindrop detection on a windshield based on edge ratio | |
Wu et al. | Embedded weather adaptive lane and vehicle detection system | |
Collado et al. | Multi-Lane Visual Perception for Lane Departure Warning Systems. | |
Klein et al. | Vehicle Detection in Far Field of View of Video Sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140624 |