JP2023546062A - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP2023546062A
JP2023546062A JP2023522434A JP2023522434A JP2023546062A JP 2023546062 A JP2023546062 A JP 2023546062A JP 2023522434 A JP2023522434 A JP 2023522434A JP 2023522434 A JP2023522434 A JP 2023522434A JP 2023546062 A JP2023546062 A JP 2023546062A
Authority
JP
Japan
Prior art keywords
segmentation
light emitting
image
emitting region
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023522434A
Other languages
English (en)
Inventor
ゴドゥロー ベルトラン
ロニー ソフィー
カロン ティボー
ヒジャズィ ビラル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of JP2023546062A publication Critical patent/JP2023546062A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本発明は、優先車両(4)を検出するために原動機付き車両(1)に搭載されたコンピュータ(3)によって使用される、カラーカメラ(2)によって撮像される画像のビデオストリームを処理する方法であって、方法が、・画像シーケンスを取得する、取得ステップ(100)と、画像シーケンスの各画像に対して、・有色発光領域を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップ(200)と、・各セグメンテーション発光領域を追跡する、追跡ステップ(300)と、・各セグメンテーション発光領域の測色分類を実行する、分類ステップ(400)と、・前記領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域の周波数分析を実行する、周波数分析ステップ(500)と、・セグメンテーション発光領域をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクス(ICG)を計算する、計算ステップ(700)とを含む、方法が提供される。

Description

技術分野
本発明は、画像処理方法に関し、特に、緊急車両を検出するための画像処理方法に関する。
従来技術
今日、一般的にADAS(“Advanced Driver Assistance System”「先進運転支援システム」)と称される運転支援システムを原動機付き車両に装備することが公知である。当該システムは、周知のように、車両に取り付けられておりかつ車両の環境を表現する一連の画像を生成することのできる、カメラのような撮像装置を備えている。例えば、車両の後部に取り付けられたカメラにより、車両後方の環境、特に後続車両を撮影することができる。こうした画像は、運転者を支援する目的で、例えば、障害物(歩行者、停止車両、道路上の物体など)を検出することによって、あるいは障害物との衝突までの時間を推定することによって、処理ユニットにより使用される。したがって、カメラによって取得される画像によって与えられる情報は、システムが車両の運転者の支援を可能にするのに十分な信頼度および関連性を有さなければならない。
特に、国際法制当局の多くは、応動中の優先車両(消防車、救急車、警察車両など、緊急車両とも称される)の通行を一般運転者が妨げてはならず、こうした優先車両が容易に走行できるようにしなければならないことを規定している。したがって、ADASシステムは、優先車両の出動を妨げないよう、このような優先車両を認識できることが適切であり、その灯(フラッシング灯)が作動されたときにこの認識が行えるとなお良い。
車両の前方または後方を撮影するカメラを備えた現行のADASシステムでは、優先車両は、他の標準車両(非優先車両)と同じ方式で検出されている。こうしたシステムは、一般的に、機械学習アプローチと幾何学的知覚アプローチとの組み合わせを実装している。これらのカメラからの画像は、緊急車両を含むあらゆる種類の車両(乗用車、トラック、バス、オートバイなど)の周囲のバウンディングボックスを抽出するように処理されるが、これは、既存のADASシステムが後続の優先車両と後続の標準車両とを確実には区別できないことを意味する。
さらに、こうしたシステムは、優先車両が通常の交通規則に必ずしも従わず、レーン間のジグザグ移動、安全距離の低減または2つのレーンに跨った走行も許されているという事実に関連する、カメラによって取得された画像の部分的なもしくは全体的な時間的隠蔽に伴う問題に悩まされているが、これは、既存のシステムがこのような挙動および状況に対して適応化されていないことを意味する。
また、きわめて多様な種類の優先車両が存在するので、優先車両または緊急車両の検出は困難である。実際には、これらの車両は、LEDベースもしくは管球ベースであって、固定のもしくは回転する、種々の色の、車両に可変に配置されうるフラッシング灯を特徴としている。例えば、幾つかの車両には単一のフラッシング灯が装備されており、他の車両には一対のフラッシング灯が装備されており、さらに他の車両には3つ以上のフラッシング灯を含むバーが装備されている、などのようになっている。こうしたバリエーションの問題は、既存のADASシステムが優先車両を確実に検出することをいっそう困難にしている。
これらのことは、他車両のフロントヘッドライトおよびテールライトならびに車両後方の環境に存在する他のすべての灯を含むシーンを検出する際の問題によってより悪化し、このため優先車両のフラッシング灯を検出する点での困難が増大しうる。
発明の提示
したがって、本発明によれば、優先車両の種類およびその走行状態にかかわらず、特にこれらの車両の灯(フラッシング灯)を検出することにより、優先車両を迅速かつ確実に検出するための画像処理方法が提案される。
本発明によれば、上記の課題は、原動機付き車両に搭載された少なくとも1つのカラーカメラによって撮像された画像のビデオストリームを処理する方法であって、前記車両に搭載されたコンピュータにより、車両の環境内に位置する優先車両を検出するために使用され、少なくとも1つのカメラは車両の後方へ向けられており、前記方法が、
・画像シーケンスを取得する、取得ステップと、
画像シーケンスの各画像に対して、
・フラッシング灯である可能性が高い画像の有色発光領域を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップと、
・各セグメンテーション発光領域を追跡し、当該追跡に従い、セグメンテーションステップでセグメンテーションされた各発光領域を同色の予測発光領域に関連付ける、追跡ステップと、
・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域の測色分類を実行する、分類ステップと、
・前記セグメンテーション発光領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域の周波数分析を実行する、周波数分析ステップと、
・セグメンテーション発光領域をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクスを計算する、計算ステップと
を含む、方法によって解決される。
したがって、本発明による方法は、明るさおよび天候条件にかかわらず、150メートルの距離までの間に緊急車両のフラッシング灯を確実に検出することを可能にする。
例示的な一実施形態によれば、セグメンテーションステップにおいて、4つのカテゴリ、すなわち、
・赤色、
・橙色、
・青色、および
・紫色、
に従って発光領域をセグメンテーションするために、所定のセグメンテーション閾値が使用される。
一実施形態によれば、セグメンテーションステップの後、方法はさらに、セグメンテーションステップからの結果をフィルタリング除去できるようにするいわゆるポストセグメンテーションフィルタリングステップを含み、当該ポストセグメンテーションステップは、位置および/またはサイズおよび/または色および/または強度に関する所定の基準に従って実行される。こうしたフィルタリングにより、誤検出を低減することができる。
例示的な一実施形態によれば、ポストセグメンテーションステップは、水平線から離れた画像部分および消失点から離れた画像部分に位置し、所定の寸法閾値未満のサイズを有する発光領域をフィルタリング除去する、寸法フィルタリングサブステップを含む。当該ステップにより、測定ノイズに対応する、カメラによって知覚された対象物に対応する候補を除去することができる。
例示的な一実施形態によれば、ポストセグメンテーションステップは、所定の寸法閾値を超えるサイズおよび所定の発光強度閾値未満の発光強度を有する発光領域をフィルタリング除去するサブステップを含む。当該ステップにより、車両に近いにもかかわらずフラッシング灯として必要な光強度を有さない候補を除去することができる。
例示的な一実施形態によれば、ポストセグメンテーションステップは、画像シーケンスの画像上に定義された水平線よりも下方に位置する発光領域をフィルタリング除去する、位置フィルタリングサブステップを含む。当該ステップにより、後続車両のヘッドライトに対応する候補を除去することができる。
一実施形態によれば、ポストセグメンテーションステップは、セグメンテーション発光領域に対して、有向性の有色閾値処理に基づくフィルタリングを実行するサブステップを含む。ここでの特定のフィルタリングは、色をより正確にフィルタリングすることを可能にする。例えば、青色に関しては、後続車両のヘッドライトから放出された白色光がカメラによって青色であると知覚される可能性があるという事実に起因して、青色と分類された発光領域の検出における偽陽性の多くをフィルタリング除去することができる。
一実施形態によれば、方法はさらに、追跡ステップの終了時に関連性が見出されなかった各セグメンテーション発光領域に対する第2のセグメンテーションステップを含む。
例示的な一実施形態によれば、第2のセグメンテーションステップは、
・セグメンテーション閾値を拡大し、セグメンテーションステップおよび追跡ステップを、画像シーケンスの各画像に対して、新たに拡大された、セグメンテーション発光領域の色に対応するセグメンテーション閾値で反復する、第1のサブステップと、
・第1のサブステップの終了時に関連性が見出されなかった場合に、セグメンテーション閾値を白色のセグメンテーション閾値に対応するように修正する、第2のサブステップと
を含む。
当該ステップにより、セグメンテーションにおいて、セグメンテーションされた(検出された)発光領域を確認することができる。実際に、こうした最後の検査によって、誤検出が真に誤検出であり、例えば後続の車両のヘッドライトではないことを保証することができる。
例示的な一実施形態によれば、周波数分析ステップにおいて、各セグメンテーション発光領域のフラッシング周波数が第1の周波数閾値および当該第1の周波数閾値よりも大きい第2の周波数閾値と比較され、ここで、双方の閾値が予め定められており、
・フラッシング周波数が第1の周波数閾値より小さく、これにより、当該セグメンテーション発光領域がフラッシングしていないかまたは弱いフラッシングしかしておらず、したがってフラッシング灯ではないとみなされる場合、
・フラッシング周波数が第2の周波数閾値より大きく、これにより、当該セグメンテーション発光領域もフラッシング灯ではないとみなされる場合
に、当該セグメンテーション発光領域がフィルタリング除去される。
例示的な一実施形態によれば、第1の周波数閾値は1Hzに等しく、第2の周波数閾値は5Hzに等しい。
例示的な一実施形態によれば、方法はさらに、前記セグメンテーション発光領域の変位を決定できるようにするために、各セグメンテーション発光領域の方向分析を実行する、方向分析ステップを含む。
例示的な一実施形態によれば、方向分析ステップにおいて取得された変位方向が、
・車両を基準としてセグメンテーション発光領域が不動であること、
・車両を基準として当該車両から離れる方向でセグメンテーション発光領域が移動していること、
として結論付け可能である場合、セグメンテーション発光領域がフィルタリング除去される。
本発明はまた、コンピュータプログラム製品であって、コンピュータにより実行される際に、
・画像シーケンスを取得する、取得ステップと、
画像シーケンスの各画像に対して、
・フラッシング灯である可能性が高い画像の有色発光領域を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップと、
・各セグメンテーション発光領域を追跡し、当該追跡に従い、セグメンテーションステップでセグメンテーションされた各発光領域を同色の予測発光領域に関連付ける、追跡ステップと、
・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域の測色分類を実行する、分類ステップと、
・セグメンテーション発光領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域の周波数分析を実行する、周波数分析ステップと、
・セグメンテーション発光領域をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクスを計算する、計算ステップと
を含む方法を実現するための命令を含む、コンピュータプログラム製品に関する。
本発明はまた、車両であって、車両の後方へ向けられておりかつ車両の後方の環境の画像のビデオストリームを取得することのできる少なくとも1つのカラーカメラと、少なくとも1つのコンピュータとを備え、コンピュータが、
・複数の画像を取得する、取得ステップと、
画像シーケンスの各画像に対して、
・フラッシング灯である可能性が高い画像の有色発光領域を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップと、
・各セグメンテーション発光領域を追跡し、当該追跡に従い、セグメンテーションステップでセグメンテーションされた各発光領域を同色の予測発光領域に関連付ける、追跡ステップと、
・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域の測色分類を実行する、分類ステップと、
・セグメンテーション発光領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域の周波数分析を実行する、周波数分析ステップと、
・セグメンテーション発光領域をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクスを計算する、計算ステップと
を実現するように構成されている、車両に関する。
他の特徴、詳細および利点は、以下の詳細な説明を読み、添付の図面を検討することによって明らかとなる。
本発明による車両および優先車両を示す概略図である。 本発明による方法の例示的な一実現形態を示す図である。 本発明による方法のポストセグメンテーションステップの例示的な一実施形態を示す図である。 本発明による方法の第2のセグメンテーションステップの例示的な一実施形態を示す図である。 本発明による方法によって処理される画像シーケンスの第1の画像を示す図である。 本発明による方法によって処理される画像シーケンスの第2の画像を示す図である。 本発明による方法によって処理される画像シーケンスの第3の画像を示す図である。 ヒステリシスの形態のステートマシンを示す図である。 ヒステリシスの形態の別のステートマシンを示す図である。 色空間(U,V)を示す図である。
実施形態の説明
図1は、車両1の後方へ向けられておりかつ車両1の後方の環境の画像を取得することのできるカラーカメラ2とこのカメラ2によって取得された画像を使用するように構成された少なくとも1つのコンピュータ3とを装備した車両1を概略的に示している。当該図1では、緊急車両または優先車両4が、カメラ2の視野内で、車両1の後方に位置している。図1に示されている車両1と緊急車両4との間のこうした相対位置は、けっして限定のためのものではないことに留意されたい。
優先車両は、青色、赤色または橙色に発光するフラッシング灯とも称される光点5,6を特徴としている。これらの色は、すべての国々の優先車両によって使用されている。優先車両は1つまたは複数のフラッシング灯を含むことができ、その配置は、装備されたフラッシング灯の個数(単一のフラッシング灯もしくは相互に間隔をおいて配置された1対の別個のフラッシング灯、または相互に接近してアライメントされた状態で配置された複数のフラッシング灯のいずれか)と優先車両の車体(優先車両のルーフ、優先車両のフロントバンパなど)におけるこれらのフラッシング灯の位置とに応じて変化させることができる。また、フラッシング灯には多くの種類がある。フラッシング灯は、LEDベースのものであることもあるし、または管球ベースのものであることもある。
優先車両のフラッシング灯はまた、オンフェーズとオフフェーズとの間で交番変化するそのフラッシング性によっても定義される。
本発明による方法を、ここで、図2~図8を参照して説明する。
本発明による方法は、画像シーケンスを取得するステップ100を含み、この画像シーケンスは、例えば、第1の画像I1、第1の画像I1に続く第2の画像I2、および第2の画像I2に続く第3の画像I3を含む。このような画像I1,I2およびI3は、それぞれ図5a、図5bおよび図5cに示されている。
本発明による方法は、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップ200を含む。
こうしたセグメンテーションステップ200により、所定のセグメンテーション閾値を用いて、画像の選択の各画像内の発光領域Ziを検出してセグメンテーションすることができる。こうした測色セグメンテーションは、4つの色カテゴリ、すなわち
・赤色、
・橙色、
・青色、および
・紫色、
に従って行われる。
紫色は、特に、異なる色度を有する特定のフラッシング灯を検出するために使用される。例えば、管球ベースのフラッシング灯は、肉眼では青色であると知覚されるが、カメラでは紫色であると知覚されうる。
優先車両のフラッシング灯の著しい変動への適応化のために、セグメンテーションステップ200において使用される閾値は、例えば、従来交通信号機の認識のために使用されている閾値を基準として拡大されている。ここでのセグメンテーション閾値は、各色に対して、彩度に対して、光強度に対して、かつ色度に対して、予め定められる。
セグメンテーションステップ200により、緊急車両のセグメンテーション発光領域Ziがオンである場合、当該発光領域Ziの、画像内での位置、強度および色が与えられる。
図5aに示されているように、測色セグメンテーションステップ200の終了時に、第1の画像I1における有色発光領域Z1,Z2,Z3,Z4,Z5およびZ6が検出され、これらは優先車両のフラッシング灯である可能性が高い。
セグメンテーションステップに使用される閾値の拡大によって、より広い範囲の色合いに対する感度を得るための、優先車両のフラッシング灯の変動性への適応化が可能となる。しかし、こうした拡大により、セグメンテーションステップ200において大きなノイズが発生する。
優先車両のフラッシング灯の検出のための潜在候補の数を低減するために、換言すれば偽陽性の数を低減するために、本発明による方法は、ポストセグメンテーションステップ210を含む。当該ポストセグメンテーションステップ210により、考察している画像内の発光領域Ziの位置および/またはこの発光領域Ziのサイズおよび/またはこの発光領域Ziの色および/またはこの発光領域Ziの強度に関する所定の基準に基づいて、フィルタリングを行うことが可能となる。
図3を参照すると、ポストセグメンテーションステップ210は、所定の寸法閾値未満のサイズ、例えば20ピクセル未満のサイズ(小サイズと称する)を有する発光領域Ziをフィルタリング除去する、寸法フィルタリングサブステップ211を含む。こうした寸法フィルタリングは、特に、無限遠を表現している水平線Hと消失点Fとから離れた画像部分、特に画像のエッジにおいて実行される。換言すれば、当該フィルタリングによって、小サイズの発光領域Ziが通常存在しないはずの画像部分に存在する小サイズの発光領域Ziを除去することができる。実際には、小サイズの発光領域Ziが画像内に存在する場合、この発光領域Ziは、水平線Hの近傍にあるのであれば、車両1から遠く離れた光に対応する。したがって、水平線Hの近傍にないと考えられる小サイズの発光領域Ziは、車両1から遠く離れた環境の光に対応するのではなく測定ノイズに対応し、よって、こうした発光領域Ziをフィルタリング除去することが有益となる。つまりこれは、図5aに示されている発光領域Z1のケースに相当する。
また、上述したように、画像I1の水平線Hおよび消失点Fの近傍には、遠方光に対応する発光領域が位置している。ここで、当該水平線Hおよび当該消失点Fからきわめて遠く離れた位置にある発光領域、特に画像I1のエッジ部にある発光領域が所定の寸法閾値未満のサイズを有する場合、この発光領域もフィルタリング除去される。つまり、これは、図5aに示されている発光領域Z4のケースである。
ポストセグメンテーションステップ210は、これらの発光領域Ziが所定の閾値を超えるサイズ、例えば40ピクセル超のサイズを有する場合、所定の発光強度閾値未満、例えば1000lx未満の発光強度を有する発光領域をフィルタリング除去するサブステップ212を含む。実際に、サブステップ212でフィルタリング除去される発光領域は、カメラ2によって撮影された後方シーンにおいて車両1を基準とした近接光に対応する画像内のサイズを有しているが、優先車両のフラッシング灯の関心候補に必要とされる発光強度を有していない。低強度であるものの画像内でいわゆる大サイズを有する程度に十分に車両1の近傍にあるセグメンテーション発光領域Ziは、例えば、支持体からの太陽光線の単純な反射に対応しうる。
ポストセグメンテーションステップ210はさらに、水平線Hの下方に位置する発光領域をフィルタリング除去する、位置フィルタリングサブステップ213を含む。つまり、これは、図5aに示されている発光領域Z2およびZ3のケースである。実際に、発光領域の当該位置(水平線Hの下方の位置)は、特には水平線Hの上方に位置する優先車両のフラッシング灯ではなく、後続車両のフロントヘッドライトの特性である。
ポストセグメンテーションステップ210は、競合する発光領域をフィルタリング除去するサブステップ214を含むこともできる。少なくとも2つの発光領域は、相互に近傍にあるとき、相互に交差するとき、または相互に内側に含まれるときに競合する。このような競合が観察される場合、これら2つの発光領域のうちの一方のみが保持され、他方はフィルタリング除去される。2つの競合する領域のうち消去すべき発光領域は、当該領域の明るさ、サイズおよび色に関する所定の基準に従って、それ自体公知の手法で決定される。
ポストセグメンテーションステップ210は、セグメンテーション発光領域に対して、有向性の有色閾値処理に基づくフィルタリングを行うサブステップ215を含む。
図8を参照すると、0~255の色空間(U,V)が示されている。各色、すなわち赤色を表すR、紫色を表すV、青色を表すB、および橙色を表すOが、閾値Umax,Umin,Vmax,Vminに従って当該色空間において決定される。例えば青色の場合、Umax(B),Umin(B),Vmax(B),Vmin(B)である。
U軸およびV軸における最小値および最大値によるこうした色定義は、現実を表現しておらず、したがって適切ではない矩形の色ブロックを形成する。このため、各色に対して色フィルタリングを行う必要がある。有向性の有色閾値処理に基づくフィルタリングは、各色に対して、色空間のU軸およびV軸での色ブロックの最小値および最大値を調整することに等しい。これにより、色ブロックの近接性(色空間(U,V)内の各色のU値とV値との近接度)に起因する誤検出のリスクが低減される。例えば、当該有向性の色フィルタによって、紫色Vに近すぎる青色B、橙色Oに近すぎる赤色Rなどをフィルタリング除去することが求められる。
こうした有向性の色フィルタリングによって色定義を精密化することができ、したがって、発光領域の検出における多数の偽陽性をフィルタリング除去することができる。
したがって、ポストセグメンテーションステップ210の上述したサブステップを実行した後、優先車両のフラッシング灯の潜在候補として保持されているもののすべてが、
・十分に大きなサイズ(20ピクセル超)を有し;
・水平線Hの上方に位置し;
・十分に明るく(1000lx超の発光強度を有し);
・(偽陽性を回避するための適切なU値およびV値を用いて)その色度が保証されている、
発光領域Ziとなる。
サブステップのすべてが必ずしも本発明による方法を実行するために実装されていなくてもよく、処理される画像の複雑さに応じて、単独でまたは組み合わせて、幾つかのサブステップのみをケースバイケースで保持できることに留意されたい。
ステップ300は、各画像において検出された各発光領域Ziを追跡する、追跡ステップである。当業者に公知の手法では、セグメンテーションステップ200において、画像内でセグメンテーションされた発光領域Ziの予測位置がコンピュータ3によって計算され、画像In内で検出された光が先行の画像In-1内の同一のセグメンテーション発光領域に実際に対応し、かつ移動した可能性があることを確認するために使用される。予測を使用して、発光領域の予測位置が決定される。車両1の変位を考慮して、先行の画像In-1における発光領域の位置に画像In-2と画像In-1との間での発光領域の変位に対応するベクトルを加算したものに基づき、現在の画像In内のセグメンテーション発光領域の予測位置が計算される。
さらに、以下で説明するように、優先車両のフラッシング灯は、特に、当該フラッシング灯のフラッシュ周波数によって特徴付けられる。ここで、フラッシング灯のフラッシング周波数を推定できるようにするためには、所定の時間にわたるその輝度の展開(点灯フェーズと非点灯フェーズとの交番変化)を推定できなければならない。セグメンテーションステップ200では、これらのセグメンテーション発光領域Ziがフラッシング灯のオンフェーズに対応する場合にのみ、これらのセグメンテーション発光領域Ziの、画像内の位置、強度および色が与えられる。追跡ステップ300により、1つの画像から別の画像へ各フラッシング灯を関連付けることができ、また、これらのフラッシング灯が非点灯(オフ)状態にあるときにその位置を外挿することも可能となる。
従来技術から公知のこうした追跡ステップ300は、フラッシング灯のフラッシング性に適応化された閾値を有しており、また特に、1つの画像から別の画像へのフラッシング灯の発光領域の関連付けを可能にし、また、フラッシング灯がオフフェーズ(画像内に対応する発光領域が存在しないことに対応するフェーズ)にあるときにその位置を外挿することも可能となる。
セグメンテーションステップ200でセグメンテーションされた各発光領域Ziは、それ自体公知の方式で、同色の予測発光領域Ziに関連付けられている。
追跡ステップ300で予測発光領域Ziとの関連性が見出されなかった各セグメンテーション発光領域Ziについては、第2のセグメンテーションステップ310が追跡ステップ300の終了時に実行される。
当該第2のセグメンテーションステップ310は、セグメンテーション閾値を拡大する(換言すれば、セグメンテーション閾値をより緩め、フィルタリング除去がより少なくなるように定義する)第1のサブステップ311を含み、セグメンテーションステップ200および追跡ステップ300が、ここでの拡大された新たなセグメンテーション閾値を用いて画像シーケンスの各画像に対して反復される。当該ステップにより、予測セグメンテーション領域Zi内のセグメンテーション発光領域Ziを検出することができる。
当該第1のサブステップ311の終了時に、処理されたセグメンテーション発光領域Ziと予測発光領域Ziとの間に関連性が依然として見出されない場合には、セグメンテーション閾値を白色に対応するように修正する第2のサブステップ312が実行される。実際に、こうした最終検査によって、誤検出が真に誤検出であり、当該誤検出が後続車両のヘッドライトではないことの保証が可能となる。
当該第2のサブステップ312によって特に、例えば光が青色を含みうる後続車両のヘッドライトを検出することが可能となる。
次いで、本発明による方法は、各発光領域Ziの測色分類を実行する、分類ステップ400を含む。
当該分類ステップ400は、セグメンテーションステップ200から得られた発光領域Ziを選択することを可能にする。各色に対して、分類器は、(検出すべきフラッシング灯を表現している)陽性のデータが(フラッシング灯ではなくしたがって検出が所望されない、例えば車両のヘッドライトまたはテールライト、太陽反射、交通信号機光などであって、セグメンテーションステップ200から得られるすべてのノイズを表現している)陰性のデータから弁別されるようにトレーニングされる(以前のいわゆるオフライントレーニングステップである)。
分類ステップにおいて、セグメンテーション発光領域Ziが分類器によって分類(認識)できない場合、この発光領域はフィルタリング除去される。
一方、発光領域Ziが分類器によって認識されると、これがフラッシング灯の重要候補として保持される。分類ステップ400の終了時に、候補発光領域Ziのリストが取得され、これらの候補発光領域Ziは、次の各パラメータ、すなわち
・フラッシング状態、
・分類信頼度インデクスIcc、
・画像内の位置、
・色、
によって特徴付けられている。
フラッシング灯のフラッシングを検出することによりフラッシング状態が取得される。ここでの検出は、
・フラッシング灯がオンでありしたがって対応する発光領域Z5およびZ6が検出される画像(図5aの画像I1)の数を計数するステップと、
・フラッシング灯がオフでありしたがって対応する発光領域Z5およびZ6が検出されない画像(図5bの画像I2)の数を計数するステップと、
・フラッシング灯が再びオンとなりしたがって対応する発光領域Z5およびZ6が再び検出される画像(図5cの画像I3)の数を計数するステップと、
から成る。
信頼度インデクスIccは、ステップ400で、分類器により、フラッシング(フラッシング状態)および陽性分類に関する情報を用いて取得される。一実施形態によれば、分類ステップ400の後に、各セグメンテーション発光領域Ziの信頼度インデクスが更新される。
分類が陽性である場合、時点tにおける画像の分類信頼度インデクスIccは、時点t-1における画像の分類信頼度インデクスIccに対して、式、すなわち
[式1]
Icc(t)=Icc(t-1)+FA
を使用して更新され、ここで、FAは所定の増大係数である。
分類が陰性である場合、時点tでの画像の分類信頼度インデクスIccは、時点t-1での画像の分類信頼度インデクスIccに対して、式、すなわち
[式2]
Icc(t)=Icc(t-1)-FR
を使用して更新され、ここで、FRは所定の低減係数である。
位置情報および色情報は、分類ステップ200によって与えられた部分に関するものである。
分類ステップ400の終了時に、候補発光領域Ziが緊急車両のフラッシング灯である可能性が高いかどうかを判定するために、方法は、セグメンテーション発光領域Ziのフラッシング周波数を計算および閾値処理するための周波数分析を実行する周波数分析ステップと、分類器応答の時間積分を計算する計算ステップとを含む。これらのステップにつき、以下に詳述する。
ステップ500において、各セグメンテーション発光領域Ziの周波数分析を実行することにより、セグメンテーション発光領域Ziのフラッシング性または非フラッシング性を判別することが可能となる。
有利には、当該ステップ500の前に、セグメンテーション発光領域Ziが呈しうる不一致が補正される。特に、当該補正は、セグメンテーション発光領域Ziの色、サイズあるいは強度について行われる。過度に大きな色の変動が検出される場合、例えばセグメンテーション発光領域Ziが画像ごとに赤色から橙色へと変化する場合には、当該セグメンテーション発光領域Ziがフィルタリング除去される。別の代替手段として、画像ごとのセグメンテーション発光領域Ziのサイズの変化が過度に大きい場合(例えば2を超える変動がある場合)には、当該セグメンテーション発光領域Ziがフィルタリング除去される。
フラッシング灯のオンフェーズおよびオフフェーズの検出に基づいてフラッシングの判別が可能となることに基づいて、高速フーリエ変換(FFT)により、それ自体公知の手法で、当該フラッシングの周波数を決定することが可能となる。
周波数分析ステップ500では、各セグメンテーション発光領域Ziの当該フラッシング周波数が第1の周波数閾値S1と比較され、さらに第1の周波数閾値S1より大きい第2の周波数閾値S2と比較され、ここでは双方の閾値が予め定められている。フラッシング周波数が第1の周波数閾値S1未満である場合には、セグメンテーション発光領域Ziはフラッシングしておらず、したがってフラッシング灯ではないとみなされ、フィルタリング除去される。フラッシング周波数が第2の周波数閾値S2より大きい場合、セグメンテーション発光領域Ziはやはりフラッシング灯ではないとみなされ、フィルタリング除去される。
こうしたフラッシングの周波数分析により、セグメンテーション発光領域Ziが一定であるかもしくは当該発光領域Ziが低速でフラッシングしていることが確実であるセグメンテーション発光領域Ziをフィルタリング除去することができ、または逆に、当該発光領域Ziが高速でフラッシングしており、優先車両のフラッシング灯であることが確実であるセグメンテーション発光領域Ziをフィルタリング除去することができる。したがって、関心候補として保持されたもののすべてが、周波数閾値S1,S2間のフラッシング周波数を有するセグメンテーション発光領域Ziとなる。
例示的な一実施形態によれば、第1の周波数閾値S1は1Hzに等しく、第2の周波数閾値S2は5Hzに等しい。さらに、一実施例によれば、警察車両および緊急車両に取り付けられたフラッシング灯は、典型的には60~240FPMの周波数を有する。FPM(flashes per minuteの略記)とは、フラッシング灯のフラッシング周波数を定量化するために使用される測定単位であり、1分間に発生するサイクル数に相当する。FPMで測定された値は、60で除算することによってヘルツへ変換可能である。換言すれば、このような優先車両におけるそれぞれの周波数は1Hz~6Hzである。
これらの周波数閾値S1およびS2は、特に、
・カメラへの適応化(実際に、視界が維持されていても、タクシーのルーフに灯が取り付けられている場合のような特定の灯のフラッシングは観察可能とならないが、カメラの解像度によりこうした特定の灯が検出可能となること)、
・セグメンテーションステップ200における何らかのエラーに直面したときの、よりロバストな結果の取得、
を可能にする。
任意選択手段としてのステップ600では、車両1を基準とした前記セグメンテーション発光領域Ziの変位を決定するために、カメラによって取得された画像シーケンス内でのセグメンテーション発光領域Ziの追跡によって、各セグメンテーション発光領域Ziの方向分析が実行される。したがって、セグメンテーション発光領域Ziが車両1から離れる方向へ移動している場合(換言すれば、セグメンテーション発光領域Ziが画像内の消失点Fまたは水平線Hに接近している場合)、当該セグメンテーション発光領域Ziはフィルタリング除去される。このことは、セグメンテーション発光領域Ziが不動である場合にも当てはまりうる。当該ステップにより、特に、フラッシング灯に有意に対応するが車両1とは反対の方向へ移動している優先車両の複数のセグメンテーション発光領域Ziをフィルタリング除去することができ、これは、車両1が当該優先車両を考慮する必要がないことを意味する。また、当該ステップにより、車両1の車線とは反対側の対向車線を走行する車両のテールライトをフィルタリング除去することもできる。
当該ステップにより、セグメンテーション発光領域Ziに関する情報を融合することで、緊急車両のフラッシング灯の検出についての検出性能(真陽性および偽陽性)を向上させることができる。実際には、セグメンテーション発光領域Ziを個別にではなく全体として(画像シーケンスのすべての画像において)調査することによって、十分な検出率を維持しながら偽陽性率を低下させることができる。
方法のこのステップにおいて、セグメンテーション発光領域Ziのセットが画像シーケンスの画像において検出される。これらの検出されたセグメンテーション発光領域Ziは、各セグメンテーション発光領域Ziに関連付けられた識別子と、さらにこれらセグメンテーション発光領域Ziのパラメータ、例えば、
・画像内でのそれぞれの位置、
・それぞれのサイズ、
・それぞれの色、
・それぞれの強度、
・それぞれのフラッシング状態、
・それぞれに関連付けられた分類信頼度インデクスIcc、
とを含むリストの形態で、コンピュータ3のメモリ内に記憶される。
当該ステップでは、検出され保持されたセグメンテーション発光領域Ziのすべてが、緊急車両の潜在的なフラッシング灯であると考えられる。シーン(カメラ2により取得された画像シーケンスに対応する車両後方の環境)内の緊急車両のフラッシング灯の有無を判別するために、方法は、最終的に、赤色、橙色、青色および紫色の各色についての画像シーケンスの各画像に対する全体信頼度インデクスICGを計算することから成る、シーン分析ステップ700を含む。例示的な一実施形態によれば、全体信頼度インデクスは、色によってグループ化されていてよい。例えば、紫色についての信頼度インデクスは、青色についての信頼度インデクスと統合されている。
この目的のために、画像シーケンスの各画像において、赤色、橙色、青色および紫色のそれぞれにつき、瞬時信頼度インデクスIciが計算される。
瞬時信頼度は、画像シーケンスの現在の画像のセグメンテーション発光領域Ziのパラメータに基づいて計算される。最初に、フラッシング状態および十分な分類信頼度インデクスIccを有するセグメンテーション発光領域Ziが考慮される。
考慮にとって十分な分類信頼度インデクスIccを有するセグメンテーション発光領域Ziを決定するために、ヒステリシスの形態のステートマシンが図7に示されている。
発光領域Ziの状態は、「オフ」状態において次のように初期化される。すなわち、
・分類信頼度インデクスIccが所定の閾値C3より大きい場合、状態「オフ」から状態「オン」への移行が行われる;
・分類信頼度インデクスIccが所定の閾値C4より小さい場合、状態「オン」から状態「オフ」への移行が行われる。画像および色についての当該瞬時信頼度インデクスIciの計算の一例は、ここでの色に対する、画像シーケンスの画像内で検出されたすべてのセグメンテーション発光領域Ziの分類信頼度インデクスIccの総和でありうる。例えば、赤色については、
[式3]
Figure 2023546062000002
となる。
次いで、画像シーケンスの各画像および赤色、橙色、青色および紫色のそれぞれに対する全体信頼度インデクスを取得するために、式、すなわち
[式4]
ICG(t)=(1-α)*ICG(t-1)+α*Ici
を使用して、当該瞬時信頼度が所定の時間にわたってフィルタリング除去され、ここで、
・Iciは、考察している色の瞬時信頼度インデクスであり;
・αは、色に関連付けられた所定の係数であり、全体信頼度インデクスICGの計算における瞬時信頼度インデクスIciの重みを決定することを可能にし、例えば、係数αの値は、0~1、好ましくは0.02~0.15である。
係数αの値が大きいほど、全体信頼度インデクスICGの計算における瞬時信頼度インデクスIciの重みは大きくなる。
例示的な一実施形態によれば、係数αは、セグメンテーション発光領域Ziのパラメータに従って変化する。例えば、係数αは、
・複数のセグメンテーション発光領域Ziが所定の閾値よりも大きい分類信頼度インデクスIccを有する場合に増大され、
・コンピュータ3が既にシーン内の緊急車両の存在を示している場合に低減され、これにより、セグメンテーション発光領域Ziの検出チェーンにおける検出の瞬時損失が発生した場合に、方法の結果の安定化および補強が可能となる。ここでの検出の瞬時損失は、例えば隠蔽、過剰な明るさまたは過剰な測定ノイズに起因する可能性がある。
例示的な一実施形態によれば、係数αは、画像内のセグメンテーション発光領域Ziの位置の関数として変化する。特に、係数αは、
・画像が水平線Hの下方に位置する分離されたセグメンテーション発光領域Ziを含む場合に低減され(換言すれば、積分速度が低下する)、
・複数のセグメンテーション発光領域Ziが水平線Hの上方に位置する場合に増大される(このことは高い積分速度に相当する)。
例示的な一実施形態によれば、係数αは、画像における複数のセグメンテーション発光領域Zi相互の相対位置の関数として変化する。特に、複数のセグメンテーション発光領域Ziが同一の線L上に並んでいる場合、係数αは増大される。
パラメータαの変化によって方法の感度の調整が可能となり、したがって、セグメンテーション発光領域Ziのパラメータに応じて、事象を多少とも迅速に検出することができる。
また、画像シーケンスの現在の画像の各セグメンテーション発光領域Ziに対して、他のパラメータに依存する重みを割り当てることも可能であり、例えば、
・セグメンテーション発光領域Ziが小サイズである場合(換言すれば、例えば20ピクセル未満のサイズを有する場合)および/または水平線Hの近傍にある場合、当該重みの値は低減される;
・セグメンテーション発光領域があまり明るくない場合(例えば1000lx未満の光度を有する場合)、当該重みの値は低減される;
・光の色が明瞭でない場合(例えば飽和白色光である場合)、当該重みの値は低減される;
・セグメンテーション発光領域Ziが(サイズ、位置、強度、色の点で)類似している他のセグメンテーション発光領域Ziの近傍にある場合、当該重みの値は増大される。
当該重みにより、複数のセグメンテーション発光領域Ziが強く相関した位置、明るさおよび色を有する場合、全体信頼度インデクスICGの増大を促進することができる。灯のサイズが小さく低強度である場合、全体信頼度インデクスICGの増大を緩慢化することによって偽陽性率を低下させることができるが、これは、遠方の緊急車両の許容可能な検出遅れにつながる。
ステップ700により、緊急車両のフラッシング灯についての十分な検出率を依然として維持しながら、検出の偽陽性率を大幅に低下させることができる。
ステップ700の終了時に、コンピュータ3は、カメラ2によって取得された画像シーケンスに対応する、車両1の後方の環境内における緊急車両の存在を示すことができ、特に、例えばそれ自体既知のヒステリシス閾値を使用して、発光領域Ziが緊急車両のフラッシング灯であることを宣言することができる。
ヒステリシスの形態のステートマシンは図6に示されている。
発光領域Ziの状態は、「オフ」状態において次のように初期化(Ei)される。すなわち、
・全体信頼度インデクスICGが所定の閾値C1より大きい場合、状態「オフ」から状態「オン」への移行が行われ、
・全体信頼度インデクスICGが所定の閾値C2より小さい場合、状態「オン」から状態「オフ」への移行が行われる。
この場合、車両(自律運転車両の場合)または他の形式の車両1の運転者は、前記緊急車両の移動を容易にしかつ妨げないために必要な措置を講じることができる。

Claims (15)

  1. 原動機付き車両(1)に搭載された少なくとも1つのカラーカメラ(2)によって撮像された画像のビデオストリームを処理する方法であって、前記画像は、前記車両に搭載されたコンピュータ(3)により、前記車両(1)の環境内に位置する優先車両(4)を検出するために使用され、前記少なくとも1つのカメラは前記車両の後方へ向けられており、前記方法が、
    ・画像シーケンスを取得する、取得ステップ(100)と、
    前記画像シーケンスの各画像に対して、
    ・フラッシング灯(5,6)である可能性が高い画像の有色発光領域(Zi)を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップ(200)と、
    ・各セグメンテーション発光領域(Zi)を追跡し、当該追跡に従い、前記セグメンテーションステップ(200)でセグメンテーションされた各発光領域を同色の予測発光領域(Zi)に関連付ける、追跡ステップ(300)と、
    ・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域(Zi)の測色分類を実行する、分類ステップ(400)と、
    ・前記セグメンテーション領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域(Zi)の周波数分析を実行する、周波数分析ステップ(500)と、
    ・セグメンテーション発光領域(Zi)をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクス(ICG)を計算する、計算ステップ(700)と
    を含むことを特徴とする方法。
  2. 前記セグメンテーションステップ(200)において、4つのカテゴリ、すなわち、
    ・赤色、
    ・橙色、
    ・青色、および
    ・紫色、
    に従って前記発光領域(Zi)をセグメンテーションするために、所定のセグメンテーション閾値が使用される、請求項1記載の方法。
  3. 前記セグメンテーションステップ(200)の後、前記方法はさらに、前記セグメンテーションステップ(200)からの結果をフィルタリング除去できるようにするいわゆるポストセグメンテーションフィルタリングステップ(210)を含み、当該ポストセグメンテーションステップは、位置および/またはサイズおよび/または色および/または強度に関する所定の基準に従って実行される、請求項1または2記載の方法。
  4. 前記ポストセグメンテーションステップ(210)は、水平線(H)からおよび消失点(F)から離れた画像部分に位置し、所定の寸法閾値未満のサイズを有する発光領域(Zi)をフィルタリング除去する、寸法フィルタリングサブステップ(211)を含む、請求項3記載の方法。
  5. 前記ポストセグメンテーションステップ(210)は、所定の寸法閾値を超えるサイズおよび所定の発光強度閾値未満の発光強度を有する発光領域(Zi)をフィルタリング除去するサブステップ(212)を含む、請求項3記載の方法。
  6. 前記ポストセグメンテーションステップ(210)は、前記画像シーケンスの画像上に定義された水平線(H)よりも下方に位置する発光領域(Zi)をフィルタリング除去する、位置フィルタリングサブステップ(213)を含む、請求項3記載の方法。
  7. 前記ポストセグメンテーションステップ(210)は、セグメンテーション発光領域(Zi)に対して、有向性の有色閾値処理に基づくフィルタリングを実行するサブステップ(215)を含む、請求項3記載の方法。
  8. 前記方法はさらに、前記追跡ステップ(300)の終了時に関連性が見出されなかった各セグメンテーション発光領域(Zi)に対する第2のセグメンテーションステップ(310)を含む、請求項1から7までのいずれか1項記載の方法。
  9. 前記第2のセグメンテーションステップ(310)は、
    ・前記セグメンテーション閾値を拡大し、前記セグメンテーションステップ(200)および前記追跡ステップ(300)を、前記画像シーケンスの各画像に対して、新たに拡大された、前記セグメンテーション発光領域の色に対応するセグメンテーション閾値で反復する、第1のサブステップ(311)と、
    ・前記第1のサブステップの終了時に関連性が見出されなかった場合に、前記セグメンテーション閾値を白色のセグメンテーション閾値に対応するように修正する、第2のサブステップ(312)と
    を含む、請求項8記載の方法。
  10. 前記周波数分析ステップ(500)において、各セグメンテーション発光領域(Zi)のフラッシング周波数が第1の周波数閾値(S1)および当該第1の周波数閾値(S1)よりも大きい第2の周波数閾値(S2)と比較され、ここで、双方の閾値が予め定められており、
    ・フラッシング周波数が前記第1の周波数閾値(S1)より小さく、当該セグメンテーション発光領域がフラッシングしていないかまたは弱いフラッシングしかしておらず、したがってフラッシング灯ではないとみなされる場合、
    ・フラッシング周波数が前記第2の周波数閾値(S2)より大きく、当該セグメンテーション発光領域もフラッシング灯ではないとみなされる場合
    に、セグメンテーション発光領域(Zi)がフィルタリング除去される、
    請求項1から9までのいずれか1項記載の方法。
  11. 前記第1の周波数閾値(S1)は1Hzに等しく、前記第2の周波数閾値(S2)は5Hzに等しい、請求項10記載の方法。
  12. 前記方法はさらに、前記セグメンテーション発光領域の変位を決定できるようにするために、各セグメンテーション発光領域(Zi)の方向分析を実行する、方向分析ステップ(600)を含む、請求項1から11までのいずれか1項記載の方法。
  13. 前記方向分析ステップ(600)において取得された変位方向が、
    ・前記車両(1)に対する前記セグメンテーション発光領域(Zi)が不動であること、
    ・前記車両(1)に対して当該車両(1)から離れる方向で前記セグメンテーション発光領域(Zi)が移動していること、
    として結論付け可能である場合、当該セグメンテーション発光領域(Zi)がフィルタリング除去される、
    請求項12記載の方法。
  14. コンピュータプログラム製品であって、コンピュータにより実行される際に、
    ・画像シーケンスを取得する、取得ステップ(100)と、
    前記画像シーケンスの各画像に対して、
    ・フラッシング灯(5,6)である可能性が高い画像の有色発光領域(Zi)を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップ(200)と、
    ・各セグメンテーション発光領域(Zi)を追跡し、当該追跡に従い、前記セグメンテーションステップ(200)でセグメンテーションされた各発光領域(Zi)を同色の予測発光領域(Zi)に関連付ける、追跡ステップ(300)と、
    ・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域(Zi)の測色分類を実行する、分類ステップ(400)と、
    ・前記セグメンテーション発光領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域(Zi)の周波数分析を実行する、周波数分析ステップ(500)と、
    ・セグメンテーション発光領域(Zi)をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクス(ICG)を計算する、計算ステップ(700)と
    を含む方法を実現するための命令を含む、コンピュータプログラム製品。
  15. 車両(1)であって、前記車両の後方へ向けられておりかつ前記車両の後方の環境の画像のビデオストリームを取得することのできる少なくとも1つのカラーカメラ(2)と、少なくとも1つのコンピュータ(3)とを備え、
    前記コンピュータ(3)が、
    ・画像シーケンスを取得する、取得ステップ(100)と、
    前記画像シーケンスの各画像に対して、
    ・フラッシング灯(5,6)である可能性が高い画像の有色発光領域(Zi)を検出できるようにするために、閾値処理に基づく測色セグメンテーションを実行する、セグメンテーションステップ(200)と、
    ・各セグメンテーション発光領域(Zi)を追跡し、当該追跡に従い、前記セグメンテーションステップ(200)でセグメンテーションされた各発光領域を同色の予測発光領域(Zi)に関連付ける、追跡ステップ(300)と、
    ・先行してトレーニングされた分類器を使用して各セグメンテーション発光領域(Zi)の測色分類を実行する、分類ステップ(400)と、
    ・前記セグメンテーション発光領域のフラッシング性を判別できるようにするために、各セグメンテーション発光領域(Zi)の周波数分析を実行する、周波数分析ステップ(500)と、
    ・セグメンテーション発光領域(Zi)をフラッシング灯であると宣言できるようにするために、画像シーケンスの各画像に対する全体信頼度インデクス(ICG)を計算する、計算ステップ(700)と、
    を実現するように構成されている、
    車両(1)。
JP2023522434A 2020-10-13 2021-10-13 画像処理方法 Pending JP2023546062A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2010472 2020-10-13
FR2010472A FR3115144B1 (fr) 2020-10-13 2020-10-13 Procédé de traitement d’images
PCT/EP2021/078342 WO2022079113A1 (fr) 2020-10-13 2021-10-13 Procédé de traitement d'images

Publications (1)

Publication Number Publication Date
JP2023546062A true JP2023546062A (ja) 2023-11-01

Family

ID=73793454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522434A Pending JP2023546062A (ja) 2020-10-13 2021-10-13 画像処理方法

Country Status (7)

Country Link
US (1) US20230368545A1 (ja)
EP (1) EP4229544A1 (ja)
JP (1) JP2023546062A (ja)
KR (1) KR20230084287A (ja)
CN (1) CN116438584A (ja)
FR (1) FR3115144B1 (ja)
WO (1) WO2022079113A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011733A (ja) * 2022-07-15 2024-01-25 株式会社Subaru 車両の配光制御装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319091A (ja) * 2001-04-20 2002-10-31 Fuji Heavy Ind Ltd 後続車両認識装置
EP2523173B1 (en) * 2011-05-10 2017-09-20 Autoliv Development AB Driver assisting system and method for a motor vehicle

Also Published As

Publication number Publication date
WO2022079113A1 (fr) 2022-04-21
KR20230084287A (ko) 2023-06-12
CN116438584A (zh) 2023-07-14
EP4229544A1 (fr) 2023-08-23
FR3115144B1 (fr) 2023-04-28
US20230368545A1 (en) 2023-11-16
FR3115144A1 (fr) 2022-04-15

Similar Documents

Publication Publication Date Title
US20210019538A1 (en) Brake Light Detection
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
US8995723B2 (en) Detecting and recognizing traffic signs
US7566851B2 (en) Headlight, taillight and streetlight detection
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
EP2150437B1 (en) Rear obstruction detection
CN102881186B (zh) 车辆用外界识别装置及使用了该装置的车辆控制系统
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
CN104583012B (zh) 用于响应于对小型卡车的检测来控制外部车辆灯的系统和方法
JP5879219B2 (ja) 車載用環境認識装置
US9185363B2 (en) Vehicle imaging system and method for categorizing objects using relative motion analysis
JP2014515893A (ja) 車両のカメラによって撮影した画像を評価するための方法および画像評価装置
JP6236039B2 (ja) 車外環境認識装置
JP6034923B1 (ja) 車外環境認識装置
JP6420650B2 (ja) 車外環境認識装置
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
US9511708B2 (en) Method and system for imaging an external scene by employing a custom image sensor
JP2023546062A (ja) 画像処理方法
JP6329417B2 (ja) 車外環境認識装置
JP6335065B2 (ja) 車外環境認識装置
JP2005339234A (ja) 前方車両監視装置
JP7446445B2 (ja) 画像処理装置、画像処理方法、及び車載電子制御装置
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night
Parate et al. Night time rear end collision avoidance system using SMPTE-C standard and VWVF
DE102006043433A1 (de) Verfahren zur bildgestützten Bestimmung der Fahrtrichtung von Fahrzeugen