JP2024507891A - 情報処理方法および関連デバイス - Google Patents

情報処理方法および関連デバイス Download PDF

Info

Publication number
JP2024507891A
JP2024507891A JP2023550693A JP2023550693A JP2024507891A JP 2024507891 A JP2024507891 A JP 2024507891A JP 2023550693 A JP2023550693 A JP 2023550693A JP 2023550693 A JP2023550693 A JP 2023550693A JP 2024507891 A JP2024507891 A JP 2024507891A
Authority
JP
Japan
Prior art keywords
information
target
contact
sequence
formation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023550693A
Other languages
English (en)
Inventor
ジュ，チィウエイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2024507891A publication Critical patent/JP2024507891A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Position Input By Displaying (AREA)

Abstract

検出情報の融合効率を向上させる情報処理方法および関連デバイスが提供される。方法は、複数のセンサから複数の検出情報を取得することであって、検出情報は、同じ標的オブジェクトについて異なるセンサからの検出情報を含む、取得することと、複数の検出情報に基づいて対応するフォーメーション情報を取得することと、複数のフォーメーション情報に基づいて標的フォーメーション情報を決定することであって、標的フォーメーション情報は、同じ標的オブジェクトセットについて異なるセンサによって検出される検出情報を示す、決定することと、標的オブジェクトセットにおける各標的オブジェクトのフォーメーション位置情報に基づいて複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることと、を含む。

Description

（関連出願の参照）
この出願は、２０２１年２月２７日に出願された「情報処理方法および関連デバイス」という名称の中国特許出願第２０２１１０２２１９１３．６号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
（技術分野）
この出願の実施形態は、データ処理の分野に関し、特に、情報処理方法および関連デバイスに関する。
同じ標的オブジェクトについて，異なるタイプのセンサによって検出できる特徴情報は異なる。例えば、カメラは標的オブジェクトの出現特徴を検出し、レーダは、標的オブジェクトの移動速度および距離を検出する。同じ標的オブジェクトについて、標的オブジェクトのより多くの特徴情報を得るためには、異なるセンサの検出結果を組み合わせて、標的オブジェクトの融合した検出情報を得る必要がある。
異なるタイプのセンサの検出結果の融合を実現するためには、異なるセンサの空間および時間がアライメント(整列)させられる必要がある。空間アライメント手順は、次の通りである。すなわち、センサによって検出することができるピクチャを得て、実空間における較正点を決定し、実空間における較正点の位置を、較正点がピクチャに表示される位置に関連付ける。以上の動作を複数の較正点に対して実行して、実空間と各センサによって検出されたピクチャとのマッピング関係を確立する。すなわち、センサで検出されるピクチャ間のマッピング関係が確立される。次に、異なるセンサの時間がアライメントされる。同じ瞬間に、オブジェクト情報がセンサによって検出されるピクチャ中のある地点で検出され、オブジェクト情報が他のセンサによって検出されるピクチャ中にありかつその地点に対応する地点で検出されるとき、２つの情報は、同じオブジェクトの情報であると決定されることがある。従って、オブジェクトについての異なるセンサからの検出結果は、オブジェクトの融合検出情報として互いに組み合わされることがある。
この方法は手動較正を通じて実現される必要があり、情報融合の効率は低い。
この出願の実施形態は、異なるセンサによって検出される検出情報の融合を実現して、検出情報の融合の効率を向上させる、情報処理方法を提供する。
この出願の実施形態の第１の態様が、情報処理方法を提供する。方法は、監視システム内の処理デバイスに適用され、検出システムは、複数のセンサをさらに含む。複数のセンサの各々によって取得される検出情報は、同じ複数の標的オブジェクトの検出情報が含む。方法は、以下を含む。
処理デバイスは、複数のセンサから複数の検出情報を取得する。複数の検出情報は、複数のセンサと１対１で対応し、複数の検出情報の各々は、検出情報に対応するセンサによって検出される。処理デバイスは、複数の検出情報に基づいて、複数の対応するフォーメーション情報を決定する。複数のフォーメーション情報は、複数の検出情報と１対１で対応する。各フォーメーション情報は、対応するセンサによって検出されるオブジェクト間の位置関係を記述するために使用され、オブジェクトは、前述の標的オブジェクトを含む。処理デバイスは、複数のフォーメーション情報に基づいて標的フォーメーション情報を決定する。標的フォーメーション情報と複数のフォーメーション情報との間の一致度は、予め設定された閾値よりも大きい。標的フォーメーション情報は、前述の複数の標的ブジェクト間の位置関係を記述するために使用され、標的フォーメーション情報は、標的ブジェクトのフォーメーション位置情報を含む。処理デバイスは、標的オブジェクトの任意の１つの標的オブジェクトのフォーメーション位置情報に基づいて、複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる。
この出願のこの実施形態において、センサによって検出されるオブジェクトのフォーメーション情報は、異なるセンサからの検出情報に基づいて別々に決定される。標的フォーメーション情報は標的フォーメーション情報と各フォーメーション情報との一致度に基づいて決定されるので、標的オブジェクトが決定される。標的フォーメーション情報は、異なるセンサによって検出されかつ類似の特徴を有するフォーメーション情報であり、異なるセンサによって検出されかつ同じ標的オブジェクトのものである情報を反映するので、標的フォーメーション情報に反映される、任意のオブジェクトのものでありかつ異なるセンサによって取得される検出結果の間の対応は、標的フォーメーション情報に基づいて決定されることがある。同じ標的オブジェクトのものでありかつ異なるセンサによって取得される検出結果は、前記対応に基づいて融合されることがある。手動較正方法と比較して、この出願のこの実施形態において使用される方法は、フォーメーション情報に基づいて融合検出情報を取得し、融合検出情報を取得する効率を大幅に向上させる。
加えて、情報収集の観点において、この出願のこの実施形態における方法は、測定フィールドのいずれをも占有することなく、異なるセンサからの検出情報のみを必要とする。従って、検出情報の融合の適用性が拡大される。
第１の態様に関して、この出願のこの実施形態の第１の態様の第１の実装において、検出情報は、位置特徴セットを含むことがある。位置特徴セットは、複数の位置特徴を含むことがあり、位置特徴は、対応するセンサによって検出されるオブジェクトとオブジェクトの周囲のオブジェクトとの間の位置関係を示す。
この出願のこの実施形態において、検出情報は、位置特徴セットを含む。位置特徴セットは、センサによって検出されるオブジェクト間の位置関係を正確に反映することがある、すなわち、オブジェクト間の位置関係に基づいてフォーメーション情報を正確に決定することがある。従って、同じ標的オブジェクトについて、異なるセンサからの検出情報は正確に融合される。
第１の態様の第１の実装を参照すると、この出願のこの実施形態の第１の態様の第２の実装において、処理デバイスが複数の検出情報に基づいて複数の対応するフォーメーション情報を決定することは、具体的には、処理デバイスが、複数の位置特徴セットに基づいて、複数の対応する線接触情報を取得することを含む。複数の線接触情報の各々は、対応するセンサにより検出されるオブジェクトが基準線に接触する情報を記述するために使用され、前述の複数の線接触情報は、前述の複数の位置特徴セットと１対１で対応する。処理デバイスは、前述の複数の線接触情報に基づいて、複数の対応するフォーメーション情報を別々に決定する。前述の複数の線接触情報は、前述の複数のフォーメーション情報と１対１で対応する。
この出願のこの実施形態において、線接触情報は、位置特徴セットに基づいて取得される。何故ならば、線接触情報は、オブジェクトが基準線に接触する情報であるからである。接触時間、接触間隔、接触位置のような、特定の値または特定の位置特徴を含むデータが、オブジェクトが基準線に接触するときに取得されることがある。従って、複数の接触時間点を含む数字シーケンス(数列)、複数の接触間隔を含む数字シーケンス、または複数の接触位置を含む分布関係のような、線接触データのセットが、複数の標的オブジェクトが線に接触する特定の値または特定の位置特徴に基づいて取得されることがある。前述の線接触データのセットは、特定の値または位置特徴を有するので、如何なる他のデータ処理も伴わずに、操作が直接実行されることがある。従って、その一致度が予め設定された閾値を満たす標的フォーメーション情報が迅速に決定されることがある。
第１の態様の第２の実装を参照すると、この出願のこの実施形態の第１の態様の第３の実装において、標的フォーメーション情報は、接触区画シーケンスに基づいて決定されてよく、具体的には、以下を含む。
線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報および接触点区画情報を含む。接触点区画情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報を示す。フォーメーション情報は、接触区画シーケンスを含み、接触区画シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する区画位置の間の時系列関係を示す。
処理デバイスが複数のフォーメーション情報に基づいて標的フォーメーション情報を決定することは、具体的には、以下を含む。すなわち、処理デバイスは、複数の接触区画シーケンスの第１の部分列を取得し、第１の部分列を標的フォーメーション情報として使用し、その場合、第１の部分列と複数の接触区画シーケンスとの間の一致度は、第１の閾値よりも大きい。
処理デバイスが標的オブジェクトの前述のフォーメーション位置情報に基づいて前述の複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることは、具体的には、以下を含む。すなわち、処理デバイスは、第１の部分列内にありかつ各標的オブジェクトに対応する接触点区画情報に基づいて、複数の接触区画シーケンス内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる。
この出願のこの実施形態において、時系列情報は、異なる標的オブジェクトが基準線に接触する時系列を示し、接触点区画情報は、異なる標的オブジェクトが基準線に接触する左右関係を示す。複数の標的オブジェクトが基準線に接触する位置の関係は、時系列を示す時系列情報および左右関係を示す接触点区画情報を使用することによって、接触区画シーケンスに反映される。時系列情報および接触点区画情報は、両方とも特定の値であるので、接触区画シーケンスは、標的オブジェクトの間の位置関係を反映する値のセットである。対応する接触区画シーケンスが、異なるセンサからの検出情報に基づいて取得される。複数の取得される接触区画シーケンスは、複数の値セットである。値セットの間の一致度が予め設定された閾値を満たすことを決定するために、それは対応する値の間の比較のみを必要とし、複雑な演算を伴わない。従って、標的フォーメーション情報を決定するためにマッチングを行うことの効率が向上する。
第１の態様の第３の実装を参照すると、この出願のこの実施形態の第１の態様の第４の実装では、最長共通部分列（longest common sequence，ＬＣＳ）アルゴリズムを使用して、異なるセンサからの検出情報内にある複数の接触区画シーケンスに基づいて、各接触区画シーケンスとの一致度が第１の閾値よりも大きい第１の部分列を決定してよい。この出願のこの実施形態では、ＬＣＳアルゴリズムを使用することによって複数の接触区画シーケンスの全ての共通シーケンスを取得して、複数の接触区画シーケンスにおける同じ位置特徴のマッチングを実施してよい。最長共通部分列は、ＬＣＳアルゴリズムを使用することによって計算されるので、ＬＣＳアルゴリズムを使用することによって決定される前述の第１の部分列は、前述の複数の接触区画シーケンスとの一致度が第１の閾値よりも大きい部分列内の最長部分列を含むことがある。
この出願のこの実施形態では、複数の接触区画シーケンスの全ての共通シーケンスを、ＬＣＳアルゴリズムを使用することによって決定して、マッチングを通じて、接触区画シーケンスのものでありかつ同じ位置特徴を有する全てのセグメントを取得してよい。複数のセグメントが共通シーケンスであり、幾つかの非共通シーケンスが共通シーケンスに含まれるならば、共通シーケンスに含まれる非共通シーケンスが特定される。非共通シーケンスは、異なるセンサにおける異なる位置関係を反映する。この場合には、センサの誤検出または検出漏れの故に、非共通シーケンスが共通シーケンスに含まれると考えられてよい。従って、フォールトトレランスが、非共通シーケンスに対して実行される、すなわち、非共通シーケンスは、検出情報の融合を実現するために、異なるセンサによって検出される標的オブジェクトに対応することが可能にされる。
この出願のこの実施形態において、ＬＣＳアルゴリズムを使用することによって決定される第１の部分列は、前述の複数の接触区画シーケンスとの一致度が第１の閾値よりも大きい部分列内の最長部分列を含むことがある。標的ブジェクト間の位置関係は、時折、類似する。従って、決定される部分列のより長い長さは、類似の位置関係を有する可能性がより低いことを示し、その結果、不測の事態がより容易に回避されることがある。最長部分列は、ＬＣＳアルゴリズムを使用することによって決定されるので、同じ標的オブジェクトセットの標的フォーメーション情報が正確に決定されることがある。例えば、２つの標的ブジェクト間の位置関係は、時折、類似することがある。しかしながら、１０個の標的オブジェクトの位置関係が高い一致度を有するように標準が改良されるならば、１０個の標的オブジェクトが類似の位置関係を有する可能性は、２個の標的オブジェクトが類似の位置関係を有する可能性よりも大幅により低い。従って、ＬＣＳアルゴリズムを使用することによって１０個の標的オブジェクトの第１の部分列が決定されるならば、１０個の標的オブジェクトが異なるセンサによって取得される検出結果に対応する同じ１０個の標的オブジェクトである可能性はより高く、不一致の可能性は低減される。
第１の態様の第２の実装を参照すると、この出願のこの実施形態の第１の態様の第５の実装において、標的フォーメーション情報は、接触位置シーケンスに基づいて決定されてよく、具体的には、以下を含む。
線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報および接触点位置情報を含む。接触点位置情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の位置情報を示し、標的オブジェクトの間の左右の位置関係を反映する。フォーメーション情報は、接触位置シーケンスを含み、接触位置シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する位置の間の時系列関係を示す。
処理デバイスが複数のフォーメーション情報に基づいて標的フォーメーション情報を決定することは、具体的には、以下を含む。すなわち、処理デバイスは、複数の接触位置シーケンスの第３の部分列を取得し、第３の部分列を標的フォーメーション情報として使用し、その場合、第３の部分列と複数の接触位置シーケンスとの間の一致度は、第３の閾値よりも大きい。
処理デバイスが、標的オブジェクトの前述のフォーメーション位置情報に基づいて、前述の複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることは、具体的には、以下を含む。すなわち、処理デバイスは、第３の部分列内にありかつ各標的オブジェクトに対応する接触点位置情報に基づいて、複数の接触位置シーケンス内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる。
この出願のこの実施形態において、接触点位置情報は、異なる標的ブジェクトが基準線に接触する左右関係を示し、連続した値またはデータであることがある。従って、連続する値またはデータに基づいて、標的オブジェクトのフォーメーション情報は、別の非標的オブジェクトのフォーメーション情報からより正確に区別されることがある。従って、同じ標的オブジェクトの検出情報は、より正確に融合されることがある。
加えて、標的ブジェクト間の運動傾向が、連続する値またはデータに基づいて分析または計算されることがある。運動傾向に加えて、他の情報、例えば、標的ブジェクトの移動軌跡がさらに計算されることがある。これは本明細書において限定されない。
第１の態様の第２の実装を参照すると、この出願のこの実施形態の第１の態様の第６の実装において、標的フォーメーション情報は、接触間隔シーケンスに基づいて決定されることがあり、具体的には、以下を含む。
線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報および接触時間間隔情報を含む。接触時間間隔情報は、オブジェクトが基準線に接触する時間間隔を示す。フォーメーション情報は、接触間隔シーケンスを含み、接触間隔シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する時間間隔の分布を示す。
処理デバイスが複数のフォーメーション情報に基づいて標的フォーメーション情報を決定することは、具体的には、以下を含む。すなわち、処理デバイスは、複数の接触間隔シーケンスの第２の部分列を取得し、第２の部分列を標的フォーメーション情報として使用し、その場合、第２の部分列と複数の接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きい。
処理デバイスが、標的オブジェクトのフォーメーション位置情報に基づいて、少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることは、以下を含む。すなわち、処理デバイスは、第２の部分列ないにありかつ各標的オブジェクトに対応する接触時間分布情報に基づいて少なくとも２つの接触間隔シーケンス内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる。
この出願のこの実施形態において、時系列情報は、異なる標的オブジェクトが基準線に接触する時系列を示し、接触時間間隔情報は、異なる標的オブジェクトが基準線に接触する時間間隔を示す。複数の標的オブジェクトが基準線に接触する位置の関係は、時系列を示す時系列情報および時間間隔を示す接触時間間隔情報を使用することによって接触時間間隔シーケンスに反映される。時系列情報および接触時間間隔情報は、両方とも特定の値であるので、接触時間間隔シーケンスは、標的オブジェクトの間の位置関係を反映する値のセットである。対応する接触間隔シーケンスは、異なるセンサからの検出情報に基づいて取得される。複数の取得される接触間隔シーケンスは、複数の値セットである。値セットの間の一致度が予め設定された閾値を満たすことを決定するためには、対応する値の間の比較のみを必要とし、複雑な演算はない。従って、標的フォーメーション情報を決定するためにマッチングを行うことの効率が向上する。
第１の態様の第６の実装を参照すると、この出願のこの実施形態の第１の態様の第７の実装では、ＬＣＳアルゴリズムを使用して、異なるセンサからの検出情報内にある複数の接触間隔シーケンスに基づいて、各接触間隔シーケンスとの一致度が第２の閾値よりも大きい第２の部分列を決定してよい。この出願のこの実施形態では、ＬＣＳアルゴリズムを使用することによって複数の接触間隔シーケンスの全ての共通シーケンスを取得して、複数の接触間隔シーケンスにおける同じ位置特徴のマッチングを実施してよい。最長共通部分列は、ＬＣＳアルゴリズムを使用することによって計算されるので、ＬＣＳアルゴリズムを使用することによって決定される前述の第２の部分列は、前述の複数の接触間隔シーケンスとの一致度が第２の閾値よりも大きい部分列中の最長部分列を含むことがある。
この出願のこの実施形態において、ＬＣＳアルゴリズムを使用することによって複数の接触間隔シーケンスの全ての共通シーケンスを決定して、マッチングを通じて、接触間隔シーケンス内にありかつ同じ位置特徴を有する全てのセグメントを取得してよい。複数のセグメントが共通シーケンスであり、幾つかの非共通シーケンスが共通シーケンスに含まれるならば、共通シーケンスに含まれる非共通シーケンスが特定されることがある。非共通シーケンスは、異なるセンサにおける異なる位置関係を反映する。この場合、センサの誤検出または検出漏れの故に、非共通シーケンスが共通シーケンスに含まれると考えられてよい。従って、フォールトトレランスが非共通シーケンスに対して行われる、すなわち、非共通シーケンスは、検出情報の融合を実現するために、異なるセンサによって検出される標的オブジェクトに対応することが可能にされる。
この出願のこの実施形態において、ＬＣＳアルゴリズムを使用することによって決定される第２の部分列は、複数の接触間隔シーケンスとの一致度が第２の閾値よりも大きい部分列内の最長部分列を含むことがある。標的ブジェクトが基準線に接触する時間間隔は、時折、類似することがある。従って、決定された部分列のより長い長さは、類似の時間間隔を有する可能性がより低いことを示し、その結果、不測の事態がより容易に回避されることがある。最長部分列はＬＣＳアルゴリズムを使用することによって決定されるので、同じ標的オブジェクトセットの標的フォーメーション情報が正確に決定されることがある。例えば、２つの標的ブジェクトが基準線に接触する時間間隔は、時折、類似することがある。しかしながら、１０個の標的オブジェクトの時間間隔が高い一致度を有するように標準が改良されるならば、１０個の標的オブジェクトが類似の時間間隔で基準線に接触する可能性は、２個の標的オブジェクトが類似の時間間隔で基準線に接触する可能性よりも大幅により低い。従って、ＬＣＳアルゴリズムを使用することによって１０個の標的オブジェクトの第２の部分列が決定されるならば、１０個の標的オブジェクトが異なるセンサによって取得される検出結果に対応する１０個の標的オブジェクトと同じである可能性はより高く、不一致の可能性は低減される。
第１の態様の第２の実装を参照すると、この出願のこの実施形態の第１の態様の第８の実装において、標的フォーメーション情報は、接触区画シーケンスおよび接触間隔シーケンスに基づいて決定されてよく、具体的には、以下を含む。
線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報、接触点区画情報、および接触時間間隔情報を含む。接触点区画情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報を示す。接触時間間隔情報は、オブジェクトが基準線に接触する時間間隔を示す。フォーメーション情報は、接触区画シーケンスおよび接触間隔シーケンスを含み、その場合、接触区画シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する区画位置の間の時系列関係を示し、接触間隔シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する時間間隔の分布を示す。
処理デバイスが複数のフォーメーション情報に基づいて標的フォーメーション情報を決定することは、具体的には、以下を含むことがある。
処理デバイスは、少なくとも２つの接触区画シーケンスの第１の部分列を取得し、その場合、第１の部分列と複数の接触区画シーケンスとの間の一致度は、第１の閾値よりも大きい。処理デバイスは、少なくとも２つの接触間隔シーケンスの第２の部分列を取得し、その場合、第２の部分列と複数の接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きい。処理デバイスは、第１のオブジェクトセットおよび第２のオブジェクトセットの交差を決定し、交差を標的オブジェクトセットとして使用し、その場合、第１のオブジェクトセットは、第１の部分列に対応するオブジェクトのセットであり、第２のオブジェクトセットは、第２の部分列に対応するオブジェクトのセットである。処理デバイスは、標的ブジェクトセットの接触区画シーケンスおよび接触間隔シーケンスを標的フォーメーション情報として使用する。
この出願のこの実施形態において、第１のオブジェクトセットおよび第２のオブジェクトセットの交差は、第１の部分列に対応する第１のオブジェクトセットおよび第２の部分列に対応する第２オブジェクトセットに基づいて決定され、交差は、標的オブジェクトセットとして使用される。交差内のオブジェクトは、第１の部分列に対応する、すなわち、類似の接触区画情報は、異なるセンサからの検出情報に基づいて取得されることがある。加えて、交差内のオブジェクトは、第２の部分列に対応する、すなわち、類似の接触時間間隔情報は、異なるセンサからの検出情報に基づいて存在する。オブジェクト間の位置関係を示す複数の類似情報が複数のセンサからの検出情報に基づいて取得されることがあるならば、検出情報に対応するオブジェクトセットが同じオブジェクトセットである可能性は、オブジェクト間の位置関係を示す１つだけの類似情報が取得されることがあるときよりも高い。従って、複数の部分列に対応するオブジェクトの交差をフィルタリングして、標的オブジェクトのフォーメーション情報を別の非標的オブジェクトのフォーメーション情報から正確に区別する。従って、同じ標的オブジェクトの検出情報が、より正確に融合される。
この出願のこの実施形態では、第１の部分列に対応するオブジェクトおよび第２の部分列に対応するオブジェクトの交差に加えて、他の部分列に対応するオブジェクトとの交差、例えば、第１の部分列に対応するオブジェクトおよび第３の部分列に対応するオブジェクトの交差、第２の部分列に対応するオブジェクトおよび第３の部分列に対応するオブジェクトの交差、または別の部分列に対応するオブジェクトおよび第１～第３の部分列のうちのいずれか１つに対応するオブジェクトとの間の交差が使用されてもよい。他の部分列は、オブジェクト間の位置関係、例えば、オブジェクト間の距離または方向を示すためにも使用される。これは本明細書において限定されない。異なる部分列に対応するオブジェクトの交差が取得されるので、適切な部分列が、操作のために柔軟に選択されることがあり、それによって、解決策の実行可能性および柔軟性が改良される。
この出願のこの実施形態では、２つの部分列に対応するオブジェクトの交差に加えて、より多くの部分列に対応するオブジェクトの交差が取得されることがある。例えば、第１の部分列、第２の部分列、および第３の部分列に対応するオブジェクトの交差が取得される。より多量の部分列が使用されるとき、それは、オブジェクト間の位置関係を示すより多くのタイプの類似情報が複数のセンサからの検出情報に基づいて取得されることがあり、検出情報に対応するオブジェクトセットが同じオブジェクトセットである可能性がより高いことを示す。従って、スクリーニングが、複数の部分列に対応するオブジェクトの交差に対して行われるので、標的オブジェクトのフォーメーション情報は、別の非標的オブジェクトのフォーメーション情報からより正確に区別されることがある。従って、同じ標的オブジェクトの検出情報は、より正確に融合される。
第１の態様の第１の実装を参照すると、この出願のこの実施形態の第１の態様の第９の実装において、標的フォーメーション情報は、標的グループ分布グラフに基づいて決定されることがあり、具体的には、以下を含む。
フォーメーション情報は、標的グループ分布グラフを含み、標的グループ分布グラフは、オブジェクト間の位置関係を示す。
処理デバイスが複数の検出情報に基づいて複数の対応するフォーメーション情報を決定することは、具体的には、以下を含むことがある。すなわち、処理デバイスは、複数の位置特徴セットに基づいて複数の対応する初期標的グループ分布グラフを取得し、その場合、初期標的グループ分布グラフは、対応するセンサによって検出されるオブジェクト間の位置関係を示す。処理デバイスは、ビューポート変更アルゴリズムを使用することによって複数の初期標的グループ分布グラフの標準ビューポートグラフを取得し、複数の標準ビューポートグラフを複数の対応する標的グループ分布グラフとして使用し、その場合、標的グループ分布グラフのフォーメーション位置情報は、標的オブジェクトの標的オブジェクト分布情報を含み、標的オブジェクト分布情報は、対応するセンサで検出されるオブジェクトにおける標的オブジェクトの位置を示す。
処理デバイスが、少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することは、具体的には、以下を含む。すなわち、処理デバイスは、複数の標的グループ分布グラフの画像特徴セットを取得し、画像特徴セットを標的フォーメーション情報として使用し、その場合、画像特徴セットと複数の標的グループ分布グラフとの間の一致度は、第３の閾値よりも大きい。
処理デバイスが、標的オブジェクトのフォーメーション位置情報に基づいて、複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることは、具体的には、以下を含む。すなわち、処理デバイスは、画像特徴セット内にありかつ各標的オブジェクトに対応する標的オブジェクト分布情報に基づいて、複数の標的グループ分布グラフ内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる。
この出願のこの実施形態において、複数の対応する初期標的グループ分布グラフは、異なるセンサからの検出情報に基づいて取得され、複数の対応する標的グループ分布グラフは、ビューポート変更アルゴリズムを使用することによって取得される。次に、複数の標的グループ分布グラフの画像特徴セットが取得され、画像特徴セットは、標的フォーメーション情報として使用される。画像特徴セットと複数の標的グループ分布グラフとの間の一致度が予め設定された閾値よりも大きい画像特徴セットは、複数のセンサからの複数の標的グループ分布グラフに基づいて決定される。画像特徴は、ピクチャ内に表示されるオブジェクト間の位置関係を直感的に反映することがある。従って、画像特徴セットは、複数の標的グループ分布グラフに基づいて決定されるので、類似の位置関係を示す検出結果が、直感的に反映されることがある。すなわち、同じ標的グループ内にありかつ異なるセンサによって取得される検出結果が、マッチングを通じて決定されることがある。このようにして、検出情報は、正確に融合される。
第１の態様の第９の実装を参照すると、この出願のこの実施形態の第１の態様の第１０の実装において、画像特徴セットは、基準線に基づいて取得されることがあり、具体的には、以下を含む。
処理デバイスは、複数の位置特徴セットに基づいて、位置特徴セットに対応する標的オブジェクトの複数の線接触情報を取得することがあり、その場合、複数の線接触情報の各々は、対応するセンサによって検出されるオブジェクトが基準線に接触する情報を記述するために使用され、複数の線接触情報は、複数の位置特徴セットと１対１で対応する。
処理デバイスが、複数の位置特徴セットに基づいて、複数の対応する初期標的グループ分布グラフを取得することは、具体的には、以下を含む。すなわち、処理デバイスは、複数の線接触情報に基づいて、対応する複数の初期標的グループ分布グラフを取得し、その場合、複数の初期標的グループ分布グラフ中のオブジェクトは、同じ線接触情報を有する。
この出願のこの実施形態では、近い時点で取得される画像間の類似度が高い。従って、同じ時点を指定されないならば、マッチングが異なるセンサからの初期標的オブジェクト分布グラフに対して行われると、近い時点で取得される初期標的グループ分布グラフに起因して、干渉が導入される。その結果、マッチングが分布グラフのマッチングに対して行われるときにエラーが発生し、画像特徴セットが取得されるときにエラーが発生する。結果的に、異なる瞬間に取得される検出情報が融合されて、検出情報の融合にエラーが生じさせる。このエラーは、線接触情報を使用することによって回避されることができる。具体的には、複数の初期標的グループ分布グラフは、線接触情報を使用することによって決定される。複数の初期標的グループ分布グラフは、同じ線接触情報を有する。これは、複数の初期標的グループ分布グラフが同じ時点で取得されることを示し、融合のための検出情報が同じ時点で取得されることを保証することがあり、それによって、検出情報の融合精度を向上させる。
第１の態様のいずれか１つ、および第１の態様の第１の実装～第１０の実装を参照すると、この出願のこの実施形態の第１の態様の第１１の実装において、異なるセンサの空間座標系間のマッピングが実装されることがあり、具体的には、以下を含む。
複数のセンサが、第１センサと、第２センサとを含み、その場合、第１センサに対応する空間座標系が標準座標系であり、第２センサに対応する空間座標系が標的座標系である。方法は、さらに、以下を含む。
処理デバイスは、融合検出情報に基づいて、複数の標準点情報と複数の標的点情報との間のマッピング関係を決定する。融合検出情報は、複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることによって取得され、標準点情報は、標的オブジェクトセット内にありかつ標準座標系内にあるオブジェクトの位置情報を示し、標的点情報は、標的オブジェクトセット内にありかつ標的座標系内にあるオブジェクトの位置情報を示し、複数の標的点情報は、複数の標的点情報と１対１で対応する。処理デバイスは、標準点情報と標的点情報との間のマッピング関係に基づいて、標準座標系と標的座標系との間のマッピング関係を決定する。
この出願のこの実施形態において、複数の標準点情報と複数の標的点情報との間のマッピング関係は、融合検出情報に基づいて決定され、標準座標系と標的座標系との間のマッピング関係は、複数の標準点情報と複数の標的点情報との間のマッピング関係に基づいて決定される。この出願のこの実施形態における方法によれば、異なるセンサからの検出情報を取得し得るならば、異なるセンサの座標系間のマッピングが実施されることがある。標的フォーメーション情報を決定すること、点情報に対してマッピングを行うことなどの後続のステップは、手動較正およびマッピングなしに、処理デバイスによって実施されることがある。処理デバイスは、標的フォーメーション情報に対してマッチングを行うので、デバイスによる正確な操作が、点情報マッピングの精度を向上させる。加えて、異なるセンサからの検出情報を取得し得るならば、検出情報および座標系間のマッピングの融合が行われることがある。これは、手動較正によって引き起こされるシナリオ制限を回避し、検出情報の融合の精度と普遍性を確保する。
第１の態様のうちのいずれか、および第１の態様の第１の実装～第１１の実装を参照すると、この出願のこの実施形態の第１２の実装において、異なるセンサの時間軸が、さらにアライメント(整列)されることがある。具体的には、方法は、以下をさらに含むことがある。
処理デバイスは、複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報の融合結果に基づいて、複数のセンサの時間軸間の時間差を計算する。
この出願のこの実施形態において、複数のセンサの時間軸間の時間差は、同じ標的オブジェクトの検出情報の融合結果に基づいて計算されるので、異なるセンサの時間軸は、時間差に基づいてアライメントされることがある。この出願のこの実施形態において提供される時間軸アライメント方法は、異なるセンサからの検出情報を取得し得るならば実施されることがある。複数のセンサは、同じ時刻同期システム内にある必要はない。これは異なるセンサの時間軸アライメントの適用シナリオを拡張し、情報融合の適用範囲も拡張する。
第１の実装のいずれか１つ、または第１の態様の第１の実装～第１２の実装を参照すると、この出願のこの実施形態の第１の態様の第１３の実装では、エラー補正またはスクリーニングがセンサに対してさらに行うことがある。具体的には、複数のセンサは、標準センサと、検出対象センサとを含み、方法は、以下をさらに含むことがある。
処理デバイスは、標的フォーメーション情報内にありかつ標準センサに対応する標準フォーメーション情報を取得する。処理デバイスは、標的フォーメーション情報内にありかつ検出対象センサに対応する検出対象フォーメーション情報を取得する。処理デバイスは、検出対象フォーメーション情報と標準フォーメーション情報との間の差を決定する。処理デバイスは、前述の差および標準フォーメーション情報に基づいてエラーパラメータを取得し、その場合、エラーパラメータは、検出対象フォーメーション情報のエラーを示し、あるいは検出対象センサの性能パラメータを示す。
この出願のこの実施形態において、標準センサは、検出のための標準として使用され、エラーパラメータは、検出対象フォーメーション情報と標準フォーメーション情報との間の差に基づいて取得される。エラーパラメータが検出対象フォーメーション情報のエラーを示すとき、検出対象フォーメーション情報内にありかつエラーパラメータに対応する情報は、エラーパラメータおよび標準フォーメーション情報に基づいて補正されてよい。エラーパラメータが検出対象センサの性能パラメータを示すとき、検出対象センサの誤検出率のような性能パラメータが決定されてよい。従って、検出対象センサについてデータ分析を実行して、センサを選択する。
この出願の第２の態様が、処理デバイスを提供する。処理デバイスは、検出システム内に配置される。検出システムは、少なくとも２つのセンサをさらに含む。少なくとも２つのセンサによって取得される検出情報は、少なくとも２つの同じ標的オブジェクトについて少なくとも２つのセンサから別々に検出情報を含む。処理デバイスは、プロセッサと、送受信機(トランシーバ)とを含む。
送受信機は、少なくとも２つのセンサから少なくとも２つの検出情報を取得するように構成され、その場合、少なくとも２つのセンサは、少なくとも２つの検出情報と１対１で対応する。
プロセッサは、少なくとも２つの検出情報に基づいて少なくとも２つの対応するフォーメーション情報を決定するように構成され、各フォーメーション情報は、対応するセンサによって検出されるオブジェクト間の位置関係を記述するために使用され、オブジェクトは、標的オブジェクトを含み、少なくとも２つのフォーメーション情報に基づいて標的フォーメーション情報を決定するように構成され、標的フォーメーション情報と少なくとも２つのフォーメーション情報の各々との間の一致度は、予め設定された閾値よりも大きく、標的フォーメーション情報は、少なくとも２つの標的オブジェクト間の位置関係を記述するために使用され、標的フォーメーション情報は、標的オブジェクトのフォーメーション位置情報を含み、標的オブジェクトの任意の１つの標的オブジェクトのフォーメーション位置情報に基づいて、少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させる構成される。
処理デバイスは、前述の第１の態様による方法を実行するように構成される。
第２の態様の有益な効果については、第１の態様を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態の第３の態様が、処理デバイスを提供する。処理デバイスは、プロセッサと、プロセッサに結合されるメモリとを含む。メモリは、実行可能命令を格納し、実行可能命令は、プロセッサに命令して第１の態様に従った方法を実行させるために使用される。
処理デバイス。
この出願のこの実施形態の第４の態様が、コンピュータ読取可能記憶媒体を提供する。コンピュータ読取可能記憶媒体は、プログラムを格納し、コンピュータがプログラムを実行するときに、第１の態様に従った方法が実行される。
この出願のこの実施形態の第５の態様が、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されるとき、コンピュータは、第１の態様による方法を実行する。
複数のセンサの時間軸のアライメントの概略図である。
複数のセンサの空間座標系のアライメントの概略図である。
この出願の一実施形態による標的ブジェクトのマッチングの概略図である。
この出願の一実施形態による情報処理方法のシステムの概略図である。
この出願の一実施形態による情報処理方法の適用シナリオの概略図である。
この出願の一実施形態による情報処理方法の概略的なフローチャートである。
この出願の一実施形態による情報処理方法の構成の概略図である。
この出願の一実施形態による線描画方法の概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の適用シナリオの別の概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の別の用途シナリオの概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の別の用途シナリオの概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の別の適用シナリオの概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の別の概略図である。
この出願の一実施形態による情報処理方法の別の概略フローチャートである。
この出願の一実施形態による情報処理方法の別の適用シナリオの概略図である。
この出願の一実施形態による情報処理方法の別の適用シナリオの概略図である。
この出願の一実施形態による処理デバイスの構造の概略図である。
この出願の一実施形態による処理デバイスの別の構造の概略図である。
この出願の実施形態が、異なるセンサによって検出される検出情報を融合させ、検出情報の融合効率を向上させる、情報処理方法および関連デバイスを提供する。
センサは、オブジェクトを検出することができる。同じオブジェクトについて、異なるセンサが、検出を通じて異なる検出情報を得ることがある。例えば、カメラが、オブジェクトの形状およびテクスチャのような外観特徴を検出することがあり、レーダが、オブジェクトの位置および速度のような運動情報を検出することがある。同じオブジェクトに関する複数のタイプの情報を得るためには、異なるセンサからの検出情報を融合させる必要がある。
検出情報の融合を実現するためには、異なるセンサの時間軸および空間座標系がアライメントされる必要がある。時間軸のアライメントは、センサが同じ時刻同期システム内にあることを必要とする。図１ａは、複数のセンサの時間軸のアライメントの概略図である。時刻同期システムにおける時刻同期デバイスは、タイムスタンプを生成し、タイムスタンプを時刻同期システムにおける複数のセンサに送信する。時刻同期システムにおける複数のセンサは、同じタイムスタンプに基づいて検出されるので、時間軸のアライメントが実現されることがある。
時刻同期デバイスのタイムスタンプは、時刻同期システムにおいてのみ送信されることがあり、時刻同期システム外のセンサは、タイムスタンプを受信できないため、時間軸のアライメントは、同じ時刻同期システムにおいてのみ実現されることがある。この要因は、検出情報の融合の適用シナリオを制限する。
加えて、空間座標系のアライメントは、空間較正を通じて実施される必要がある。図１ｂは、複数のセンサの空間座標系のアライメントの概略図である。空間較正のためには、実空間内の較正点が決定される必要がある。異なるセンサによって検出されたピクチャ中の較正点の位置は、手動で較正される。例えば、較正点４が、センサＡによって検出されたピクチャ内で較正され、対応する較正点４’が、センサＢによって検出されたピクチャ内で較正される。次に、異なるセンサによって検出されたピクチャ内の同じ較正点の位置間のマッピング関係が、手動で決定される。マッピング関係の精度を保証するためには、空間座標系の完全なマッピングを実施するために、複数の較正点が較正される必要がある。
空間較正は、手動で実施される必要があり、人間が主観的に知覚するマッピング関係は、実際のマッピング関係とは異なることがあるので、実際のマッピング関係は、事実上は反映されないことがある。シリンダでは、互いに異なる較正点を見出すことができない。異なるピクチャで較正された較正点、例えば、図１ｂに示す較正点４および較正点４’は、実際には同じ点を反映することができず、較正エラー(較正誤差)を生む。シリンダ以外に、球のような別個の点を持たない任意の他のオブジェクトは、前述の較正エラーを生じやすい。従って、手動で較正されたマッピング関係は、正確でないことがある。空間較正が不正確であるときには、複数のセンサからの検出情報を融合する手順において、実際には１つの標的オブジェクトが、異なる標的オブジェクトとして決定されることがあり、あるいは、異なる標的オブジェクトが、１つの標的オブジェクトとして決定されることがある。このようにして、融合を通じて得られる情報は、不正確なデータである。
この出願のこの実施形態において、空間較正は、図１ｂに示すように、２つのカメラによって検出されたピクチャに対して実行される。空間較正は、複数のタイプのセンサに対して実行されることもある。例えば、較正が、カメラによって検出されたピクチャおよびレーダによって検出されたピクチャに対して実行される。異なるタイプのセンサによって検出されたピクチャに対する較正については、上述したように、較正点も、正しく較正されないことがある。詳細はここに記載されない。
加えて、手動較正の効率は低い。空間較正では、手動較正が、複数の較正点で行われる必要があり、較正手順では、検出される領域が利用可能でない。これは、実際の動作を制限する。例えば、空間較正が、車両レーンに対して実行される必要があるならば、車両レーンは、手動較正中に半日または１日利用不能である。一般に，車両レーンスケジューリングでは、車両レーンがそのような長い時間にわたって占有されることは許容されない。この場合、検出情報の空間較正および融合を実施することができない。
結論として、異なるセンサの時間軸のアライメントは、現在、時刻同期システムによって制限されており、センサが同じ時刻同期システム内にないときには実施できない。現在、異なるセンサの空間座標系のアライメントは、手動較正の低効率および低精度によって制限されている。その結果、エラー(誤差)が検出情報の融合に生じ、融合が実施されるシナリオが限定される。
上記不利点に基づいて、この出願の実施形態が情報処理方法を提供する。検出情報が複数のセンサから得られるので、検出情報を用いることによって表示されたオブジェクトのフォーメーション情報(形成情報)が得られる。類似した特徴を有する標的フォーメーション情報に対してマッチングを行って、標的フォーメーション情報が、同じオブジェクトセットの検出情報であって、異なるセンサによって得られる検出情報であると決定する。従って、異なるセンサからの検出情報が融合される。
この出願のこの実施形態による方法は、実際には、同じ標的ブジェクトが異なるセンサによって検出されたピクチャにおいて手動で決定されるデバイス上でのプロセスの再現である。各センサは、複数の時点に対応する複数のピクチャを有し、各ピクチャ内に反映された標的オブジェクトの量および状態のような情報は、必ずしも同じではない。大量の情報を扱うとき，人間の目は、ピクチャ内の全ての詳細を直接キャプチャすることができず、全体的に異なるピクチャから同じ標的オブジェクトセットのピクチャを先ず識別することができるだけである。同じ標的オブジェクトセットについて、複数のピクチャが、異なるピクチャから決定される。この手順を標的ブジェクトセットのマッチングとも呼ぶ。
人間の目を通じて標的オブジェクトセットに対してマッチングを行うためには、抽象的な手順が必要とされる。ピクチャ中の標的オブジェクト間の位置関係のみが抽出され、ピクチャ中の他の詳細は省略される。従って、標的オブジェクトのフォーメーション情報は、ピクチャから抽出される。
フォーメーション情報をより明確に抽出する手順を記載するために、以下は、図２を参照した記述を提供する。図２は、この出願の一実施形態による標的ブジェクトのマッチングの概略図である。図２に示すように、カメラによって検出されるピクチャ、すなわち、検出情報Ａでは、５台の自動車が、数字「９」に類似する形状を形成する。レーダによって検出されるピクチャ、すなわち、検出情報Ｂにおいては、５つの標的オブジェクトも、「９」に類似する形状を形成する。この場合には、２つのピクチャにおいて、５つの標的オブジェクトのそれぞれのセットは、類似した位置特徴を有する、すなわち、類似したフォーメーション情報を有すると考えられてよい。２つのピクチャは、異なるセンサによって検出されたピクチャ中の同じ標的オブジェクトセットを反映していると考えられてよい。
標的ブジェクトセットは、マッチングを通じて得られる。次に、異なるセンサによって検出されたピクチャにおいて、標的オブジェクトセットにおける単一の標的オブジェクトの位置に基づいて、同じ単一の標的オブジェクトが決定されてよい。
図２に示すように、センサＡによって検出された検出情報Ａにおいて、フォーメーション「９」の底にある標的オブジェクトが、標的オブジェクトＡである。この場合、センサＢによって検出される検出情報Ｂにおいて、フォーメーション「９」の底にある標的オブジェクトＡ’および標的オブジェクトＡは、同じ標的オブジェクトであると考えられてよい。
例えば、センサＡは、カメラであってよく、センサＢは、レーダであってよい。前述の組み合わせに加えて、センサＡおよびセンサＢは、別の組み合わせであってよい。例えば、センサＡは、レーダであり、センサＢは、ＥＴＣセンサであり、あるいは、センサＡおよびセンサＢは、同じタイプのセンサ、例えば、レーダまたはカメラである。これは本明細書において限定されない。
この出願のこの実施形態では、センサの量が制限されない。センサＡおよびセンサＢに加えて、より多くの検出情報を得るために、より多くのセンサが使用されてよく、検出情報中の同じ標的オブジェクトが分析される。これは本明細書において限定されない。
前述は、人間が異なるセンサで検出されたピクチャにおいて同じ標的オブジェクトのピクチャをどのように決定するかを記載する。本発明のこの実施形態における解決策は、上述の着想をデバイスに適用することに関する。具体的には、本発明のこの実施形態における解決策は、主に以下のステップを含む。すなわち、１：異なるセンサから複数の検出情報を取得する。２：複数の検出情報に基づいて対応するフォーメーション情報を決定する。３：複数のフォーメーション情報に基づいて、類似した特徴を有する標的フォーメーション情報を決定する。４：標的フォーメーション情報中の標的オブジェクトのフォーメーション位置情報に基づいて、異なるセンサからの同じ標的オブジェクトの検出情報を融合する。
図３ａは、この出願の一実施形態による情報処理方法のシステムの概略図である。図３ａに示すように、システムは、検出システムであり、システムは、処理デバイスと、複数のセンサとを含む。センサＡおよびセンサＢが、一例として使用される。センサＡは、検出された検出情報Ａを処理デバイスに送信し、センサＢは、検出された検出情報Ｂを処理デバイスに送信する。処理デバイスは、検出情報Ａおよび検出情報Ｂに基づいて、標的オブジェクトの融合情報を得る。
この出願における検出システム内のデバイスは、固定接続状態を有してよく、あるいは固定接続状態を有しなくてよいことが留意されるべきである。データ伝送は、データ複製などの形態で実施される。センサおよび処理デバイスは、センサからの検出情報が処理デバイスに送信されることがあるならば、検出システムと呼ばれることがある。これは本明細書において限定されない。例えば、センサＡおよびセンサＢは、検出情報を別々に取得し、次に、所定時間期間内に検出情報Ａおよび検出情報Ｂを処理デバイスにコピーすることがある。処理デバイスは、検出情報Ａおよび検出情報Ｂを処理する。このモードは、オフライン処理と呼ばれることもある。
２つのセンサのみが図において一例として使用されていることが留意されるべきである。これは、この出願のこの実施形態および検出システムにおけるセンサの量に対する制限を構成しない。
図３ｂは、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図３（ｂ）に示すように、この出願のこの実施形態による情報処理方法は、主にマルチセンサシステムにおける情報融合のために使用される。マルチセンサシステムは、複数のセンサから検出情報を受信し、複数のセンサからの検出情報を融合することがある。検出情報は、自動料金収受システム（ＥＴＣ）センサを使用することによって取得されるナンバープレート、取引情報などであってよい。マルチセンサシステムは、ＥＴＣセンサからの上述の情報に加えて、カメラからのナンバープレートおよび車両モデル情報、ならびにレーダからの距離および速度情報のような、他のセンサからの他の検出情報をさらに取得することがある。これは本明細書において限定されない。
検出情報の融合は、この出願のこの実施形態による情報処理方法を用いて実現される。融合結果は、取引料金監査、現場外過負荷管理、および高速道路上の安全監視のような、複数のシナリオに適用されてよい。前述の高速道路シナリオに加えて、融合結果は、他のシナリオ、例えば、ホログラフィック交差点、車両合流警告、市街地交差点での歩行者警告、または閉鎖道路での侵入検出または自動駐車にさらに適用されてよい。これは本明細書において限定されない。
１．この出願の一実施形態による情報処理方法
次に、図３ａに示す検出システムに基づいて、以下は、図４を参照してこの出願のこの実施形態に示す情報処理方法の各ステップを詳細に記載する。図４は、この出願の一実施形態による情報処理方法の概略フローチャートである。この方法は、以下のステップを含む。
４０１：センサＡから検出情報Ａを取得する。
任意に、センサＡによって取得される検出情報Ａは、位置特徴セットを含むことがある。位置特徴セットは、複数の位置特徴を含み、位置特徴は、センサＡによって検出されたオブジェクトとオブジェクトの周囲のオブジェクトとの間の位置関係を示す。例えば、センサＡがカメラであるとき、検出情報は、画素を含むピクチャであり、位置特徴は、画素間の距離であることがある。位置特徴は、画素間の左右関係または前後関係のような、画素間距離以外の他の形態で表わされることもある。これは本明細書において限定されない。
この出願のこの実施形態において、センサＡは、カメラ以外の別のタイプのセンサ、例えば、レーダまたは自動料金収受（ＥＴＣ）システムセンサであってよい。これは本明細書において限定されない。異なるタイプのセンサが、対応する位置特徴を提供する。例えば、レーダによって検出された位置特徴は、オブジェクト間の距離、オブジェクト間の方向などとして表わされることがある。ＥＴＣセンサによって検出された位置特徴は、車両の車線情報、時系列(時間シーケンス)(time sequence)関係などとして表されることがある。これは本明細書において限定されない。
４０２：センサＢから検出情報Ｂを取得する。
任意に、センサＢによって取得された検出情報Ｂは、位置特徴セットを含むこともある。センサＢ、検出情報Ｂ、および位置特徴の記述について、ステップ４０１におけるセンサＡ、検出情報Ａ、および位置特徴の記述を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態において、センサＡおよびセンサＢは、同じタイプのセンサであってよく、あるいは異なるタイプのセンサであってよいことが留意されるべきである。例えば、センサＡおよびセンサＢは、異なる角度にあるカメラであってよく、あるいは異なるレーダであってよい。代替的に、センサＡは、カメラまたはレーダであってよく、センサＢは、ＥＴＣセンサであってよい。これは本明細書において限定されない。
この出願のこの実施形態におけるセンサの量は、２個に限定されず、センサの量は、２以上の任意の整数であってよいことが留意されるべきである。これは本明細書において限定されない。センサＡおよびセンサＢは、監視システムにおけるセンサの一例として使用される。検出システムがより多くのセンサを含むならば、これらのセンサの記述については、ステップ４０１におけるセンサＡの説明およびステップ４０２におけるセンサＢの記述を参照のこと。詳細はここでは再度記載されない。複数のセンサのタイプは、限定されない。センサは、同じタイプのセンサであってよく、あるいは異なるタイプのセンサであってよい。これは本明細書において限定されない。
４０３：検出情報Ａに基づいてフォーメーション情報Ａ(formation information)を決定する。
検出情報Ａを取得した後に、処理デバイスは、検出情報Ａに基づいてフォーメーション情報Ａを決定してよく、フォーメーション情報Ａは、センサＡによって検出されたオブジェクト間の位置関係を示す。
任意に、検出情報Ａが位置特徴セットを含むならば、処理デバイスは、位置特徴セットに基づいてフォーメーション情報Ａを決定してよい。具体的には、位置特徴セットに基づいてフォーメーション情報Ａを得るための複数の方法あり、取得されるフォーメーション情報Ａは異なる。フォーメーション情報Ａを得るための異なる方法をより明確に記載するために、これらの方法は、以下の実施形態においてカテゴリ別に記載される。具体的な手順については、図７～図１７に示す実施形態を参照のこと。詳細はここでは再度記載されない。
４０４：検出情報Ｂに基づいてフォーメーション情報Ｂを決定する。
検出情報Ｂを取得した後に、処理デバイスは、検出情報Ｂに基づいてフォーメーション情報Ｂを決定してよく、フォーメーション情報Ｂは、センサＢによって検出されたオブジェクト間の位置関係を示す。具体的には、オブジェクト間の位置関係は、オブジェクト間の左右位置関係またはオブジェクト間の前後位置関係のうち少なくとも１つを含んでよい。
任意に、検出情報Ｂが位置特徴セットを含むならば、処理デバイスは、位置特徴セットに基づいてフォーメーション情報Ｂを決定してよい。具体的には、フォーメーション情報は、線描画方法または画像特徴マッチング方法のような方法を用いて決定されてよい。フォーメーション情報Ｂを取得する手順については、ステップ４０３においてフォーメーション情報Ａを取得する手順を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態において、ステップ４０１とステップ４０２との間に必要なシーケンスはない。具体的には、ステップ４０１は、ステップ４０２の前または後に実行されてよく、あるいは、ステップ４０１およびステップ４０２は、同時に実行されてよい。これは本明細書において限定されない。ステップ４０３とステップ４０４との間に必要なシーケンスはない。具体的には、ステップ４０３は、ステップ４０４の前または後に実行されてよく、あるいは、ステップ４０３およびステップ４０４は、同時に実行されてよく、ただし、ステップ４０３がステップ４０１の後に実行され、ステップ４０４がステップ４０２の後に実行される。これは本明細書において限定されない。
この出願のこの実施形態では、検出情報がより多くのセンサからの得られるならば、対応するフォーメーション情報も、取得された検出情報に基づいて決定される必要がある。対応フォーメーション情報を決定する手順については、ステップ４０３およびステップ４０４の記述を参照のこと。詳細はここでは再度記載されない。
４０５：フォーメーション情報Ａおよびフォーメーション情報Ｂに基づいて標的フォーメーション情報を決定する。
フォーメーション情報Ａおよびフォーメーション情報Ｂが取得された後に、標的フォーメーション情報が、フォーメーション情報Ａおよびフォーメーション情報Ｂに基づいて決定されてよい。標的フォーメーション情報とフォーメーション情報Ａとの間の一致度(matching degree)および標的フォーメーション情報とフォーメーション情報Ｂとの間の一致度は、両方とも予め設定された閾値よりも大きい。標的フォーメーション情報は、フォーメーション情報Ａおよびフォーメーション情報Ｂにあり、かつ同じ標的ブジェクトセットに関する、フォーメーション情報を表す。
この出願のこの実施形態において、フォーメーション情報は、複数の形態で表されてよく、一致度を決定する標準(standards)は厳密に同じでない。異なるフォーメーション情報の取得手順および処理方法をより明確に記載するために、詳細な説明が、図７～図１７の実施形態を参照して引き続き提供される。詳細はここでは再度記載されない。
４０６：標的フォーメーション情報における標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合する。
フォーメーション情報は、標的ブジェクトのフォーメーション位置情報を含み、標的ブジェクトセットにおける標的ブジェクトの特定の位置を示す。従って、同じ標的オブジェクトに対応しかつ異なるセンサからの検出情報内にある標的が、標的オブジェクトのフォーメーション位置情報に基づいて決定されることがあり、複数の対応する標的の検出情報は、融合される。
この出願のこの実施形態において、センサによって検出されたオブジェクトのフォーメーション情報は、異なるセンサからの検出情報に基づいて別々に決定される。標的フォーメーション情報は、標的フォーメーション情報と各フォーメーション情報との間の一致度に基づいて決定されるので、標的オブジェクトは決定される。標的フォーメーション情報は、異なるセンサによって検出されかつ類似の特徴を有するフォーメーション情報であり、異なるセンサによって検出されかつ同じ標的オブジェクトのものである情報を反映するので、任意のオブジェクトのものでありかつ異なるセンサによって得られる検出結果の間の、標的フォーメーション情報内に反映される対応が、標的フォーメーション情報に基づいて決定されることがある。同じオブジェクトのものでありかつ異なるセンサによって得られる検出結果は、その対応に基づいて融合されてよい。この出願のこの実施形態において使用される方法は、手動較正方法と比較して、フォーメーション情報に基づいて融合検出情報を取得し、融合検出情報を取得する効率を大幅に向上させる。
加えて、情報収集に関して、この出願のこの実施形態における方法は、測定されるフィールドを占有することなく、異なるセンサからの検出情報のみを必要とする。従って、検出情報の融合の適用性が拡大される。
任意に、ステップ４０３およびステップ４０４において、対応するフォーメーション情報は、位置特徴セットに基づいて決定されてよい。ステップ４０５において、標的フォーメーション情報は、複数のフォーメーション情報に基づいて決定される必要がある。この出願のこの実施形態において、位置特徴セットは、異なる形態を有し、フォーメーション情報を決定する多くの方法があり、主に線描画方法および画像特徴マッチング方法を含む。以下は、カテゴリ別に方法を記載する。
この出願のこの実施形態において、フォーメーション情報は、３つのタイプの情報、すなわち、１：オブジェクト間の水平方向の相対位置関係、例えば、オブジェクト間の左右の位置関係または左右の距離、２：オブジェクト間の垂直方向の相対位置関係、例えば、オブジェクト間の前後の位置関係または前後の距離、３：オブジェクトの特徴、長さ、幅、高さ、および形状を含むことがある。
図５は、この出願の一実施形態による情報処理方法の特徴の概略図である。図５に示すように、フォーメーション情報は、車両間の前後距離および左右距離を含むことがあり、各車両の情報、例えば、所領モデルおよびナンバープレート番号のような情報を含むことがある。これは本明細書において限定されない。
図５では、道路上の車両のみが例として用いられることが留意されるべきである。これはセンサによって検出されるオブジェクトに対する限定を構成しない。センサは、別のオブジェクト、例えば、歩行者または障害物を検出するようにさらに構成されてよい。これは本明細書において限定されない。
１：線描画方法(Line drawing method)
人間について、フォーメーション情報は、完全な形状、例えば、図２に示す実施形態における形状「９」として表される。デバイスにとって、形状または画像を処理する効率は、数字を処理する効率ほど高くない。フォーメーション情報を連続的または離散的な数字の形態において提示することによって、データ処理効率を大幅に向上させることができる。
完全な形状特徴(shape feature)は、線描画方法を使用することによって数字特徴(number feature)に変換されることができる。異なるセンサによって検出されるピクチャでは、基準線(reference line)が描かれる。オブジェクトが基準線に接触する時系列および位置のような情報が得られるので、形状特徴は、数字特徴に変換されることがあり、それによって、処理デバイスの演算処理が容易にする。
この出願のこの実施形態では、オブジェクトが基準線に接触する情報を線接触(line touch)情報とも呼ぶ。線接触情報は、オブジェクトが基準線に接触する時系列情報、接触点区画(touch point partition)情報、接触点位置(touch point position)情報、接触時間間隔(touch time interval)情報を含むことがある。これは本明細書において限定されない。
時系列情報は、センサによって検出されたオブジェクトが基準線に接触する時系列(時間シーケンス)を示し、オブジェクト間の前後関係を反映する。
接触点区画情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報(partition information)を示す。図６は、この出願の一実施形態による線描画方法の概略図である。道路上では、基準線は、異なる車線(lanes)に基づいて区画に分割されることがある。例えば、図において、車線１は、区画１であり、車線２は、区画２であり、車線３は、区画３である。
接触点位置情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の位置情報を示す。例えば、図６において、車線１内の第１の車両は、基準線の左終点から１．５メートル離れており、車線３上の第１の車両は、基準線の左終点から７．５メートル離れている。
接触時間間隔情報は、オブジェクトが基準線に接触する時間間隔を示す。
３つのタイプのフォーメーション情報において、接触点区画情報および接触点位置情報は、オブジェクト間の水平方向の相対位置関係に分類されることがあり、時系列情報および接触時間間隔情報は、オブジェクト間の垂直方向の相対位置関係に分類されることがある。
前述の情報に基づいて標的フォーメーション情報を得るための複数の方法がある。以下は、カテゴリ別に方法を記載する。
（１）時系列情報および接触点区画情報に基づいて第１の部分列(サブシーケンス)(subsequence)を決定する。
図７は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下のステップを含む。
７０１：センサＡ（カメラ）から検出情報Ａを取得する。
カメラは、一例として使用される。センサＡがカメラであるとき、検出情報は、画素を含むピクチャであり、位置特徴セットにおける位置特徴は、画素間の距離であることがある。位置特徴は、画素間の左右関係または前後関係のような、画素間の距離以外の別の形態において表されることもある。これは本細書において限定されない。
この出願のこの実施形態において、センサＡは、カメラ以外の別のタイプのセンサ、例えば、レーダまたはＥＴＣセンサであってよい。これは本明細書において限定されない。異なるタイプのセンサは、対応する位置特徴を提供する。例えば、レーダによって検出される位置特徴は、オブジェクト間の距離、オブジェクト間の方向などとして表されることがある。ＥＴＣセンサによって検出される位置特徴は、車両の車線情報、時系列関係などとして表されることがある。これは本明細書において限定されない。
７０２：センサＢ（レーダ）から検出情報Ｂを取得する。
レーダは、一例として使用される。センサＢがレーダであるとき、検出情報は、検出範囲内でレーダによって検出されるオブジェクトのピクチャであり、位置特徴セットにおける位置特徴は、オブジェクト間の距離であることがある。位置特徴は、オブジェクト間の左右関係または前後関係のような、オブジェクト間の距離以外の別の形態において表されることがある。これは本明細書において限定されない。
この出願のこの実施形態において、センサＢは、レーダ以外の別のタイプのセンサ、例えば、カメラまたはＥＴＣセンサであってよい。これは本明細書において限定されない。異なるタイプのセンサは、対応する位置特徴を提供する。これは本明細書において限定されない。
この出願のこの実施形態において、センサＡおよびセンサＢは、センサの単なる例である。これはセンサのタイプおよび量に対する制限を構成しない。
７０３：検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触点区画情報Ａを取得する。
検出情報Ａは、画素を含むピクチャであり、線接触情報は、オブジェクト画素が基準線に接触する情報である。従って、処理デバイスは、検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触点区画情報Ａを取得することがある。
図８は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図８に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ａを示す。接触点区画情報の行は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報、すなわち、接触点区画情報Ａを示し、ここで、１は、車線１を示し、３は、車線３を示す。
７０４：検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂおよび接触点区画情報Ｂを取得する。
検出情報Ｂは、検出範囲内でレーダによって検出されるオブジェクトのピクチャであり、線接触情報は、オブジェクトが基準線に接触する情報である。従って、処理デバイスは、検出情報Ｂに基づいて、オブジェクトが基準線に接触した時系列情報Ｂおよび接触点区画情報Ｂを取得することがある。図８に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ｂを示す。接触点区画情報の行は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報、すなわち、接触点区画情報Ｂを示し、ここで、１は、車線１を示し、３は、車線３を示す。
この出願のこの実施形態では、ステップ７０１とステップ７０２との間に必要なシーケンスはない。ステップ７０１は、ステップ７０２の前または後に実行されてよく、あるいは、ステップ７０１およびステップ７０２は、同時に実行されてよい。これは本明細書において限定されない。ステップ７０３とステップ７０４との間に必要なシーケンスはない。ステップ７０３は、ステップ７０４の前または後に実行されてよく、あるいは、ステップ７０３およびステップ７０４は、同時に実行されてよい。ただし、ステップ７０３は、ステップ７０１の後に実行され、ステップ７０４は、ステップ７０２の後に実行される。これは本明細書において限定されない。
７０５：時系列情報Ａおよび接触点区画情報Ａに基づいて、接触区画シーケンスＡを取得する。
図８に示すように、時系列情報Ａに基づいて、接触点区画情報Ａを時系列に基づいて配置して、接触区画シーケンスＡを取得してよい。
７０６：時系列情報Ｂおよび接触点区画情報Ｂに基づいて、接触区画シーケンスＢを取得する。
図８に示すように、時系列情報Ｂに基づいて、接触点区画情報Ｂを時系列に基づいて配置して、接触区画シーケンスＢを取得してよい。
この出願のこの実施形態では、ステップ７０５とステップ７０６との間に必要なシーケンスはない。ステップ７０５は、ステップ７０６の前または後に実行されてよく、あるいは、ステップ７０５およびステップ７０６は、同時に実行されてよい。ただし、ステップ７０５は、ステップ７０３の後に実行され、ステップ７０６は、ステップ７０４の後に実行される。これは本明細書において限定されない。
７０７：接触区画シーケンスＡおよび接触区画シーケンスＢに基づいて第１の部分列を取得する。
接触区画シーケンスＡおよび接触区画シーケンスＢは、本質的に２つの数字シーケンス(数列)である。処理デバイスは、２つの数字シーケンスを比較してよい。２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むことを発見するときに、処理デバイスは、そのシーケンスセグメントが２つのシーケンスの共通部分であると考えることがある。この出願のこの実施形態において、シーケンスセグメントは、第１の部分列とも呼ばれる。接触区画シーケンスは、センサによって検出されるオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むとき、それは２つの数字シーケンスにおけるセグメントに対応するオブジェクトセットが同じ位置関係を有する、すなわち、同じフォーメーション情報を有することを示す。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサが同じオブジェクトセットを検出すると考えられてよい。
この出願のこの実施形態において、第１の部分列は、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出される同じまたは類似のフォーメーション情報を表現する。
具体的には、センサは特定の検出漏れ率を有するので、第１の部分列と接触区画シーケンスＡとの間の一致度および第１の部分列と接触区画シーケンスＢとの間の一致度が、両方とも第１の閾値よりも大きいならば、第１の部分列が接触区画シーケンスＡおよび接触区画シーケンスＢにおけるセグメントと完全に一致することは、必要とされない。この出願のこの実施形態において、一致度は、類似度とも呼ばれる。具体的には、第１の閾値は、９０％であってよい。第１の閾値は、９０％以外の別の値、例えば、９５％または９９％であってよい。これは本明細書において限定されない。
例えば、図８に示す接触区画シーケンスＡおよび接触区画シーケンスＢは、両方ともシーケンスセグメント（３、３、１、３、１）を含む。処理デバイスは、このセグメントを第１の部分列として使用することがある。この場合、第１の部分列と接触区画シーケンスＡとの間の一致度および第１の部分列と接触区画シーケンスＢとの間の一致度は、両方とも１００％である。
任意に、第１の部分列は、ＬＣＳアルゴリズムを使用することによって決定されてよい。この出願のこの実施形態では、複数の接触区画シーケンスにおける同じ位置特徴のマッチングを実施するために、複数の接触区画シーケンスの全ての共通シーケンスが、ＬＣＳアルゴリズムを使用することによって取得されてよい。最長の共通部分列は、ＬＣＳアルゴリズムを使用することによって計算されるので、ＬＣＳアルゴリズムを使用することによって計算される第１の部分列は、前述の複数の接触区画シーケンスとの一致度が第１の閾値より大きい、部分列内の最長の部分列を含むことがある。
この出願のこの実施形態では、接触区画シーケンスのものでありかつ同じ位置特徴を有する全てのセグメントを、マッチングを通じて取得するために、複数の接触区画シーケンスの全ての共通シーケンスが、ＬＣＳアルゴリズムを使用することによって決定されてよい。複数のセグメントが共通シーケンスであり、幾つかの非共通シーケンスが共通シーケンスに含まれるならば、共通シーケンスに含まれる非共通シーケンスは特定されることがある。非共通シーケンスは、異なるセンサにおける異なる位置関係を反映する。この場合には、センサの誤検出または検出漏れに起因して、非共通シーケンスが共通シーケンスに含まれることが考えられることがある。従って、フォールトトレランス(fault tolerance)が、非共通シーケンスに対して実行される、すなわち、非共通シーケンスは、検出情報の融合を実現するために、異なるセンサによって検出される標的オブジェクトに対応することが許容される。
この出願のこの実施形態では、ＬＣＳアルゴリズムを使用することによって決定される第１の部分列は、前述の複数の接触区画シーケンスとの一致度が第１の閾値よりも大きい部分列内の最長の部分列を含むことがある。標的ブジェクト間の位置関係は、時折、類似することがある。従って、決定された部分列のより長い長さは、類似の位置関係を有する可能性がより低いことを示し、その結果、不測の事態が、より容易に回避されることがある。最長の部分列はＬＣＳアルゴリズムを使用することによって決定されるので、同じ標的オブジェクトセットの標的フォーメーション情報が正確に決定されることがある。
例えば、２つの標的ブジェクト間の位置関係は、時折、類似することがある。しかしながら、１０個の標的オブジェクトの位置関係が高い一致度を有するように標準が改良されるならば、１０個の標的オブジェクトが類似の位置関係を有する可能性は、２個の標的オブジェクトが類似の位置関係を有する可能性よりも大幅により低い。従って、１０個の標的オブジェクトの第１の部分列がＬＣＳアルゴリズムを使用することによって決定されるならば、１０個の標的オブジェクトが異なるセンサによって取得される検出結果に対応する同じ１０個の標的オブジェクトである可能性はより高く、不一致の可能性は低減される。
７０８：第１の部分列における標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合する。
第１の部分列は、複数の接触点区画情報を含む。第１の部分列における接触点区画情報の各々に対応するデータは、接触区画シーケンスＡおよび接触区画シーケンスＢにおいて発見されることがある。例えば、接触区画シーケンスＡにおけるシーケンス数字４を持つ接触区画情報について、標的オブジェクトの接触区画情報は、３であり、標的オブジェクトの前／後の別の標的オブジェクトの接触区画情報は、１である。
この出願のこの実施形態では、接触区画シーケンスまたは第１の部分列における単一の接触点区画情報をフォーメーション位置情報とも呼び、それは標的オブジェクトセットにおける単一の標的オブジェクトの位置を示す。
この出願のこの実施形態では、標的オブジェクトの区画情報を標的オブジェクトの特徴と呼び、標的オブジェクトの前／後または付近の別の標的オブジェクトの区画情報を周囲特徴と呼ぶ。周囲特徴は、標的オブジェクトの前／後の別の標的オブジェクトの接触点区画情報以外に、より近くの標的オブジェクトの接触点区画情報を含むこともある。これは本明細書において限定されない。
接触区画シーケンスＢでは、標的オブジェクトの同じ特徴および同じ周囲情報を持つ接触点区画情報、すなわち、シーケンス番号１３を持つ接触点区画情報が発見されることがある。２つの接触点区画情報は、第１の部分列にあり、標的オブジェクトの同じ特徴および同じ周囲特徴を有し、２つの接触点区画情報は同じオブジェクトを反映していると考えられることがある。従って、処理デバイスは、シーケンス番号４に対応する検出情報とシーケンス番号１３に対応する検出情報とを融合させて、標的オブジェクトの融合情報を取得することがある。
例えば、接触区画シーケンスＡに対応するカメラが、シーケンス番号４に対応するオブジェクトの大きさおよび形状のような外観情報を検出することがある。車両について、シーケンス番号４に対応する車両のモデル、色、ナンバープレートのような情報が検出されることがある。接触区画シーケンスＢに対応するレーダは、シーケンス番号１３に対応するオブジェクトの移動速度のような情報を検出することがある。車両について、シーケンス番号１３に対応する車両の速度および加速度のような情報が検出されることがある。処理デバイスは、モデル、色、およびナンバープレートのような前述の情報と、車両の速度および加速度のような情報とを融合させて、車両の融合情報を取得することがある。
この出願のこの実施形態において、時系列情報は、異なる標的オブジェクトが基準線に接触する時系列を示し、接触点区画情報は、異なる標的オブジェクトが基準線に接触する左右関係を示す。時系列を示す時系列情報および左右関係を示す接触点区画情報を使用することによって、複数の標的オブジェクトが基準線に接触する位置の関係が、接触区画シーケンスに反映される。時系列情報および接触点区画情報は、両方とも特定の値であるため、接触区画シーケンスは、標的オブジェクト間の位置関係を反映する値のセットである。異なるセンサからの検出情報に基づいて，対応する接触区画シーケンスが取得される。複数の取得される接触区画シーケンスは、複数の値セットである。値セット間の一致度が予め設定された閾値を満たすことを決定するためには、対応する値間の比較のみを必要とし、複雑な演算はない。従って、標的フォーメーション情報を決定するためにマッチングを実行する効率が向上する。
この出願のこの実施形態において、標的フォーメーション情報は、時系列情報および接触点区画情報に基づいて決定される。代替的に、標的フォーメーション情報は、時系列情報および接触時間間隔情報に基づいてさらに決定されることがある。
（２）時系列情報および接触時間間隔情報に基づいて第２の部分列を決定する。
図９は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下のステップを含む。
９０１：センサＡ（カメラ）から検出情報Ａを取得する。
９０２：センサＢ（レーダ）から検出情報Ｂを取得する。
ステップ９０１およびステップ９０２の記述については、図７に示す実施形態におけるステップ７０１およびステップ７０２を参照のこと。詳細はここでは再度記載されない。
９０３：検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触時間間隔情報Ａを取得する。
検出情報Ａは、画素を含むピクチャであり、線接触情報は、オブジェクト画素が基準線に接触する情報である。従って、処理デバイスは、検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触時間間隔情報Ａを取得することがある。
図１０は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１０に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ａを示す。接触時間間隔情報の行は、オブジェクトが基準線に接触する時間と前のオブジェクトが基準線に接触した時間との間の差、すなわち、接触時間間隔情報Ａを示し、ここで、接触時間間隔情報は、秒単位である。接触時間間隔情報は、秒単位以外のミリ秒単位であってもよい。これは本明細書において限定されない。
９０４：検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂおよび接触時間間隔情報Ｂを取得する。
検出情報Ｂは、検出範囲内でレーダによって検出されたオブジェクトのピクチャであり、線接触情報は、オブジェクトが基準線に接触する情報である。従って、処理デバイスは、検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂおよび接触時間間隔情報Ｂを取得することがある。
図１０に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ｂを示す。接触時間間隔情報の行は、オブジェクトが基準線に接触する時間と前のオブジェクトが基準線に接触した時間との間の差、すなわち、接触時間間隔情報Ｂが示し、ここで、接触時間間隔情報は、秒単位で示される。接触時間間隔情報は、秒単位以外のミリ秒単位であってもよい。これは本明細書において限定されない。
この出願のこの実施形態では、ステップ９０１とステップ９０２との間に必要なシーケンスはない。ステップ９０１は、ステップ９０２の前または後に実行されてよく、あるいは、ステップ９０１およびステップ９０２は、同時に実行されてよい。これは本明細書において限定されない。ステップ９０３とステップ９０４との間に必要なシーケンスはない。ステップ９０３は、ステップ９０４の前または後に実行されてもよく、ステップ９０３およびステップ９０４は、同時に実行されてよい。ただし、ステップ９０３は、ステップ９０１の後に実行され、ステップ９０４は、ステップ９０２の後に実行される。これは本明細書において限定されない。
９０５：時系列情報Ａおよび接触時間間隔情報Ａに基づいて、接触間隔シーケンスＡを取得する。
図１０に示すように、時系列情報Ａに基づいて、接触時間間隔情報Ａを時系列に基づいて配置して、接触間隔シーケンスＡを取得してよい。
９０６：時系列情報Ｂおよび接触時間間隔情報Ｂに基づいて、接触間隔シーケンスＢを取得する。
図１０に示すように、時系列情報Ｂに基づいて、接触時間間隔情報Ｂを時系列に基づいて配置して、接触間隔シーケンスＢを取得してよい。
この出願のこの実施形態では、ステップ９０５とステップ９０６との間に必要なシーケンスはない。ステップ９０５は、ステップ９０６の前または後に実行されてよく、あるいは、ステップ９０５およびステップ９０６は、同時に実行されてよい。ただし、ステップ９０５は、ステップ９０３の後に実行され、ステップ９０６は、ステップ９０４の後に実行される。これは本明細書において限定されない。
９０７：接触間隔シーケンスＡおよび接触間隔シーケンスＢに基づいて、第２の部分列を取得する。
接触間隔シーケンスＡおよび接触間隔シーケンスＢは、本質的に２つの数字シーケンスである。処理デバイスは、２つの数字シーケンスを比較することがある。２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むことを発見すると、処理デバイスは、そのシーケンスセグメントが２つのシーケンスの共通部分であると考えることがある。この出願のこの実施形態では、シーケンスセグメントを第２の部分列とも呼ぶ。接触間隔シーケンスは、センサによって検出されたオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むとき、それは２つの数字シーケンス内のセグメントに対応するオブジェクトセットが同じ位置関係、すなわち、同じフォーメーション情報を有することを示す。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサが同じオブジェクトセットを検出すると考えられることがある。
この出願のこの実施形態において、第２の部分列は、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出された同じまたは類似のフォーメーション情報を表す。
具体的には、センサは特定の検出漏れ率を有するので、第２の部分列と接触間隔シーケンスＡとの間の一致度および第２の部分列と接触間隔シーケンスＢとの間の一致度が、両方とも第２の閾値より大きいならば、第２の部分列が接触間隔シーケンスＡおよび接触間隔シーケンスＢ内のセグメントと完全に一致することは必要とされない。この出願のこの実施形態では、一致度を類似度とも呼ぶ。具体的には、第２の閾値は、９０％であってよい。第２の閾値は、９０％以外の値、例えば、９５％または９９％であってよい。これは本明細書において限定されない。
例えば、図１０に示す接触間隔シーケンスＡおよび接触間隔シーケンスＢは、両方ともシーケンスセグメント（２．０ｓ，０．３ｓ，１．９ｓ，０．４ｓ）を含む。処理デバイスは、セグメントを第２の部分列として使用することがある。この場合、第２の部分列と接触間隔シーケンスＡとの間の一致度および第２の部分列と接触間隔シーケンスＢとの間の一致度は、両方とも１００％である。
任意に、第２の部分列は、ＬＣＳアルゴリズムを使用することによって決定されてよい。この出願のこの実施形態では、複数の接触間隔シーケンスにおける同じ位置特徴のマッチングを実施するために、複数の接触間隔シーケンスの全ての共通シーケンスは、ＬＣＳアルゴリズムを使用することによって取得されることがある。最長の共通部分列は、ＬＣＳアルゴリズムを使用することによって計算されるので、ＬＣＳアルゴリズムを使用することによって計算される第２の部分列は、前述の複数の接触間隔シーケンスとの一致度が第２の閾値よりも大きい部分列における最長の部分列を含むことがある。
この出願のこの実施形態では、接触間隔シーケンスのものでありかつ同じ位置特徴を有する全てのセグメントを、マッチングを通じて取得するために、複数の接触間隔シーケンスの全ての共通シーケンスは、ＬＣＳアルゴリズムを使用することによって決定されることがある。複数のセグメントが共通シーケンスであり、幾つかの非共通シーケンスが共通シーケンスに含まれるならば、共通シーケンスに含まれる非共通シーケンスが特定されることがある。非共通シーケンスは、異なるセンサにおける異なる位置関係を反映する。この場合には、センサの誤検出または検出漏れの故に、非共通シーケンスが共通シーケンスに含まれることが考えられることがある。従って、フォールトトレランスが、非共通シーケンスに対して実行される、すなわち、非共通シーケンスは、検出情報の融合を実現するために、異なるセンサによって検出された標的オブジェクトに対応することが許容される。
この出願のこの実施形態において、ＬＣＳアルゴリズムを使用することによって決定される第２の部分列は、複数の接触間隔シーケンスとの一致度が第２の閾値よりも大きい部分列内の最長の部分列を含むことがある。標的ブジェクト間の位置関係は、時折、類似する。従って、決定された部分列の最も長い長さは、類似の位置関係を有するより低い可能性を示し、その結果、不測の事態が、より容易に回避されることがある。最長の部分列は、ＬＣＳアルゴリズムを使用することによって決定されるので、同じ標的オブジェクトセットの標的フォーメーション情報が、正確に決定されることがある。
例えば、２つの標的ブジェクト間の位置関係が、時折、類似することがある。しかしながら、１０個の標的オブジェクトの位置関係が高い一致度を有するように標準が改良されるならば、１０個の標的オブジェクトが類似の位置関係を有する可能性は、２個の標的オブジェクトが類似の位置関係を有する可能性よりも大幅により低い。従って、１０個の標的オブジェクトの第１の部分列がＬＣＳアルゴリズムを使用することによって決定されるならば、１０個の標的オブジェクトが異なるセンサによって取得される検出結果に対応する同じ１０個の標的オブジェクトである可能性はより高く、不一致の可能性が低減される。
９０８：第２の部分列における標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合する。
第２の部分列は、複数の接触時間間隔情報を含む。第２の部分列における接触時間間隔情報の各々に対応するデータは、接触間隔シーケンスＡおよび接触間隔シーケンスＢ内に発見されることがある。例えば、接触間隔シーケンスＡにおけるシーケンス番号３を持つ接触時間間隔情報について、標的オブジェクトの接触時間間隔情報は、０．３ｓであり、標的オブジェクトの前／後の別の標的オブジェクトの接触時間間隔情報は、２．０ｓおよび１．９ｓである。
この出願のこの実施形態では、接触間隔シーケンスまたは第２の部分列における単一の接触時間間隔情報をフォーメーション位置情報とも呼び、それは標的オブジェクトセットにおける単一の標的オブジェクトの位置を示す。
この出願のこの実施形態では、標的オブジェクトの接触時間間隔情報を標的オブジェクトの特徴と呼び、標的オブジェクトの前／後または付近の別の標的オブジェクトの接触時間間隔情報を周囲特徴と呼ぶ。周囲特徴は、標的オブジェクトの前／後の別の標的オブジェクトの接触時間間隔情報以外に、より近くの標的オブジェクトの接触時間間隔情報を含むこともある。これは本明細書において限定されない。
接触間隔シーケンスＢでは、標的オブジェクトの同じ特徴および周囲特徴を持つ接触時間間隔情報、すなわち、シーケンス番号１２を持つ接触時間間隔情報が発見されることがある。２つの接触時間間隔情報は、第２の部分列にあり、標的オブジェクトの同じ特徴および同じ周囲特徴を有し、２つの接触時間間隔情報は、同じオブジェクトを反映すると考えられる。従って、処理デバイスは、シーケンス番号３に対応する検出情報とシーケンス番号１２に対応する検出情報とを融合させて、標的オブジェクトの融合情報を取得することがある。
例えば、接触区画シーケンスＡに対応するカメラが、シーケンス番号３に対応するオブジェクトの大きさおよび形状のような外観情報を検出することがある。車両について、シーケンス番号３に対応する車両のモデル、色、およびナンバープレートなどのような情報が検出されることがある。接触区画シーケンスＢに対応するレーダが、シーケンス番号１２に対応するオブジェクトの移動速度のような情報を検出することがある。車両について、シーケンス番号１２に対応する車両の速度および加速度のような情報が検出されることがある。処理デバイスは、モデル、色、ナンバープレートのような前述の情報と、車両の速度および加速度のような情報とを融合させて、車両の融合情報を取得することがある。
この出願のこの実施形態において、時系列情報は、異なる標的オブジェクトが基準線に接触する時系列を示し、接触時間間隔情報は、異なる標的オブジェクトが基準線に接触する時間間隔を示す。前記時系列を示す時系列情報および時間間隔を示す接触時間間隔情報を使用することによって、複数の標的オブジェクトが基準線に接触する位置の関係が、接触間隔シーケンスにおいて反映される。時系列情報および接触時間間隔情報は、両方とも特定の値であるので、接触時間間隔シーケンスは、標的オブジェクト間の位置関係を反映する値のセットである。対応する接触間隔シーケンスが、異なるセンサからの検出情報に基づいて取得される。取得される複数の接触間隔シーケンスは、複数の値セットである。値セット間の一致度が予め設定された閾値を満たすことを決定するために、対応する値間の比較のみを必要とし、複雑な演算はない。従って、標的フォーメーション情報を決定するためにマッチングを実行することの効率が向上する。
この出願のこの実施形態では、標的フォーメーション情報が、前述の２つの方法に基づいて決定される。代替的に、標的フォーメーション情報は、時系列情報および接触点位置情報に基づいてさらに決定されてよい。
（３）時系列情報および接触点位置情報に基づいて第３の部分列を決定する。
図１１は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下のステップを含む。
１１０１：センサＡ（カメラ）から検出情報Ａを取得する。
１１０２：センサＢ（レーダ）から検出情報Ｂを取得する。
ステップ１１０１およびステップ１１０２の記述については、図７に示す実施形態におけるステップ７０１およびステップ７０２を参照のこと。詳細はここでは再度記載されない。
１１０３：検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触点位置情報Ａを取得する。
検出情報Ａは、画素を含むピクチャであり、線接触情報は、オブジェクト画素が基準線に接触する情報である。従って、処理デバイスは、検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａおよび接触点位置情報Ａを取得することがある。接触点位置情報Ａは、基準線上の接触点の位置を示す。具体的には、接触点位置情報Ａは、異なるオブジェクトの接触点間の位置関係を示すことがあり、接触点間の左右関係を具体的に示して、オブジェクト間の左右関係を反映することがある。
任意に、オブジェクト間の左右の位置関係を反映するために、接触点位置情報Ａは、接触点と基準線上の基準点との間の距離を示してよい。接触点間の位置関係は、異なる接触点と基準点との間の距離によって反映される。この出願のこの実施形態では、接触点と基準線の左終端との間の距離が、一例として使用される。これは接触点位置情報に対する限定を構成しない。接触点位置情報は、接触点と基準線上の任意の点との間の位置関係を示してもよい。これは本明細書において限定されない。
図１２は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１２に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ａを示す。接触点位置情報の行は、オブジェクトが基準線に接触する接触点と基準線の左終端との間の距離、すなわち、接触点位置情報Ａを示す。この出願のこの実施形態において、接触点位置情報は、接触点と基準線上の任意の点との間の位置関係を示すことがある。これは本明細書において限定されない。
１１０４：検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂおよび接触点位置情報Ｂを取得する。
検出情報Ｂは、検出範囲内でレーダによって検出されるオブジェクトのピクチャであり、線接触情報は、オブジェクトが基準線に接触する情報である。従って、処理デバイスは、検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂおよび接触点位置情報Ｂを取得することがある。接触点位置情報Ｂの記述については、ステップ１１０３における接触点位置情報Ａの記述を参照のこと。詳細はここでは再度記載されない。
任意に、図１２に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ｂを示す。接触時間間隔情報の行は、オブジェクトが基準線に接触する接触点と基準線の左終端との間の距離、すなわち、接触点位置情報Ｂを示す。この出願のこの実施形態において、接触点位置情報は、接触点と基準線上の任意の点との間の位置関係を示して、異なる接触点間の位置関係を反映することがある。これは本明細書において限定されない。
この出願のこの実施形態では、ステップ１１０１とステップ１１０２との間に必要なシーケンスはない。ステップ１１０１は、ステップ１１０２の前または後に実行されてよく、あるいは、ステップ１１０１およびステップ１１０２は、同時に実行されてよい。これは本明細書において限定されない。ステップ１１０３とステップ１１０４との間に必要なシーケンスはない。ステップ１１０３は、ステップ１１０４の前または後に実行されてよく、あるいは、ステップ１１０３およびステップ１１０４は、同時に実行されてよい。ただし、ステップ１１０３は、ステップ１１０１の後に実行され、ステップ１１０４は、ステップ１１０２の後に実行される。これは本明細書において限定されない。
１１０５：時系列情報Ａおよび接触点位置情報Ａに基づいて、接触位置シーケンスＡを取得する。
図１２に示すように、時系列情報Ａに基づいて、接触点位置情報Ａを時系列に基づいて配置して、接触位置シーケンスＡを取得してよい。
１１０６：時系列情報Ｂおよび接触点位置情報Ｂに基づいて、接触位置シーケンスＢを取得する。
図１２に示すように、時系列情報Ｂに基づいて、接触点位置情報Ｂを時系列に基づいて配置して、接触位置シーケンスＢを取得してよい。
この出願のこの実施形態では、ステップ１１０５とステップ１１０６との間に必要なシーケンスはない。ステップ１１０５は、ステップ１１０６の前または後に実行されてよく、あるいは、ステップ１１０５および１１０６は、同時に実行されてよい。ただし、ステップ１１０５は、ステップ１１０３の後に実行され、ステップ１１０６は、ステップ１１０４の後に実行される。これは本明細書において限定されない。
１１０７：接触位置シーケンスＡおよび接触位置シーケンスＢに基づいて第３の部分列を取得する。
接触位置シーケンスＡおよび接触位置シーケンスＢは、本質的に２つの数字シーケンスである。処理デバイスは、２つの数字シーケンスを比較することがある。２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むことを発見すると、処理デバイスは、そのシーケンスセグメントが２つのシーケンスの共通部分であると考えることがある。この出願のこの実施形態では、シーケンスセグメントを第３の部分列とも呼ぶ。接触位置シーケンスは、センサによって検出されたオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むとき、それは２つの数字シーケンスにおけるセグメントに対応するオブジェクトセットが同じ位置関係を有する、すなわち、同じフォーメーション情報を有することを意味する。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサは同じオブジェクトセットを検出すると考えられてよい。
この出願のこの実施形態では、第３の部分列は、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出される同じまたは類似のフォーメーション情報を表す。
具体的には、センサは、特定の検出漏れ率を有するので、第３の部分列と接触位置シーケンスＡとの間の一致度および第３の部分列と接触位置シーケンスＢとの間の一致度が両方とも第３の閾値よりも大きいならば、第３の部分列が接触位置シーケンスＡおよび接触位置シーケンスＢにおけるセグメントと完全に一致することは必要とされない。この出願のこの実施形態では、一致度を類似度とも呼ぶ。具体的には、第３の閾値は、９０％であってよい。第３の閾値は、９０％以外の値、例えば、９５％または９９％であってよい。これは本明細書において限定されない。
例えば、図１２に示す接触位置シーケンスＡおよび接触位置シーケンスＢは、両方ともシーケンスセグメント（７．５ｍ、７．３ｍ、１．５ｍ、７．６ｍ、１．３ｍ）を含む。処理デバイスは、セグメントを第３の部分列として使用することがある。この場合、第３の部分列と接触位置シーケンスＡとの間の一致度および第３の部分列と接触位置シーケンスＢとの間の一致度は、両方とも１００％である。
任意に、第３の部分列は、ＬＣＳアルゴリズムを使用することによって決定されてよい。この出願のこの実施形態では、複数の接触位置シーケンスにおける同じ位置特徴のマッチングを実施するために、複数の接触位置シーケンスの全ての共通シーケンスが、ＬＣＳアルゴリズムを使用することによって取得されてよい。最長の共通部分列は、ＬＣＳアルゴリズムを使用することによって計算されるので、ＬＣＳアルゴリズムを使用することによって計算される第３の部分列は、前述の複数の接触位置シーケンスとの一致度が第２の閾値よりも大きい部分列における最長の部分列を含むことがある。
１１０８：第３の部分列における標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合する。
第３の部分列は、複数の接触点位置情報を含む。第３の部分列における接触点位置情報の各々に対応するデータが、接触位置シーケンスＡおよび接触位置シーケンスＢに発見されることがある。例えば、接触位置シーケンスＡにおけるシーケンス番号２を持つ接触点位置情報について、標的オブジェクトの接触点位置情報が、７．３ｍであり、標的オブジェクトの前／後の別の標的オブジェクトの接触点位置情報が、７．５ｍおよび１．５ｍである。
この出願のこの実施形態では、接触位置シーケンスまたは第３の部分列における単一の接触点位置情報をフォーメーション位置情報とも呼び、それは標的オブジェクト集合における単一の標的オブジェクトの位置を示す。
この出願のこの実施形態では、標的オブジェクトの接触点位置情報を標的オブジェクトの特徴と呼び、標的オブジェクトの前後または付近の別の標的オブジェクトの接触点位置情報を周囲特徴と呼ぶ。周囲特徴は、標的オブジェクトの前／後の別の標的オブジェクトの接触点位置情報以外に、より近くの標的オブジェクトの接触点位置情報を含むこともある。これは本明細書において限定されない。
接触位置シーケンスＢでは、標的オブジェクトの同じ特徴および同じ周囲特徴を持つ接触点位置情報、すなわち、シーケンス番号１１を持つ接触点位置情報が発見されることがある。２つの接触点位置情報は、第３の部分列にあり、標的オブジェクトの同じ特徴および同じ周囲特徴を有し、２つの接触点位置情報は同じオブジェクトを反映すると考えられることがある。従って、処理デバイスは、シーケンス番号２に対応する検出情報とシーケンス番号１１に対応する検出情報とを融合させて、標的オブジェクトの融合情報を取得することがある。
例えば、接触位置シーケンスＡに対応するカメラが、シーケンス番号２に対応するオブジェクトの大きさおよび形状のような外観情報を検出してよい。車両について、シーケンス番号２に対応する車両のモデル、色、およびナンバープレートのような情報が検出されてよい。接触位置シーケンスＢに対応するレーダが、シーケンス番号１１に対応するオブジェクトの移動速度のような情報を検出してよい。車両について、シーケンス番号１１に対応する車両の速度および加速度のような情報が検出されてよい。処理デバイスは、モデル、色、およびナンバープレートのような前述の情報を、車両の速度および加速度のような情報と融合させて、車両の融合情報を取得してよい。
この出願のこの実施形態では、接触間隔シーケンスのものでありかつ同じ位置特徴を有する全てのセグメントを、マッチングを通じて取得するために、複数の接触間隔シーケンスの全ての共通シーケンスが、ＬＣＳアルゴリズムを使用することによって決定されてよい。複数のセグメントが共通シーケンスであり、幾つかの非共通シーケンスが共通シーケンスに含まれるならば、共通シーケンスに含まれる非共通シーケンスは特定されることがある。非共通シーケンスは、異なるセンサにおける異なる位置関係を反映する。この場合、センサの誤検出または検出漏れの故に、非共通シーケンスが共通シーケンスに含まれることが考えられることがある。従って、フォールトトレランスが非共通シーケンスに対して実行される、すなわち、非共通シーケンスは、検出情報の融合を実現するために、異なるセンサによって検出された標的オブジェクトに対応することが許容される。
この出願のこの実施形態において、ＬＣＳアルゴリズムを使用することによって決定される第３の部分列は、前述の複数の接触位置シーケンスとの一致度が第３の閾値よりも大きい部分列内の最長の部分列を含むことがある。標的オブジェクト間の位置関係は、時折、類似することがある。従って、決定される部分列のより長い長さは、類似の位置関係を有するより低い可能性を示し、その結果、不測の事態が、より容易に回避されることがある。最長の部分列はＬＣＳアルゴリズムを使用することによって決定されるので、同じ標的オブジェクトセットの標的フォーメーション情報が正確に決定されることがある。
例えば、２つの標的ブジェクト間の位置関係は、時折、類似することがある。しかしながら、１０個の標的オブジェクトの位置関係が高い一致度を有するように標準が改良されるならば、１０個の標的オブジェクトが類似の位置関係を有する可能性は、２個の標的オブジェクトが類似の位置関係を有する可能性よりも大幅により低い。従って、１０個の標的オブジェクトの第１の部分列が、ＬＣＳアルゴリズムを使用することによって決定されるならば、１０個の標的オブジェクトが異なるセンサによって取得される検出結果に対応する１０個の標的オブジェクトである可能性が高く、不一致の可能性が低減される。
この出願のこの実施形態において、接触点位置情報は、異なる標的ブジェクトが基準線に接触する左右関係を示し、連続した値またはデータであることがある。従って、連続する値またはデータに基づいて、標的オブジェクトのフォーメーション情報は、別の非標的オブジェクトのフォーメーション情報からより正確に区別されることがある。従って、同じ標的オブジェクトの検出情報は、より正確に融合させられることがある。
加えて、標的ブジェクト間の運動傾向が、連続する値またはデータに基づいて分析または計算されることがある。運動傾向に加えて、他の情報、例えば、標的ブジェクトの移動軌跡が、さらに計算されてよい。これは本明細書において限定されない。
この出願のこの実施形態では、対応する部分列が決定される。部分列は、フォーメーションマッチングの精度を向上させるために組み合わされることもある。
（４）第１の部分列および第２の部分列に基づいて交差(intersection)を決定する。
図１３は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下を含む
１３０１：センサＡ（カメラ）から検出情報Ａを取得する。
１３０２：センサＢ（レーダ）から検出情報Ｂを取得する。
ステップ１３０１およびステップ１３０２の記載については、図７に示す実施形態におけるステップ７０１およびステップ７０２を参照のこと。詳細はここでは再度記載されない。
１３０３：検出情報Ａに基づいて、オブジェクト画素が基準線に接する時系列情報Ａ、接触点区画情報Ａ、および接触時間間隔情報Ａを取得する。
検出情報Ａは、画素を含むピクチャであり、線接触情報は、オブジェクト画素が基準線に接触する情報である。従って、処理デバイスは、検出情報Ａに基づいて、オブジェクト画素が基準線に接触する時系列情報Ａ、接触点区画情報Ａ、および接触時間間隔情報Ａを取得することがある。
図１４は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１４に示すように、シーケンス番号の行が、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ａを示す。接触点区画情報の行は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報、すなわち、接触点区画情報Ａを示し、ここで、１は、車線１を示し、３は、車線３を示す。接触時間間隔情報の行は、オブジェクトが基準線に接触する時間と前のオブジェクトが基準線に接触した時間との間の差、すなわち、接触時間間隔情報Ａを示し、ここで、接触時間間隔情報は、秒単位である。接触時間間隔情報は、秒単位以外のミリ秒単位であってもよい。これは本明細書において限定されない。
１３０４：検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂ、接触点区画情報Ｂ、および接触時間間隔情報Ｂを取得する。
検出情報Ｂは、検出範囲内でレーダによって検出されたオブジェクトのピクチャであり、線接触情報は、オブジェクトが基準線に接触する情報である。従って、処理デバイスは、検出情報Ｂに基づいて、オブジェクトが基準線に接触する時系列情報Ｂ、接触点区画情報Ｂ、および接触時間間隔情報Ｂを取得することがある。
図１４に示すように、シーケンス番号の行は、オブジェクトが基準線に接触するシーケンス、すなわち、時系列情報Ｂを示す。接触点区画情報の行は、基準線上にあるかつオブジェクトが基準線に接触する接触点の区画情報、すなわち、接触点区画情報Ｂを示し、ここで、１は、車線１であり、３は、車線３である。接触時間間隔情報の行は、オブジェクトが基準線に接触する時間と前のオブジェクトが基準線に接触した時間との間の差、すなわち、接触時間間隔情報Ｂを示し、ここで、接触時間間隔情報は、秒単位で示される。接触時間間隔情報は、秒単位以外のミリ秒単位であってもよい。これは本明細書において限定されない。
この出願のこの実施形態では、ステップ１３０１とステップ１３０２との間に必要なシーケンスはない。ステップ１３０１は、ステップ１３０２の前または後に実行されてよく、あるいは、ステップ１３０１およびステップ１３０２は、同時に実行されてよい。これは本明細書において限定されない。ステップ１３０３とステップ１３０４との間に必要なシーケンスはない。ステップ１３０３は、ステップ１３０４の前または後に実行されてよく、あるいは、ステップ１３０３およびステップ１３０４は、同時に実行されてよい。ただし、ステップ１３０３は、ステップ１３０１の後に実行され、ステップ１３０４は、ステップ１３０２の後に実行される。これは本明細書において限定されない。
１３０５：時系列情報Ａおよび接触点区画情報に基づいて接触区画シーケンスＡを取得し、時系列情報Ａおよび接触時間間隔情報Ａに基づいて接触間隔シーケンスＡを取得する。
処理デバイスが時系列情報Ａおよび接触点区画情報に基づいて接触区画シーケンスＡを取得するステップについては、図７に示す実施形態におけるステップ７０５を参照のこと。詳細はここでは再度記載されない。
処理デバイスが時系列情報Ａおよび接触時間間隔情報Ａに基づいて接触時間間隔シーケンスＡを取得するステップについては、図９に示す実施形態のステップ９０５を参照のこと。詳細はここでは再度記載されない。
１３０６：時系列情報Ｂおよび接触点区画情報に基づいて接触区画シーケンスＢを取得し、時系列情報Ｂおよび接触時間間隔情報Ｂに基づいて接触間隔シーケンスＢを取得する。
処理デバイスが時系列情報Ｂおよび接触点区画情報に基づいて接触区画シーケンスＢを取得するステップについては、図７に示す実施形態におけるステップ７０６を参照のこと。詳細はここでは再度記載されない。
処理デバイスが時系列情報Ｂおよび接触時間間隔情報Ｂに基づいて接触区画シーケンスＢを取得するステップについては、図９に示す実施形態におけるステップ９０６を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態では、ステップ１３０５とステップ１３０６との間に必要なシーケンスはない。ステップ１３０５は、ステップ１３０６の前または後に実行されてよく、あるいは、ステップ１３０５およびステップ１３０６は、同時に実行されてよい。ただし、ステップ１３０５は、ステップ１３０３の後に実行され、ステップ１３０６は、ステップ１３０４の後に実行される。これは本明細書において限定されない。
１３０７：接触区画シーケンスＡおよび接触区画シーケンスＢに基づいて第１の部分列を取得する。
接触区画シーケンスＡおよび接触区画シーケンスＢは、本質的に２つの数字シーケンスである。処理デバイスは、２つの数字シーケンスを比較することがある。２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むことを発見すると、処理デバイスは、そのシーケンスセグメントが２つのシーケンスの共通部分であると考えることがある。この出願のこの実施形態では、シーケンスセグメントを第１の部分列とも呼ぶ。接触区画シーケンスは、センサによって検出されるオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むとき、それは２つの数字シーケンスにおけるセグメントに対応するオブジェクトセットが同じ位置関係を有する、すなわち、同じフォーメーション情報を有することを示す。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサは同じオブジェクトセットを検出すると考えられることがある。
この出願のこの実施形態では、第１の部分列は、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出される同じまたは類似のフォーメーション情報を表現する。
具体的には、センサは特定の検出漏れ率を有するので、第１の部分列と接触区画シーケンスＡとの間の一致度および第１の部分列と接触区画シーケンスＢとの間の一致度が両方とも第１の閾値よりも大きいならば、第１の部分列が接触区画シーケンスＡおよび接触区画シーケンスＢにおけるセグメントと完全に一致することは必要とされない。この出願のこの実施形態では、一致度は類似度とも呼ぶ。具体的には、第１の閾値は、９０％であることがある。第１の閾値は、９０％以外の値、例えば、９５％または９９％であることがある。これは本明細書において限定されない。
例えば、図８に示す接触区画シーケンスＡおよび接触区画シーケンスＢは、両方ともシーケンスセグメント（３、３、１、３、１）を含む。処理デバイスは、セグメントを第１の部分列として使用することがある。この場合、第１の部分列と接触区画シーケンスＡとの間の一致度および第１の部分列と接触区画シーケンスＢとの間の一致度は、両方とも１００％である。
１３０８：接触間隔シーケンスＡおよび接触間隔シーケンスＢに基づいて第２の部分列を取得する。
接触間隔シーケンスＡおよび接触間隔シーケンスＢは、本質的に２つの数字シーケンスである。処理デバイスは、２つの数字シーケンスを比較することがある。２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むことを発見すると、処理デバイスは、そのシーケンスセグメントが２つのシーケンスの共通部分であると考えることある。この出願のこの実施形態では、シーケンスセグメントを第２の部分列とも呼ぶ。接触間隔シーケンスは、センサによって検出されるオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの数字シーケンスが同じであるかあるいは高い一致度を有するシーケンスセグメントを含むとき、それは２つの数字シーケンスにおけるセグメントに対応するオブジェクトセットが同じ位置関係を有する、すなわち、同じフォーメーション情報を有することを示す。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサは同じオブジェクトセットを検出すると考えられることがある。
この出願のこの実施形態において、第２の部分列は、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出される同じまたは類似のフォーメーション情報を表現する。
具体的には、センサは特定の検出漏れ率を有するので、第２の部分列と接触間隔シーケンスＡとの間の一致度および第２の部分列と接触間隔シーケンスＢとの間の一致度が両方とも第２の閾値よりも大きいならば、第２の部分列が接触間隔シーケンスＡおよび接触間隔シーケンスＢにおけるセグメントと完全に一致することは必要とされない。この出願のこの実施形態では、一致度を類似度とも呼ぶ。具体的には、第２の閾値は、９０％であることがある。第２の閾値は、９０％以外の値、例えば、９５％または９９％であることがある。これは本明細書において限定されない。
例えば、図１０に示す接触間隔シーケンスＡおよび接触間隔シーケンスＢは、両方ともシーケンスセグメント（２．０ｓ，０．３ｓ，１．９ｓ，０．４ｓ）を含む。処理デバイスは、セグメントを第２の部分列として使用することがある。この場合、第２の部分列と接触間隔シーケンスＡとの間の一致度および第２の部分列と接触間隔シーケンスＢとの間の一致度は、両方とも１００％である。
１３０９：第１の部分列に対応する第１のオブジェクトセットおよび第２の部分列に対応する第２のオブジェクトセットの交差を取得する。
第１の部分列（３，３，１，３，１）によって示されるオブジェクトは、センサＡの側にあり、１～５のシーケンス番号を有し、センサＢの側にあるオブジェクトに対応し、１０～１４のシーケンス番号を有する。この出願のこの実施形態では、第１の部分列に対応するオブジェクトセットを第１のオブジェクトセットとも呼ぶ。
第２の部分列（２．０ｓ，０．３ｓ，１．９ｓ，０．４ｓ）によって示されるオブジェクトは、センサＡの側にあり、２～５のシーケンス番号を有し、センサＢの側にあるオブジェクトに対応し、１１～１４のシーケンス番号を有する。この出願のこの実施形態では、第２の部分列に対応するオブジェクトセットを第２のオブジェクトセットとも呼ぶ。
２つのオブジェクトセットの交差が取得される、すなわち、シーケンス番号が１～５であるオブジェクトおよびシーケンス番号が２～５であるオブジェクトの交差がセンサＡの側で取得される。具体的には、そのシーケンス番号が２～５である標的オブジェクトのセットである交差が決定される。相応して、センサＢの側で、交差は、そのシーケンス番号が１１～１４である標的ブジェクトのセットである。この出願のこの実施形態では、第１のオブジェクトセットおよび第２のオブジェクトセットの交差を標的ブジェクトセットとも呼ぶ。
１３１０：交差内のオブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合する。
第１の部分列は、複数の接触点区画情報を含む。第１の部分列における接触点区画情報の各々に対応するデータが、接触区画シーケンスＡおよび接触区画シーケンスＢ内に発見されることがある。例えば、接触区画シーケンスＡにおいてシーケンス番号４を有する接触区画情報について、標的オブジェクトの接触区画情報は、３であり、標的オブジェクトの前／後の別の標的オブジェクトの接触区画情報は、１である。
この出願のこの実施形態では、接触区画シーケンスまたは第１の部分列における単一の接触点区画情報をフォーメーション位置情報とも呼び、それは標的オブジェクトセットにおける単一の標的オブジェクトの位置を示す。
この出願のこの実施形態では、標的オブジェクトの区画情報を標的オブジェクトの特徴と呼び、標的オブジェクトの前／後または付近の別の標的オブジェクトの区画情報を周囲特徴と呼ぶ。周囲特徴は、標的オブジェクトの前／後の別の標的オブジェクトの接触点区画情報以外に、より近くの標的オブジェクトの接触点区画情報を含むこともある。これは本明細書において限定されない。
接触区画シーケンスＢでは、標的オブジェクトの同じ特徴および同じ周囲特徴を有する接触点区画情報、すなわち、シーケンス番号１３を持つ接触点区画情報が発見されることがある。２つの接触点区画情報は、第１の部分列にあり、標的オブジェクトの同じ特徴および同じ周囲特徴を有し、２つの接触点区画情報は同じオブジェクトを反映すると考えられることがある。従って、処理デバイスは、シーケンス番号４に対応する検出情報およびシーケンス番号１３に対応する検出情報を融合させて、標的オブジェクトの融合情報を取得することがある。
例えば、接触区画シーケンスＡに対応するカメラが、シーケンス番号４に対応するオブジェクトの大きさおよび形状のような外観情報を検出してよい。車両について、シーケンス番号４に対応する車両のモデル、色、およびナンバープレートのような情報が検出されてよい。接触区画シーケンスＢに対応するレーダが、シーケンス番号１３に対応するオブジェクトの移動速度のような情報を検出してよい。車両について、シーケンス番号１３に対応する車両の速度および加速度のような情報が検出されてよい。処理デバイスは、モデル、色、およびナンバープレートのような前述の情報を、車両の速度および加速度のような情報と融合させて、車両の融合情報を取得してよい。
同様に、第２の部分列内にありかつ標的オブジェクトの同じ特徴および同じ周囲特徴を有する検出情報が融合されてよい。詳細については、第１の部分列に基づく前述の融合手順を参照のこと。詳細はここでは再度記載されない。
第２の部分列内にある標的オブジェクトの特徴および周囲特徴の記述については、図９に示す実施形態におけるステップ９０８を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態において、第１のオブジェクトセットと第２のオブジェクトセットとの交差は、第１の部分列に対応する第１オブジェクトセットおよび第２の部分列に対応する第２オブジェクトセットに基づいて決定され、この交差は、標的オブジェクトセットとして使用される。交差内のオブジェクトが、第１の部分列に対応する、すなわち、類似の接触区画情報が、異なるセンサからの検出情報に基づいて取得されることがある。加えて、交差内のオブジェクトは、第２の部分列に対応する、すなわち、類似の接触時間間隔情報が、異なるセンサからの検出情報に基づいて存在する。オブジェクト間の位置関係を示す複数の類似情報が複数のセンサからの検出情報に基づいて取得されることがあるならば、検出情報に対応するオブジェクトセットが同じオブジェクトセットである可能性は、オブジェクト間の位置関係を示す単一の類似情報のみが取得される場合があるときよりも高い。従って、スクリーニングが複数の部分列に対応するオブジェクトの交差に対して実行されるので、標的オブジェクトのフォーメーション情報は、別の非標的オブジェクトのフォーメーション情報からより正確に区別されることがある。従って、同じ標的オブジェクトの検出情報は、より正確に融合される。
この出願のこの実施形態では、第１の部分列に対応するオブジェクトおよび第２の部分列に対応するオブジェクトの交差に加えて、他の部分列に対応するオブジェクトの交差、例えば、第１の部分列に対応するオブジェクトおよび第３の部分列に対応するオブジェクトとの交差、第２の部分列に対応するオブジェクトおよび第３の部分列に対応するオブジェクトの交差、または別の部分列に対応するオブジェクトおよび第１～第３の部分列のうちのいずれか１つに対応するオブジェクトの交差が使用されてよい。オブジェクト間の位置関係、例えば、オブジェクト間の距離または方向を示すために、他の部分列も使用される。これは本明細書において限定されない。異なる部分列に対応するオブジェクトの交差が取得されるので、適切な部分列が、操作(operation)のために柔軟に選択されることがあり、それによって、解決策の実行可能性および柔軟性を向上させる。
この出願のこの実施形態では、２つの部分列に対応するオブジェクトの交差に加えて、より多くの部分列に対応するオブジェクトの交差が取得されることがあり、例えば、第１の部分列、第２の部分列、および第３の部分列に対応するオブジェクトの交差が取得される。より多量の部分列が使用されるとき、それは、オブジェクト間の位置関係を示すより多くのタイプの類似情報が複数のセンサからの検出情報に基づいて取得されることがあり、検出情報に対応するオブジェクトセットが同じオブジェクトセットである可能性がより高いことを示す。従って、スクリーニングが複数の部分列に対応するオブジェクトの交差に対して実行されるので、標的オブジェクトのフォーメーション情報が、別の非標的オブジェクトのフォーメーション情報からより正確に区別されることがある。従って、同じ標的オブジェクトの検出情報が、より正確に融合される。
この出願のこの実施形態において、線接触情報は、位置特徴セットに基づいて取得される。何故ならば、線接触情報は、オブジェクトが基準線に接触する情報であるからである。オブジェクトが基準線に接触するときに、接触時間、接触間隔、および接触位置のような、特定の値または特定の位置特徴を含むデータが取得されることがある。従って、複数の接触時間点を含む数字シーケンス、複数の接触間隔を含む数字シーケンス、または複数の接触位置を含む分布関係のような、線接触データのセットが、複数の標的オブジェクトが線に接触する特定の値または特定の位置特徴に基づいて取得されることがある。前述の線接触データのセットは、特定の値または位置特徴を有するので、操作が、任意の他のデータ処理を伴わずに直接実行されることがある。従って、一致度が予め設定された閾値を満たす標的フォーメーション情報が、迅速に決定されることがある。
この出願のこの実施形態において、フォーメーション情報は、線描画方法を使用することによって決定されることがある。フォーメーション情報は、別の方法、例えば、画像特徴マッチング方法を使用することによって決定されてもよい。
２：画像特徴マッチング方法
人間について、フォーメーション情報は、完全な形状として表されることがある。デバイスについて、抽象化された完全な形状は、画像特徴として表されることがある。この出願の本実施形態では、完全な画像特徴を使用することによってフォーメーション情報を決定するための方法を画像特徴マッチング方法と呼ぶ。
図３ａに示す検出システムに基づいて、以下は、図１５を参照して、この出願のこの実施形態による情報処理方法のステップを詳細に記載する。図１５は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下を含む。
１５０１：センサＡ（カメラ）から検出情報Ａを取得する。
１５０２：センサＢ（レーダ）から検出情報Ｂを取得する。
ステップ１５０１およびステップ１５０２の記載については、図７に示す実施形態におけるステップ７０１およびステップ７０２を参照のこと。詳細はここでは再度記載されない。
１５０３：検出情報Ａに基づいて初期標的グループ分布グラフＡを決定する。
検出情報Ａは、画素を含むピクチャであるため、処理デバイスは、ピクチャ中の画素に基づいて異なるオブジェクトを識別し、そのオブジェクトについての特徴点をマーキングすることがある。特徴点によって形成される形状は、初期標的グループ分布グラフＡとして使用される。
具体的には、特徴点のマーキングは、統一されたルールに従うことがある。例えば、車両マーキングについて、車両の前方の中心点が、特徴点として使用されることがある。特徴点は、車両の前方の中心点以外の別の点、例えば、ナンバープレートの中心点であってよい。これは本明細書において限定されない。
例えば、図１６は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１６に示すように、ナンバープレートの中心点がマーキングされ、マーキング点が接続されて、初期標的グループ分布グラフＡが形成され、ここで、分布グラフは、数字「９」に類似する形状にある。
任意に、対応する形状特徴が、スケール不変特徴変換（scale-invariant feature transform，ＳＩＦＴ）アルゴリズムを使用することによって抽出されて、初期標的グループ分布グラフＡが取得されることがある。
１５０４：検出情報Ｂに基づいて初期標的グループ分布グラフＢを決定する。
検出情報Ｂは、検出範囲内でレーダによって検出されたオブジェクトのピクチャであり、レーダによって検出されたオブジェクトは、ピクチャ内にマーキング情報を有し、その場合、マーキング情報は、対応するオブジェクトを表現する。従って、処理デバイスは、ピクチャ内のマーキング情報によって形成される形状を初期標的グループ分布グラフＢとして使用することがある。
例えば、図１６に示すように、マーキング情報の位置が接続されて初期標的グループ分布グラフＢが形成され、この分布グラフも数字「９」のような形状である。
任意に、ＳＩＦＴアルゴリズムを使用することによって対応する形状特徴を抽出して、初期標的グループ分布グラフＢを取得してよい。
１５０５：初期標的グループ分布グラフＡの標的グループ分布グラフＡおよび初期標的グループ分布グラフＢの標的グループ分布グラフＢを取得する。
処理デバイスは、ビューポート変更アルゴリズムを使用することによって初期標的グループ分布グラフＡの標準ビューポートグラフを取得してよく、初期標的グループ分布グラフＡの標準ビューポートグラフを標的グループ分布グラフＡとしてする。同様に、処理デバイスは、ビューポート変更アルゴリズムを使用することによって初期標的グループ分布グラフＢの標準ビューポートグラフを取得してよく、初期標的グループ分布グラフＢの標準ビューポートグラフを標的グループ分布グラフＢとして使用する。
例えば、図１６に示すように、初期標的グループ分布グラフＢのビューポートを標準ビューポートとして使用して、初期標的グループ分布グラフＡのビューポートを変更し、それによって、標的グループ分布グラフＢと同じビューポートを有する標的グループ分布グラフＡを取得する。
１５０６：標的グループ分布グラフＡおよび標的グループ分布グラフＢに基づいて画像特徴セットを決定する。
標的グループ分布グラフＡおよび標的グループ分布グラフＢは、２つの形状を示す。処理デバイスは、２つの形状の画像特徴を比較することがある。２つの画像特徴が、同じであるかあるいは高い一致度を有する特徴セットを含むことを発見すると、処理デバイスは、特徴セットが２つの画像特徴の共通部分であると考えることがある。この出願のこの実施形態において、特徴セットは、画像特徴セットとも呼ばれる。画像特徴は、センサによって検出されたオブジェクト間の位置関係、すなわち、オブジェクト間のフォーメーション情報を反映する。従って、２つの画像特徴が、同じであるか或いは高い一致度を有する特徴セットを含むとき、それは、２つの画像特徴における特徴セットに対応するオブジェクトセットが同じ位置関係、すなわち、同じフォーメーション情報を有することを示す。異なるセンサが同じまたは類似のフォーメーション情報を検出するならば、２つのセンサは同じオブジェクトセットを検出すると考えられることがある。
この出願のこの実施形態において、画像特徴セットは、標的フォーメーション情報とも呼ばれ、複数のセンサによって検出された同じまたは類似のフォーメーション情報を表す。
具体的には、センサは、特定の検出漏れ率を有するので、画像特徴セットと標的グループ分布グラフＡとの間の一致度および画像特徴セットと標的グループ分布グラフＢとの間の一致度が両方とも第３の閾値よりも大きいならば、画像特徴セットが標的グループ分布グラフＡおよび標的グループ分布グラフＢにおける特徴と完全に一致することは必要とされない。この出願のこの実施形態では、一致度は、類似度とも呼ばれる。具体的には、第３の閾値は、９０％であることがある。第３の閾値は、９０％以外の値、例えば、９５％または９９％であってよい。これは本明細書において限定されない。
任意に、顔認識アルゴリズムまたは指紋認識アルゴリズムを使用して、異なる標的グループ分布グラフに一致する画像特徴セットを取得してよい。
１５０７：画像特徴セットにおける標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合させる。
画像特徴セットは、複数のマーキング情報または複数のマーキングポイントを含む。画像特徴セットにおける各マーキング情報または各マーキングポイントに対応するデータが、標的グループ分布グラフＡおよび標的グループ分布グラフＢにおいて発見されることがある。例えば、図１６では、標的グループ分布グラフＡにおける形状「９」の下にあるマーキングポイントが、一例として使用される。
この出願のこの実施形態では、標的グループ分布グラフまたは画像特徴セットにおける単一のマーキング情報または単一のマーキング点がフォーメーション位置情報とも呼ばれ、標的オブジェクトセットにおける単一の標的オブジェクトの位置を示す。
同じ位置を有するマーキング情報も、標的グループ分布グラフＢ、すなわち、標的グループ分布グラフＢにおける形状「９」の底にあるマーキング情報に発見されることがある。２つのマーキング情報およびマーキング点は、画像特徴セット内にあり、同じ位置特徴を有し、２つのマーキング情報およびマーキング点は同じオブジェクトを反映すると考えられることがある。従って、処理デバイスは、形状「９」の底にあるマーキング点に対応する検出情報と形状「９」の底にあるマーキング情報に対応する検出情報とを融合させて、標的オブジェクトの融合情報を取得することがある。
例えば、標的グループ分布グラフＡに対応するカメラが、オブジェクトの大きさおよび形状のような外観情報を検出することがある。車両について、対応する車両のモデル、色、およびナンバープレートのような情報が検出されることがある。標的グループ分布グラフＢに対応するレーダが、オブジェクトの移動速度のような情報を検出することがある。車両について、対応する車両の速度や加速度のような情報が検出されることがある。処理デバイスは、モデル、色、およびナンバープレートのような前述の情報と、車両の速度および加速度のような情報とを融合させて、車両の融合情報を取得することがある。
この出願のこの実施形態では、複数の対応する初期標的グループ分布グラフが、異なるセンサからの検出情報に基づいて取得され、複数の対応する標的グループ分布グラフが、ビューポート変更アルゴリズムを使用することによって取得される。次に、複数の標的グループ分布グラフの画像特徴セットが取得され、画像特徴セットは、標的フォーメーション情報として使用される。複数の標的グループ分布グラフとの一致度が予め設定された閾値より大きい画像特徴セットが、複数のセンサからの複数の標的グループ分布グラフに基づいて決定される。画像特徴は、ピクチャ内に表示されるオブジェクト間の位置関係を直感的に反映することがある。従って、画像特徴セットは、複数の標的グループ分布グラフに基づいて決定されるので、類似する位置関係を示す検出結果が、直感的に反映されることがある。すなわち、同じ標的グループのものでありかつ異なるセンサによって取得される検出結果は、マッチングを通じて決定されることがある。このようにして、検出情報が正確に融合される。
この出願のこの実施形態では、より正確な結果を得るために、画像特徴マッチング方法は、線描画方法と組み合わされることがある。
３：画像特徴マッチング方法と線描画方法との組み合わせ
図１７は、この出願の一実施形態による情報処理方法の概略フローチャートである。方法は、以下のステップを含む。
１７０１：センサＡ（カメラ）から検出情報Ａを取得する。
１７０２：センサＢ（レーダ）から検出情報Ｂを取得する。
ステップ１７０１およびステップ１７０２の記述については、図７に示す実施形態におけるステップ７０１およびステップ７０２を参照のこと。詳細はここでは再度記載されない。
１７０３：検出情報Ａに基づいて線接触情報Ａを取得する。
線接触情報が、オブジェクトが基準線に接触する時系列情報、接触点区画情報、接触点位置情報、接触時間間隔情報などを含むことが、図６に示す実施形態において記載された。処理デバイスは、複数の前述の線接触情報を取得することがある、例えば、検出情報Ａに基づいて時系列情報Ａおよびと接触点区画情報Ａを取得することがある。時系列情報Ａおよび接触点区画情報Ａを取得する手順については、図７に示す実施形態のステップ７０３を参照のこと。詳細はここでは再度記載されない。
時系列情報Ａおよび接触点区画情報Ａを取得することに加えて、処理デバイスは、別の線接触情報、例えば、図９に示す実施形態におけるステップ９０３に示す時系列情報Ａおよび接触時間間隔情報Ａ、図１１に示す実施形態におけるステップ１１０３に示す時系列情報Ａおよび接触点位置情報Ａ、または図１３に示す実施形態におけるステップ１３０３に示す時系列情報Ａ、接触点区画情報Ａおよび接触時間間隔情報Ａを取得することがある。これは本明細書において限定されない。
１７０４：検出情報Ｂに基づいて線接触情報Ｂを取得する。
ステップ１７０３に対応して、検出情報Ａに基づいて処理デバイスによって取得される線接触情報のタイプに依存して、処理デバイスは、検出情報Ｂに基づいて対応する同じタイプの線接触情報を取得する。線接触情報を取得する手順については、図７、図９、図１１、または図１３に示す実施形態を参照のこと。詳細はここでは再度記載されない。
１７０５：線接触情報Ａに基づいて初期標的グループ分布グラフＡを決定する。
オブジェクトは、瞬間にのみ基準線に接触する。従って、線接触情報は、検出情報を取得する瞬間を反映することがある。処理デバイスは、線接触情報Ａによって反映される瞬間に取得される検出情報Ａに基づいて、初期標的グループ分布グラフＡを決定することがある。取得される初期標的グループ分布グラフＡは、線接触情報Ａが取得される瞬間に取得されるフォーメーション情報を反映する。初期標的グループ分布グラフＡを取得する手順については、図１５に示す実施形態におけるステップ１５０３を参照のこと。詳細はここでは再度記載されない。
１７０６：線接触情報Ｂに基づいて初期標的グループ分布グラフＢを決定する。
処理デバイスは、線接触情報Ａと同じフォーメーション情報を有する線接触情報Ｂを決定することがある。線接触情報は、主にオブジェクトセットのフォーメーション情報を反映するので、線接触情報Ｂは線接触情報Ａと同じと考えられることがある。
処理デバイスは、線接触情報Ｂによって反映される瞬間に取得される検出情報Ｂに基づいて、初期標的グループ分布グラフＢを決定することがある。取得される初期標的グループ分布グラフＢは、線接触情報Ｂが取得される瞬間に取得されるフォーメーション情報を反映する。初期標的グループ分布グラフＢを取得する手順については、図１５に示す実施形態におけるステップ１５０４を参照のこと。詳細はここでは再度記載されない。
１７０７：初期標的グループ分布グラフＡの標的グループ分布グラフＡおよび初期標的グループ分布グラフＢの標的グループ分布グラフＢを取得する。
１７０８：標的グループ分布グラフＡおよび標的グループ分布グラフＢに基づいて画像特徴セットを決定する。
１７０９：画像特徴セットにおける標的オブジェクトのフォーメーション位置情報に基づいて、同じ標的オブジェクトについてのセンサＡおよびセンサＢからの検出情報を融合させる。
ステップ１７０７～ステップ１７０９の記述については、図１５に示す実施形態におけるステップ１５０５～ステップ１５０７を参照のこと。詳細はここでは再度記載されない。
この出願のこの実施形態では、近い時点で取得される画像間の類似度が高い。従って、同じ時点が特定されないならば、マッチングが異なるセンサからの初期標的オブジェクト分布グラフに対して実行されると、近い時点で取得される初期標的グループ分布グラフに起因して、干渉が導入される。その結果、マッチングが分布グラフに対して実行されるときに、エラーが生じ、画像特徴セットが取得されるときに、エラーが生じる。結果的に、異なる瞬間に取得される検出情報が融合されて、検出情報の融合においてエラーを引き起こす。このエラーは、線接触情報を使用することによって回避されることができる。具体的には、複数の初期標的グループ分布グラフは、線接触情報を使用することによって決定される。複数の初期標的グループ分布グラフは、同じ線接触情報を有する。これは複数の初期標的グループ分布グラフが同じ時点で得られることを示し、融合のための検出情報が同じ時点で取得されることを確実にすることがあり、それによって、検出情報の融合の精度を向上させることがある。
２．この出願の一実施形態による情報処理方法の適用
この出願のこの実施形態による方法は、融合された情報を取得するために使用されることがあり、別の目的のために、例えば、異なるセンサの空間座標系のマッピングを実施し、異なるセンサの時間軸のマッピングを実施し、センサ上でエラー補正またはフィルタリングのような機能を実施するために使用されることもある。
１：異なるセンサの空間座標系のマッピング
具体的には、複数のセンサが、第１のセンサと、第２のセンサとを含むことがあり、その場合には、第１のセンサに対応する空間座標系が標準座標系であり、第２のセンサに対応する空間座標系が標的座標系である。異なるセンサの空間座標系のマッピングを実施するために、図７～図１７に示す実施形態を実施された後に、本方法は、さらに以下を含むことがある。
処理デバイスは、融合検出情報に基づいて、複数の標準点情報と複数の標的点情報との間のマッピング関係を決定し、その場合、融合検出情報は、複数のフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることによって取得される。この出願のこの実施形態において、融合検出情報は、融合情報とも呼ばれる。標準点情報は、標的オブジェクトセットからのものでありかつ標準座標系内にあるオブジェクトの位置情報を示し、標的点情報は、標的オブジェクトセットからのものでありかつ標的座標系内にあるオブジェクトの位置情報を示し、複数の標準点情報は、複数の標的点情報と１対１の対応にある。
マッピング関係を決定した後に、処理デバイスは、標準点情報と標的点情報との間のマッピング関係に基づいて、標準座標系と標的座標系との間のマッピング関係を決定してよい。
この出願の本実施形態では、複数の標準点情報と複数の標的点情報との間のマッピング関係は、融合検出情報に基づいて決定され、標準座標系と標的座標系との間のマッピング関係は、複数の標準点情報と複数の標的点情報との間のマッピング関係に基づいて決定される。この出願のこの実施形態における方法によれば、異なるセンサからの検出情報を取得することができるならば、異なるセンサの座標系間のマッピングが実施されることがある。標的フォーメーション情報を決定するステップ、点情報に対してマッピングを実行するステップなどの後続のステップは、手動較正およびマッピングを伴わずに、処理デバイスによって実施されることがある。処理デバイスは、標的フォーメーション情報に対してマッチングを実行するので、デバイスによる正確な操作は、点情報マッピングの精度を向上させる。加えて、異なるセンサからの検出情報を取得することができるならば、検出情報の融合および座標系間のマッピングが実施されてよい。これは手動較正によって引き起こされるシナリオ制限を回避し、検出情報の融合の精度および普遍性を確実にする。
２：異なるセンサの時間軸のマッピング
処理デバイスは、複数のフォーメーション情報にありかつ同じ標的オブジェクトに対応する検出情報の融合結果に基づいて、複数のセンサの時間軸間の時間差を計算する。時間差は、異なるセンサの時間軸間のマッピングを実施するために使用されることがある。
この出願のこの実施形態において、複数のセンサの時間軸間の時間差は、同じ標的オブジェクトの検出情報の融合結果に基づいて計算されるので、異なるセンサの時間軸は、時間差に基づいてアライメントされることがある。この出願のこの実施形態において提供される時間軸アライメント方法は、異なるセンサからの検出情報を取得することができるならば実施されることがある。複数のセンサは、同じ時刻同期システム内にある必要はない。これは異なるセンサの時間軸アライメントの適用シナリオを拡張し、情報融合の適用範囲も拡張する。
３：センサのエラー補正またはフィルタリング
具体的には、複数のセンサは、標準センサと、検出対象センサとを含むことがある。本方法は、さらに以下を含むことがある。
処理デバイスは、標的フォーメーション情報内にありかつ標準センサに対応する標準フォーメーション情報を取得する。処理デバイスは、標的フォーメーション情報内にありかつ検出対象センサに対応する検出対象フォーメーション情報を取得する。処理デバイスは、検出対象フォーメーション情報と標準フォーメーション情報との間の差を決定する。処理デバイスは、前述の差および標準フォーメーション情報に基づいて、エラーパラメータ(誤差パラメータ)を取得し、その場合、エラーパラメータは、検出対象フォーメーション情報のエラーを示し、あるいは検出対象センサの性能パラメータを示す。
図１８は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１８に示すように、センサＢが誤って１つのデータ、例えば、図中のｖ６ａ６データを検出するならば、接触区画シーケンスＡと接触区画シーケンスＢとの間の差に基づいて、シーケンス番号１５を持つデータがセンサＢによって誤って検出されたと決定されることがある。
上述のように、センサの誤検出情報を取得して、センサの誤検出率を計算して、センサの性能を評価してよい。
図１９は、この出願の一実施形態による情報処理方法の適用シナリオの概略図である。図１９に示すように、センサＢが、１つのデータ、例えば、図中のシーケンス番号２に対応する車線３上の標的オブジェクトを検出しないならば、接触区画シーケンスＡと接触区画シーケンスＢとの間の差に基づいて、シーケンス番号１０とシーケンス番号１１との間の１つの標的オブジェクトが検出されなかった決定されることがある。
上述のように、センサの検出漏れ情報を取得してセンサの検出漏れ率を計算して、センサの性能を評価してよい。
この出願の本実施形態では、標準センサは、検出のための標準として使用され、エラーパラメータが、検出対象フォーメーション情報と標準フォーメーション情報との間の差に基づいて取得される。エラーパラメータが、検出対象フォーメーション情報のエラーを示すときには、検出対象フォーメーション情報内にありかつエラーパラメータに対応する情報が、エラーパラメータおよび標準フォーメーション情報に基づいて補正されることがある。エラーパラメータが、検出対象センサの性能パラメータを示すときには、検出対象センサの誤検出率のような性能パラメータが決定されることがある。従って、データ分析を検出対象センサに対して実施して、センサを選択する。
３．この出願の一実施形態による情報処理方法に対応する処理デバイス
以下は、この出願の一実施形態による処理デバイスを記載する。図２０は、この出願の一実施形態による処理デバイスの構造の概略図である。処理デバイス２０００は、検出システム内に配置される。検出システムは、少なくとも２つのセンサをさらに含む。少なくとも２つのセンサによって取得される検出情報は、少なくとも２つの同じ標的オブジェクトについて少なくとも２つのセンサから別個に検出情報を含む。処理デバイス２０００は、プロセッサ２００１と、送受信機２００２(トランシーバ)とを含む。
送受信機２００２は、少なくとも２つのセンサから少なくとも２つの検出情報を取得するように構成され、その場合、少なくとも２つのセンサは、少なくとも２つの検出情報と１対１で対応する。
プロセッサ２００１は、少なくとも２つの検出情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定するように構成され、その場合、各フォーメーション情報は、対応するセンサによって検出されるオブジェクト間の位置関係を記載するために使用され、オブジェクトは、標的オブジェクトを含み、プロセッサ２００１は、少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定するように構成され、その場合、標的フォーメーション情報と少なくとも２つのフォーメーション情報の各フォーメーション情報との間の一致度は、予め設定された閾値よりも大きく、標的フォーメーション情報は、少なくとも２つの標的オブジェクト間の位置関係を記述するために使用され、標的フォーメーション情報は、標的オブジェクトのフォーメーション位置情報を含み、プロセッサ２００１は、標的オブジェクトの任意の１つの標的オブジェクトのフォーメーション位置情報に基づいて、少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合するように構成される。
任意の実装において、検出情報は、位置特徴セットを含む。位置特徴セットは、少なくとも２つの位置特徴を含み、位置特徴は、対応するセンサによって検出されるオブジェクトとオブジェクトの周囲のオブジェクトとの間の位置関係を示す。
任意の実装において、プロセッサ２００１は、少なくとも２つの位置特徴セットに基づいて、少なくとも２つの対応する線接触情報を取得するように特に構成され、その場合、少なくとも２つの線接触情報の各々は、対応するセンサによって検出されるオブジェクトが基準線に接触する情報を記述するために使用され、少なくとも２つの線接触情報は、少なくとも２つの位置特徴セットと１対１で対応し、プロセッサ２００１は、少なくとも２つの線接触情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定するように構成され、その場合、少なくとも２つの線接触情報は、少なくとも２つのフォーメーション情報と１対１で対応する。
任意の実装において、線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報および接触点区画情報を含む。接触点区画情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報を示す。フォーメーション情報は、接触区画シーケンスを含み、接触区画シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する区画位置間の時系列関係を示す。
具体的には、プロセッサ２００１は、少なくとも２つの接触区画シーケンスの第１の部分列を取得しかつ第１の部分列を標的フォーメーション情報として使用するように構成され、その場合、第１の部分列と少なくとも２つの接触区画シーケンスとの間の一致度は、第１の閾値よりも大きく、プロセッサ２００１は、第１の部分列内にありかつ各標的ブジェクトに対応する接触点区画情報に基づいて、少なくとも２つの接触区画シーケンス内にありかつ同じ標的ブジェクトに対応する検出情報を融合するように構成される。
任意の実装において、線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報および接触時間間隔情報を含む。接触時間間隔情報は、オブジェクトが基準線に接触する時間間隔を示す。フォーメーション情報は、接触間隔シーケンスを含み、接触間隔シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する時間間隔の分布を示す。
具体的には、プロセッサ２００１は、少なくとも２つの接触間隔シーケンスの第２の部分列を取得して、第２の部分列を標的フォーメーション情報として使用するように構成され、その場合、第２の部分列と少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値より大きく、プロセッサ２００１は、第２の部分列内にありかつ各標的ブジェクトに対応する接触時間分布情報に基づいて、少なくとも２つの接触間隔シーケンス内にありかつ同じ標的ブジェクトに対応する検出情報を融合するように構成される。
任意の実装において、線接触情報は、対応するセンサによって検出されるオブジェクトが基準線に接触する時系列情報、接触点区画情報、および接触時間間隔情報を含む。接触点区画情報は、基準線上にありかつオブジェクトが基準線に接触する接触点の区画情報を示す。接触時間間隔情報は、オブジェクトが基準線に接触する時間間隔を示す。フォーメーション情報は、接触区画シーケンスと、接触間隔シーケンスとを含み、その場合、接触区画シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する区画位置間の時系列関係を示し、接触間隔シーケンスは、対応するセンサによって検出されるオブジェクトが基準線に接触する時間間隔の分布を示す。
具体的には、プロセッサ２００１は、少なくとも２つの接触区画シーケンスの第１の部分列を取得するように構成され、その場合、第１の部分列と少なくとも２つの接触区画シーケンスとの間の一致度は、第１の閾値よりも大きく、プロセッサ２００１は、少なくとも２つの接触間隔シーケンスの第２の部分列を取得するように構成され、その場合、第２の部分列と少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きく、プロセッサ２００１は、第１のオブジェクトセットと第２のオブジェクトセットとの交差を取得して、交差を標的オブジェクトセットとして使用するように構成され、その場合、第１のオブジェクトセットは、第１の部分列に対応するオブジェクトのセットであり、第２のオブジェクトセットは、第２の部分列に対応するオブジェクトのセットであり、プロセッサ２００１は、標的オブジェクトセットの接触区画シーケンスおよび接触間隔シーケンスを標的フォーメーション情報として使用するように構成される。
任意の実装において、フォーメーション情報は、標的グループ分布グラフを含み、標的グループ分布グラフは、オブジェクト間の位置関係を示す。
具体的には、プロセッサ２００１は、少なくとも２つの位置特徴セットに基づいて少なくとも２つの対応する初期標的グループ分布グラフを取得するように構成され、その場合、初期標的グループ分布グラフは、対応するセンサによって検出されるオブジェクト間の位置関係を示し、プロセッサ２００１は、ビューポート変更アルゴリズムを使用することによって少なくとも２つの初期標的グループ分布グラフの標準ビューポートグラフを取得するように構成され、プロセッサ２００１は、少なくとも２つのビューポートグラフを少なくとも２つの対応する標的グループ分布グラフとして使用するように構成され、その場合、標的グループ分布グラフのフォーメーション位置情報は、標的オブジェクトの標的オブジェクト分布情報を含み、標的オブジェクト分布情報は、対応するセンサによって検出されるオブジェクトにおける標的オブジェクトの位置を示し、プロセッサ２００１は、少なくとも２つの標的グループ分布グラフの画像特徴セットを取得して、画像特徴セットを標的フォーメーション情報として使用するように構成され、その場合、画像特徴セットと少なくとも２つの標的グループ分布グラフとの間の一致度は、第３の閾値よりも大きく、プロセッサ２００１は、画像特徴セット内にありかつ各標的オブジェクトに対応する標的オブジェクト分布情報に基づいて、少なくとも２つの標的オブジェクト分布グラフないにありかつ同じ標的オブジェクトに対応する検出情報を融合するように構成され。
任意の実装において、プロセッサ２００１は、少なくとも２つの位置特徴セットに基づいて、画像特徴セットに対応する標的ブジェクトの少なくとも２つの線接触情報を取得するようにさらに構成される。少なくとも２つの線接触情報の各々は、対応するセンサによって検出されるオブジェクトが基準線に接触する情報を記述するために使用され、少なくとも２つの線接触情報は、少なくとも２つの位置特徴セットと１対１で対応する。
プロセッサ２００１は、具体的には、少なくとも２つの線接触情報に基づいて、少なくとも２つの対応する初期標的グループ分布グラフを取得するように構成される。少なくとも２つの初期標的グループ分布グラフ内のオブジェクトは、同じ線接触情報を有する。
任意の実装において、少なくとも２つのセンサは、第１のセンサと、第２のセンサとを含む。第１のセンサに対応する空間座標系が標準座標系であり、第２のセンサに対応する空間座標系が標的座標系である。
プロセッサ２００１は、少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報を融合させることによって取得される融合検出情報に基づいて、少なくとも２つの標準点情報と少なくとも２つの標的点情報との間のマッピング関係を決定するようにさらに構成され、その場合、標準点情報は、標的オブジェクトセット内にありかつ標準基準系内にあるオブジェクトの位置情報を示し、標的点情報は、標的オブジェクトセット内にありかつ標的座標系内にあるオブジェクトの位置情報を示し、少なくとも２つの標準点情報は、少なくとも２つの標的点情報と１対１で対応し、プロセッサ２００１は、標準点情報と標的点情報との間のマッピング関係に基づいて、標準座標系と標的座標系との間のマッピング関係を決定するようにさらに構成される。
任意の実装において、プロセッサ２００１は、少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する検出情報の融合結果に基づいて、少なくとも２つのセンサの時間軸間の時間差を計算するようにさらに構成される。
任意の実装において、少なくとも２つのセンサは、標準センサと、検出対象センサとを含む。
プロセッサ２００１は、さらに、標的フォーメーション情報内にありかつ標準センサに対応する標準フォーメーション情報を取得し、標的フォーメーション情報内にありかつ検出対象センサに対応する検出対象フォーメーション情報を取得し、検出対象フォーメーション情報と標準フォーメーション情報との間の差を取得し、前述の差および標準フォーメーション情報に基づいてエラーパラメータを取得するように構成され、その場合、エラーパラメータは、検出対象フォーメーション情報のエラーを示し、あるいは検出対象センサの性能パラメータを示す。
処理デバイス２０００は、図４～図１７に示す実施形態において処理デバイスによって実行される操作を実行することがある。詳細はここでは再度記載されない。
図２１は、この出願の一実施形態による処理デバイスの構造の概略図である。処理デバイス２１００は、１つ以上の中央処理装置（central processing units，ＣＰＵｓ）２１０１と、メモリ２１０５とを含むことがある。メモリ２１０５は、１つ以上のアプリケーションプログラムまたはデータを格納する。
メモリ２１０５は、揮発性記憶装置または永続記憶装置であってよい。メモリ２１０５に格納されるプログラムは、１つ以上のモジュールを含むことがあり、各モジュールは、処理デバイスについての一連の命令演算を含むことがある。さらに、中央処理装置２１０１は、メモリ２１０５と通信し、メモリ２１０５にある一連の命令演算を処理デバイス２１００上で実行するように構成されることがある。
処理デバイス２１００は、１つ以上の電源２１０２、１つ以上の有線または無線ネットワークインターフェース２１０３、１つ以上の送受信機インターフェース２１０４、および／またはＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭのような１つ以上のオペレーティングシステムをさらに含むことがある。
処理デバイス２１００は、図４～図１７に示す実施形態において処理デバイスによって実行される操作を実行することがある。詳細はここでは再度記載されない。
便利で簡潔な記述のために、前述のシステム、装置、およびユニットの詳細な作業手順については、前述の方法の実施形態における対応するプロセスを参照することが、当業者によって明確に理解され得る。詳細はここでは再度記載されない。
この出願において提供される幾つかの実施形態において、開示されるシステム、装置、および方法は、他の方法で実施されてよいことが理解されるべきである。例えば、記載される装置の実施形態は、単なる例である。例えば、ユニットへの分割は、単なる論理関数分割であり、実際の実装では別の分割である場合がある。例えば、複数のユニットまたはコンポーネントが別のシステムに結合または統合されることがあり、あるいは幾つかの構成が無視されることがあり、あるいは実行されないことがある。加えて、表示されたあるいは議論された相互結合または直接結合または通信接続は、幾つかのインターフェースを使用することによって実施されることがある。装置またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形態で実施されることがある。
別個の部分として記載されるユニットは、物理的に別個であることがありあるいは別個でないことがあり、ユニットとして表示される部分は、物理的ユニットであることがありあるいは物理的ユニットでないことがあり、１つの位置に配置されることがあり、あるいは複数のネットワークユニット上に分散されることがある。ユニットの一部または全部は、実施形態の解決策の目的を達成するために実際の要件に基づいて選択されることがある。
加えて、この出願の実施形態における機能ユニットは、１つの処理ユニットに統合されることがあり、ユニットの各々は、物理的に単独で存在することがあり、あるいは２つ以上のユニットが１つのユニットに統合されることがある。統合ユニットは、ハードウェアの形態で実装されることがあり、あるいはソフトウェア機能ユニットの形態で実装されることがある。
統合されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用されるとき、統合されたユニットは、コンピュータ読取可能な記憶媒体に格納されることがある。そのような理解に基づいて、この出願の本質的な技術的解決策、または従来技術に寄与する部分、または技術的解決策の全部または一部は、ソフトウェア製品の形態で実装されることがある。コンピュータソフトウェア製品は、記憶媒体に格納され、この出願の実施形態における方法のステップの全部または一部を実行するように（パーソナルコンピュータ、サーバ、ネットワークデバイスなどであることがある）コンピュータデバイスに命令するための幾つかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスクドライブ、読出し専用記憶装置（ＲＯＭ）、ランダムアクセス記憶装置（ＲＡＭ）、磁気ディスク、光ディスクのような、プログラムコードを格納することができる任意の媒体を含む。

Claims (25)

  1. 情報処理方法であって、
    当該情報処理方法は、検出システムにおける処理デバイスに適用され、前記検出システムは、少なくとも２つのセンサをさらに含み、前記少なくとも２つのセンサによって取得される検出情報は、少なくとも２つの同じ標的オブジェクトについて前記少なくとも２つのセンサから別個に検出情報を含み、当該情報処理方法は、
    前記処理デバイスによって、前記少なくとも２つのセンサから少なくとも２つの検出情報を取得することであって、前記少なくとも２つのセンサは、前記少なくとも２つの検出情報と１対１で対応する、取得することと、
    前記処理デバイスによって、前記少なくとも２つの検出情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定することであって、各フォーメーション情報は、前記対応するセンサによって検出されるオブジェクト間の位置関係を記述するために使用され、前記オブジェクトは、前記標的オブジェクトを含む、決定することと、
    前記処理デバイスによって、前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することであって、前記標的フォーメーション情報と前記２つのフォーメーション情報の各々との間の一致度が予め設定された閾値よりも大きく、前記標的フォーメーション情報は、前記少なくとも２つの標的オブジェクト間の位置関係を記述するために使用され、前記標的フォーメーション情報は、標的オブジェクトのフォーメーション位置情報を含む、決定することと、
    前記標的オブジェクトの任意の１つの標的オブジェクトのフォーメーション位置情報に基づいて、前記処理デバイスによって、前記少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する前記検出情報を融合させることと、を含む、
    情報処理方法。
  2. 前記検出情報は、位置特徴セットを含み、前記位置特徴セットは、少なくとも２つの位置特徴を含み、前記位置特徴は、前記対応するセンサによって検出される前記オブジェクトと前記オブジェクトの周囲のオブジェクトとの間の位置関係を示す、請求項１に記載の情報処理方法。
  3. 前記処理デバイスによって、前記少なくとも２つの検出情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定することは、
    少なくとも２つの位置特徴セットに基づいて、前記処理デバイスによって、少なくとも２つの対応する線接触情報を取得することであって、前記少なくとも２つの線接触情報の各々は、前記対応するセンサによって検出される前記オブジェクトが基準線に接触する情報を記述するために使用され、前記少なくとも２つの線接触情報は、前記少なくとも２つの位置特徴セットと１対１で対応する、取得することと、
    前記処理デバイスによって、前記少なくとも２つの線接触情報に基づいて、前記少なくとも２つの対応するフォーメーション情報を別々に決定することであって、前記少なくとも２つの線接触情報は、前記少なくとも２つのフォーメーション情報と１対１で対応する、別々に決定することと、を含む、
    請求項２に記載の情報処理方法。
  4. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報および接触点区画情報を含み、前記接触点区画情報は、前記基準線上にありかつ前記オブジェクトが前記基準線に接触する接触点の区画情報を示し、
    前記フォーメーション情報は、接触区画シーケンスを含み、前記接触区画シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する区画位置の間の時系列関係を示し、
    前記処理デバイスによって、前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することは、
    前記処理デバイスによって、少なくとも２つの接触区画シーケンスの第１の部分列を取得し、前記第１の部分列を前記標的フォーメーション情報として使用することを含み、前記第１の部分列と前記少なくとも２つの接触区画シーケンスとの間の一致度が、第１の閾値よりも大きく、
    標的オブジェクトの前記フォーメーション位置情報に基づいて、前記処理デバイスによって、前記少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する前記検出情報を融合させることは、
    前記第１の部分列内にありかつ各標的オブジェクトに対応する前記接触点区画情報に基づいて、前記処理デバイスによって、前記少なくとも２つの接触区画シーケンス内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させることを含む、
    請求項３に記載の情報処理方法。
  5. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報および接触時間間隔情報を含み、前記接触時間間隔情報は、前記オブジェクトが前記基準線に接触する時間間隔を示し、
    前記フォーメーション情報は、接触間隔シーケンスを含み、前記接触間隔シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時間間隔の分布を示し、
    前記処理デバイスによって、前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することは、
    前記処理デバイスによって、少なくとも２つの接触間隔シーケンスの第２の部分列を取得し、前記第２の部分列を前記標的フォーメーション情報として使用することを含み、前記第２の部分列と前記少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きく、
    標的オブジェクトの前記フォーメーション位置情報に基づいて、前記処理デバイスによって、前記少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する前記検出情報を融合させることは、
    前記第２の部分列内にありかつ各標的オブジェクトに対応する接触時間分布情報に基づいて、前記処理デバイスによって、前記少なくとも２つの接触間隔シーケンス内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させることを含む、
    請求項３に記載の情報処理方法。
  6. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報、接触点区画情報、および接触時間間隔情報を含み、前記接触点区画情報は、前記基準線上にありかつ前記オブジェクトが前記基準線に接触する接触点の区画情報を示し、前記接触時間間隔情報は、前記オブジェクトが前記基準線に接触する時間間隔を示し、
    前記フォーメーション情報は、接触区画シーケンスと、接触間隔シーケンスとを含み、前記接触区画シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する区画位置の間の時系列関係を示し、前記接触間隔シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時間間隔の分布を示し、
    前記処理デバイスによって、前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することは、
    前記処理デバイスによって、少なくとも２つの接触区画シーケンスの第１の部分列を取得することであって、前記第１の部分列と前記少なくとも２つの接触区画シーケンスとの間の一致度は、第１の閾値よりも大きい、取得することと、
    前記処理デバイスによって、少なくとも２つの接触間隔シーケンスの第２の部分列を取得することであって、前記第２の部分列と前記少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きい、取得することと、
    前記処理デバイスによって、第１のオブジェクトセットおよび第２のオブジェクトセットの交差を決定し、前記交差を標的オブジェクトセットとして使用することであって、前記第１のオブジェクトセットは、前記第１の部分列に対応するオブジェクトのセットであり、前記第２のオブジェクトセットは、前記第２の部分列に対応するオブジェクトのセットである、使用することと、
    前記処理デバイスによって、前記標的オブジェクトセットの前記接触区画シーケンスおよび前記接触間隔シーケンスを前記標的フォーメーション情報として使用することと、を含む、
    請求項３に記載の情報処理方法。
  7. 前記フォーメーション情報は、標的グループ分布グラフを含み、前記標的グループ分布グラフは、前記オブジェクトの間の位置関係を示し、
    前記処理デバイスによって、前記少なくとも２つの検出情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定することは、
    前記処理デバイスによって、少なくとも２つの位置特徴セットに基づいて、少なくとも２つの対応する初期標的グループ分布グラフを取得することであって、前記初期標的グループ分布グラフは、前記対応するセンサによって検出される前記オブジェクトの間の位置関係を示す、取得することと、
    前記処理デバイスによって、ビューポート変更アルゴリズムを使用することによって前記少なくとも２つの初期標的グループ分布グラフの標準ビューポートグラフを取得し、前記少なくとも２つの標準ビューポートグラフを少なくとも２つの対応する標的グループ分布グラフとして使用することと、を含み、前記標的グループ分布グラフのフォーメーション位置情報は、前記標的オブジェクトの標的オブジェクト分布情報を含み、前記標的オブジェクト分布情報は、前記対応するセンサによって検出される前記オブジェクトにおける前記標的オブジェクトの位置を示し、
    前記処理デバイスによって、前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定することは、
    前記処理デバイスによって、前記少なくとも２つの標的グループ分布グラフの画像特徴セットを取得し、前記画像特徴セットを前記標的フォーメーション情報として使用することであって、前記画像特徴セットと前記少なくとも２つの標的グループ分布グラフとの間の一致度は、第３の閾値よりも大きい、使用することと、
    標的オブジェクトの前記フォーメーション位置情報に基づいて、前記処理デバイスによって、前記少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する前記検出情報を融合させることと、
    前記画像特徴セット内にありかつ各標的オブジェクトに対応する前記標的オブジェクト分布情報に基づいて、前記処理デバイスによって、前記少なくとも２つの標的グループ分布グラフ内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させることと、を含む、
    請求項２に記載の情報処理方法。
  8. 当該情報処理方法は、さらに、
    前記少なくとも２つの位置特徴セットに基づいて、前記処理デバイスによって、前記位置特徴セットに対応する前記標的オブジェクトの少なくとも２つの線接触情報を取得することであって、前記少なくとも２つの線接触情報の各々は、前記対応するセンサによって検出される前記オブジェクトが基準線に接触する情報を記述するために使用され、前記少なくとも２つの線接触情報は、前記少なくとも２つの位置特徴セットと１対１で対応する、取得することと、
    前記処理デバイスによって、少なくとも２つの位置特徴セットに基づいて、少なくとも２つの対応する初期標的グループ分布グラフを取得することは、
    前記処理デバイスによって、前記少なくとも２つの線接触情報に基づいて、前記少なくとも２つの対応する初期標的グループ分布グラフを取得することであって、前記少なくとも２つの初期標的グループ分布グラフにおけるオブジェクトは、同じ線接触情報を有する、取得することと、を含む、
    請求項７に記載の情報処理方法。
  9. 前記少なくとも２つのセンサは、第１のセンサと、第２のセンサとを含み、前記第１のセンサに対応する空間座標系が標準座標系であり、前記第２のセンサに対応する空間座標系が標的座標系であり、当該情報処理方法は、
    前記少なくとも２つのフォーメーション情報内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させることによって取得される融合検出情報に基づいて、前記処理デバイスによって、少なくとも２つの標準点情報と少なくとも２つの標的点情報との間のマッピング関係を決定することであって、前記標準点情報は、前記標的オブジェクトセット内にありかつ前記標準座標系内にあるオブジェクトの位置情報を示し、前記標的点情報は、前記標的オブジェクトセット内にありかつ前記標的座標系内にある前記オブジェクトの位置情報を示し、前記少なくとも２つの標準点情報は、前記少なくとも２つの標的点情報と１対１で対応する、決定することと、
    前記処理デバイスによって、前記標準点情報と前記標的点情報との間の前記マッピング関係に基づいて、前記標準座標系と前記標的座標系との間のマッピング関係を決定することと、をさらに含む、
    請求項１～８のうちのいずれか１項に記載の情報処理方法。
  10. 当該情報処理方法は、前記処理デバイスによって、前記少なくとも２つのフォーメーション情報内にありかつ前記同じ標的オブジェクトに対応する前記検出情報の融合結果に基づいて、前記少なくとも２つのセンサの時間軸の間の時間差を計算することをさらに含む、請求項１～９のうちのいずれか１項に記載の情報処理方法。
  11. 前記少なくとも２つのセンサは、標準センサと、検出対象センサとを含み、当該情報処理方法は、
    前記処理デバイスによって、前記標的フォーメーション情報内にありかつ前記標準センサに対応する標準フォーメーション情報を取得することと、
    前記処理デバイスによって、前記標的フォーメーション情報内にあり且つ前記検出対象センサに対応する検出対象フォーメーション情報を取得することと、
    前記処理デバイスによって、前記検出対象フォーメーション情報と前記標準フォーメーション情報との間の差を決定することと、
    前記処理デバイスによって、前記差および前記標準フォーメーション情報に基づいて、エラーパラメータを取得することと、をさらに含み、
    前記エラーパラメータは、前記検出対象フォーメーション情報のエラーを示し、あるいは前記検出対象センサの性能パラメータを示す、
    請求項１～１０のうちのいずれか１項に記載の情報処理方法。
  12. 処理デバイスであって、
    当該処理デバイスは、検出システム内に配置され、前記検出システムは、少なくとも２つのセンサをさらに含み、前記少なくとも２つのセンサによって取得される検出情報は、少なくとも２つの同じ標的オブジェクトについて前記少なくとも２つのセンサから別々に検出情報を含み、当該処理デバイスは、プロセッサと、送受信機とを含み、
    前記送受信機は、前記少なくとも２つのセンサから少なくとも２つの前記検出情報を取得するように構成され、前記少なくとも２つのセンサは、前記少なくとも２つの検出情報と１対１で対応し、
    前記プロセッサは、
    前記少なくとも２つの検出情報に基づいて、少なくとも２つの対応するフォーメーション情報を決定するように構成され、各フォーメーション情報は、前記対応するセンサによって検出されるオブジェクトの間の位置関係を記述するために使用され、前記オブジェクトは、標的オブジェクトを含み、
    前記少なくとも２つのフォーメーション情報に基づいて、標的フォーメーション情報を決定するように構成され、前記標的フォーメーション情報と前記少なくとも２つのフォーメーション情報の各々との間の一致度は、予め設定された閾値よりも大きく、前記標的フォーメーション情報は、前記少なくとも２つの標的オブジェクトの間の位置関係を記述するために使用され、前記標的フォーメーション情報は、標的オブジェクトのフォーメーション位置情報を含み、
    前記標的オブジェクトの任意の１つの標的オブジェクトのフォーメーション位置情報に基づいて、前記少なくとも２つのフォーメーション情報内にありかつ同じ標的オブジェクトに対応する前記検出情報を融合させように構成される、
    処理デバイス。
  13. 前記検出情報は、位置特徴セットを含み、前記位置特徴セットは、少なくとも２つの位置特徴を含み、前記位置特徴は、前記対応するセンサによって検出される前記オブジェクトと前記オブジェクトの周囲のオブジェクトとの間の位置関係を示す、請求項１２に記載の処理デバイス。
  14. 前記プロセッサは、具体的には、
    少なくとも２つの位置特徴セットに基づいて、少なくとも２つの対応する線接触情報を取得するように構成され、前記少なくとも２つの線接触情報の各々は、前記対応するセンサによって検出される前記オブジェクトが基準線に接触する情報を記述するために使用され、前記少なくとも２つの線接触情報は、前記少なくとも２つの位置特徴セットと１対１で対応し、
    前記少なくとも２つの線接触情報に基づいて、前記少なくとも２つの対応するフォーメーション情報を別々に決定するように構成され、前記少なくとも２つの線接触情報は、前記少なくとも２つのフォーメーション情報と１対１で対応する、
    請求項１３に記載の処理デバイス。
  15. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報および接触点区画情報を含み、前記接触点区画情報は、前記基準線上にありかつ前記オブジェクトが前記基準線に接触する接触点の区画情報を示し、
    前記フォーメーション情報は、接触区画シーケンスを含み、前記接触区画シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する区画位置の間の時系列関係を示し、
    前記プロセッサ、具体的には、
    少なくとも２つの接触区画シーケンスの第１の部分列を取得し、前記第１の部分列を前記標的フォーメーション情報として使用するように構成され、前記第１の部分列と前記少なくとも２つの接触区画シーケンスとの間の一致度は、第１の閾値よりも大きく、
    前記第１の部分列内にありかつ各標的オブジェクトに対応する前記接触点区画情報に基づいて、前記少なくとも２つの接触区画シーケンス内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させるように構成される、
    請求項１４に記載の処理デバイス。
  16. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報および接触時間間隔情報を含み、前記接触時間間隔情報は、前記オブジェクトが前記基準線に接触する時間間隔を示し、
    前記フォーメーション情報は、接触間隔シーケンスを含み、前記接触間隔シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時間間隔の分布を示し、
    前記プロセッサは、具体的には、
    少なくとも２つの接触間隔シーケンスの第２の部分列を取得し、前記第２の部分列を前記標的フォーメーション情報として使用するように構成され、前記第２の部分列と前記少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きく、
    前記第２の部分列内にありかつ各標的オブジェクトに対応する接触時間分布情報に基づいて、前記少なくとも２つの接触間隔シーケンス内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させるように構成される、
    請求項１４に記載の処理デバイス。
  17. 前記線接触情報は、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時系列情報、接触点区画情報、および接触時間間隔情報を含み、前記接触点区画情報は、前記基準線上にありかつ前記オブジェクトが前記基準線に接触する接触点の区画情報を示し、前記接触時間間隔情報は、前記オブジェクトが前記基準線に接触する時間間隔を示し、
    前記フォーメーション情報は、接触区画シーケンスと、接触間隔シーケンスとを含み、前記接触区画シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する区画位置の間の時系列関係を示し、前記接触間隔シーケンスは、前記対応するセンサによって検出される前記オブジェクトが前記基準線に接触する時間間隔の分布を示し、
    前記プロセッサは、具体的には、
    少なくとも２つの接触区画シーケンスの第１の部分列を取得するように構成され、前記第１の部分列と前記少なくとも２つの接触区画シーケンスとの間の一致度は、第１の閾値よりも大きく、
    少なくとも２つの接触間隔シーケンスの第２の部分列を取得するように構成され、前記第２の部分列と前記少なくとも２つの接触間隔シーケンスとの間の一致度は、第２の閾値よりも大きく、
    第１のオブジェクトセットおよび第２のオブジェクトセットの交差を決定し、前記交差を標的オブジェクトセットとして使用するように構成され、前記第１のオブジェクトセットは、前記第１の部分列に対応するオブジェクトのセットであり、前記第２のオブジェクトセットは、前記第２の部分列に対応するオブジェクトのセットであり、
    前記標的オブジェクトセットの前記接触区画シーケンスおよび前記接触間隔シーケンスを前記標的フォーメーション情報として使用するように構成される、
    請求項１４に記載の処理デバイス。
  18. 前記フォーメーション情報は、標的グループ分布グラフを含み、前記標的グループ分布グラフは、前記オブジェクトの間の位置関係を示し、
    前記プロセッサは、具体的には、
    少なくとも２つの位置特徴セットに基づいて、少なくとも２つの対応する初期標的グループ分布グラフを取得するように構成され、前記初期標的グループ分布グラフは、前記対応するセンサによって検出される前記オブジェクトの間の位置関係を示し、
    ビューポート変更アルゴリズムを使用することによって前記少なくとも２つの初期標的グループ分布グラフの標準ビューポートグラフを取得し、少なくとも２つの標準ビューポートグラフを少なくとも２つの対応する標的グループ分布グラフとして使用するように構成され、前記標的グループ分布グラフのフォーメーション位置情報は、前記標的オブジェクトの標的オブジェクト分布情報を含み、前記標的オブジェクト分布情報は、前記対応するセンサによって検出される前記オブジェクトにおける前記標的オブジェクトの位置を示し、
    前記プロセッサは、具体的には、
    前記少なくとも２つの標的グループ分布グラフの画像特徴セットを取得し、前記画像特徴セットを前記標的フォーメーション情報として使用するように構成され、前記画像特徴セットと前記少なくとも２つの標的グループ分布グラフとの間の一致度は、第３の閾値よりも大きく、
    前記プロセッサは、具体的には、
    前記画像特徴セット内にありかつ各標的オブジェクトに対応する前記標的オブジェクト分布情報に基づいて、前記少なくとも２つの標的グループ分布グラフ内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させるように構成される、
    請求項１３に記載の処理デバイス。
  19. 前記プロセッサは、
    前記少なくとも２つの位置特徴セットに基づいて、前記画像特徴セットに対応する前記標的オブジェクトの少なくとも２つの線接触情報を取得するようにさらに構成され、前記少なくとも２つの線接触情報の各々は、前記対応するセンサによって検出される前記オブジェクトが基準線に接触する情報を記述するために使用され、前記少なくとも２つの線接触情報は、前記少なくとも２つの位置特徴セットと１対１で対応し、
    前記プロセッサは、具体的には、
    前記少なくとも２つの線接触情報に基づいて、前記少なくとも２つの対応する初期標的グループ分布グラフを取得するように構成され、前記少なくとも２つの初期標的グループ分布グラフにおけるオブジェクトは、同じ線接触情報を有する、
    請求項１８に記載の処理デバイス。
  20. 前記少なくとも２つのセンサは、第１のセンサと、第２のセンサとを含み、前記第１のセンサに対応する空間座標系が標準座標系であり、前記第２のセンサに対応する空間座標系が標的座標系であり、前記プロセッサは、さらに、
    前記少なくとも２つのフォーメーション情報内にありかつ前記同じ標的オブジェクトに対応する前記検出情報を融合させることによって取得される融合検出情報に基づいて、少なくとも２つの標準点情報と少なくとも２つの標的点情報との間のマッピング関係を決定するように構成され、前記標準点情報は、前記標的オブジェクトセット内にありかつ前記標準座標系内にあるオブジェクトの位置情報を示し、前記標的点情報は、前記標的オブジェクトセット内にありかつ前記標的座標系内にある前記オブジェクトの位置情報を示し、前記少なくとも２つの標準点情報は、前記少なくとも２つの標的点情報と１対１で対応し、
    前記標準点情報と前記標的点情報との間の前記マッピング関係に基づいて、前記標準座標系と前記標的座標系との間のマッピング関係を決定するように構成される、
    請求項１２～１９のうちのいずれか１項に記載の処理デバイス。
  21. 前記プロセッサは、前記少なくとも２つのフォーメーション情報内にありかつ前記同じ標的オブジェクトに対応する前記検出情報の融合結果に基づいて、前記少なくとも２つのセンサの時間軸の間の時間差を計算するようにさらに構成される、請求項１２～２０のうちのいずれか１項に記載の処理デバイス。
  22. 前記少なくとも２つのセンサは、標準センサと、検出対象センサとを含み、前記プロセッサは、
    前記標的フォーメーション情報内にありかつ前記標準センサに対応する標準フォーメーション情報を取得し、
    前記標的フォーメーション情報内にあり且つ前記検出対象センサに対応する検出対象フォーメーション情報を取得し、
    前記検出対象フォーメーション情報と前記標準フォーメーション情報との間の差を決定し、
    前記差および前記標準フォーメーション情報に基づいて、エラーパラメータを取得する、ようにさらに構成され、
    前記エラーパラメータは、前記検出対象フォーメーション情報のエラーを示し、あるいは前記検出対象センサの性能パラメータを示す、
    請求項１２～２１のうちのいずれか１項に記載の処理デバイス。
  23. プロセッサと、前記プロセッサに結合されるメモリとを含み、
    前記メモリは、前記プロセッサによって実行される実行可能命令を格納し、前記実行可能命令は、前記プロセッサに命令して、請求項１～１１のうちのいずれか１項に記載の方法を実行させる、
    処理デバイス。
  24. コンピュータ読取可能記憶媒体であって、当該コンピュータ読取可能記憶媒体は、プログラムを格納し、コンピュータが前記プログラムを実行するときに、請求項１～１１のうちのいずれか１項に記載の方法が実行される、コンピュータ読取可能記憶媒体。
  25. コンピュータプログラム製品であって、当該コンピュータプログラム製品がコンピュータで実行されるときに、前記コンピュータは、請求項１～１１のうちのいずれか１項に記載の方法を実行する、コンピュータプログラム製品。
JP2023550693A 2021-02-27 2021-11-17 情報処理方法および関連デバイス Pending JP2024507891A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110221913.6 2021-02-27
CN202110221913.6A CN114972935A (zh) 2021-02-27 2021-02-27 一种信息处理方法及相关设备
PCT/CN2021/131058 WO2022179197A1 (zh) 2021-02-27 2021-11-17 一种信息处理方法及相关设备

Publications (1)

Publication Number Publication Date
JP2024507891A true JP2024507891A (ja) 2024-02-21

Family

ID=82973145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023550693A Pending JP2024507891A (ja) 2021-02-27 2021-11-17 情報処理方法および関連デバイス

Country Status (5)

Country Link
US (1) US20230410353A1 (ja)
EP (1) EP4266211A4 (ja)
JP (1) JP2024507891A (ja)
CN (1) CN114972935A (ja)
WO (1) WO2022179197A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198076A1 (en) * 2018-04-11 2019-10-17 Ionterra Transportation And Aviation Technologies Ltd. Real-time raw data- and sensor fusion
CN109444911B (zh) * 2018-10-18 2023-05-05 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CN111257866B (zh) * 2018-11-30 2022-02-11 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN109615870A (zh) * 2018-12-29 2019-04-12 南京慧尔视智能科技有限公司 一种基于毫米波雷达和视频的交通检测系统
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
CN109977895B (zh) * 2019-04-02 2020-10-16 重庆理工大学 一种基于多特征图融合的野生动物视频目标检测方法
CN112305576A (zh) * 2020-10-31 2021-02-02 中环曼普科技(南京)有限公司 一种多传感器融合的slam算法及其系统

Also Published As

Publication number Publication date
EP4266211A1 (en) 2023-10-25
WO2022179197A1 (zh) 2022-09-01
US20230410353A1 (en) 2023-12-21
CN114972935A (zh) 2022-08-30
EP4266211A4 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
CN106503653B (zh) 区域标注方法、装置和电子设备
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
US9251598B2 (en) Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20150294496A1 (en) Probabilistic person-tracking using multi-view fusion
CN111814752B (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN110501036A (zh) 传感器参数的标定检查方法及装置
CN111045000A (zh) 监测系统和方法
CN110067274B (zh) 设备控制方法及挖掘机
CN105825495A (zh) 物体检测装置和物体检测方法
CN113034586B (zh) 道路倾角检测方法和检测系统
CN106327461A (zh) 一种用于监测的图像处理方法及装置
CN112950717A (zh) 一种空间标定方法和系统
CN111784730A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN112562005A (zh) 一种空间标定方法和系统
CN115457084A (zh) 一种多相机目标检测跟踪方法、装置
CN115272493A (zh) 一种基于连续时序点云叠加的异常目标检测方法及装置
CN117392423A (zh) 基于激光雷达的目标物的真值数据预测方法、装置及设备
CN114049767A (zh) 一种边缘计算方法、装置及可读存储介质
CN111157012B (zh) 一种机器人导航方法、装置、可读存储介质及机器人
JP2024507891A (ja) 情報処理方法および関連デバイス
KR102531286B1 (ko) 깊이 정보 추정 모델 학습을 위한 데이터 처리 방법 및 장치
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
CN116259001A (zh) 一种多视角融合的三维行人姿态估计与追踪方法
CN115542271A (zh) 雷达坐标和视频坐标标定方法、设备及相关装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514