JP6514192B2 - ライダに基づいたオブジェクト移動の分類 - Google Patents

ライダに基づいたオブジェクト移動の分類 Download PDF

Info

Publication number
JP6514192B2
JP6514192B2 JP2016519601A JP2016519601A JP6514192B2 JP 6514192 B2 JP6514192 B2 JP 6514192B2 JP 2016519601 A JP2016519601 A JP 2016519601A JP 2016519601 A JP2016519601 A JP 2016519601A JP 6514192 B2 JP6514192 B2 JP 6514192B2
Authority
JP
Japan
Prior art keywords
rider
voxel
lidar
voxels
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016519601A
Other languages
English (en)
Other versions
JP2016529475A (ja
Inventor
マシュー ローガン アロン
マシュー ローガン アロン
Original Assignee
ウーバー テクノロジーズ,インコーポレイテッド
ウーバー テクノロジーズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウーバー テクノロジーズ,インコーポレイテッド, ウーバー テクノロジーズ,インコーポレイテッド filed Critical ウーバー テクノロジーズ,インコーポレイテッド
Publication of JP2016529475A publication Critical patent/JP2016529475A/ja
Application granted granted Critical
Publication of JP6514192B2 publication Critical patent/JP6514192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)

Description

本発明は、ライダ(LIDAR)に基づいたオブジェクト移動の分類に関する。
マシンビジョンの分野では、多くのシナリオが、物体の動き追跡、スピード推定の技術および装置等、様々なオブジェクトの移動の検出を伴う。例えば、わずかな時間に撮影したシーンの一連の画像を評価して、幾つかの連続した画像に見られる特定のオブジェクトを識別し、シーンの様々な幾何学的特性に基づいて、撮影した時間にわたるシーンを通したオブジェクト移動を推定することができる。このようなシナリオの一部は、これらオブジェクトのリアルタイムまたはリアルタイムに近い評価を伴い、一方、他のシナリオは、以前に撮影した画像の遡及評価を伴うことができ、例えば、通りを走る車両が、シーンの一連の画像を撮影し、その画像をつなぎ合わせて、シーンのパノラミックビューまたは動的ビューを形成することができ、後に、その画像を後処理して、撮影中に存在する一時的なオブジェクトによって、その景色から障害物を取り除くことができる。
本概要では、発明を実施するための形態で以下にさらに詳細に記載する概念の一部を簡単な形で紹介する。本概要は、特許を請求する発明の内容の主な要素または不可欠な特徴を特定することを意図したものではなく、特許を請求する発明の内容の範囲を制限するのに使用されることも意図していない。
オブジェクトが、識別され、移動中または静止中として推定され、一連の自然光画像から取り除かれる場合、視覚画像の分析のみで達成し得るこのような推定の正確さは、限定的である。しかしながら、その分析は、ライダ(LIDAR)によって収集されたこのようなオブジェクトに関する距離情報で補い得る。ライダは、オブジェクトの検出、回避、及びナビゲーションのために車両に備えられていることが多い。オブジェクトの各タイプは、ライダデータの明らかに異なるシグネチャーを示し得るので、ライダの利用可能性および使用は、このようなオブジェクトが移動中か静止中かを評価するために特に意義深い高精度なデータソースを提供し得る。
これらの観察の結果を考慮して、ライダポイントクラウド(lidar point cloud)に描かれたオブジェクトの移動を検出する技術を本明細書に示す。これらの技術は、ライダポイントクラウドの各ライダポイントを三次元ボクセル(voxel)空間のボクセルにマップすることと、三次元ボクセル空間内で隣接箇所を共有するボクセルのボクセルクラスタによって表された少なくとも1つのオブジェクトを識別する。これらの技術は、また、ライダポイントクラウドの各ライダポイントに関して、ライダポイントを選択されたオブジェクトと関連付けることと、選択されたオブジェクトに従ってライダポイントの移動を分類することと、を伴う。最後に、これらの技術は、各オブジェクトに関して、オブジェクトに関連付けられた各ライダポイントの移動に従ってオブジェクトの移動を分類することを伴う。ライダポイントクラウドに示された各オブジェクトの移動をこのように検出することによって、本明細書に提示の技術は、視覚空間でオブジェクトの移動中または静止中の高精度な分類を可能にし得る。視覚空間においては、このような分類は、本明細書に提示の技術に従った、様々なさらなる処理技術(例えば、オブジェクトに関する1または複数の画像に焦点を当てる、オブジェクトの位置、向き、速度、及び/または、加速度を推定する、ライダポイントクラウドが表すエリアを示す画像からオブジェクトを取り除く)にとって有用であると思われる。
前述のまたは関連する目的を達成するために、以下の記載及び添付の図面は、幾つかの例示の態様及び実装例を示す。これらは、1または複数の態様を採用し得る様々な方法のうちの幾つかを示している。本開示の他の態様、利点、及び、新規な特徴は、以下の詳細な記載を添付の図面と共に検討すると明らかとなろう。
環境内を移動しながら、環境の画像と環境に存在する他のオブジェクトの画像を撮像している車両に焦点を当てた例示のシナリオを示す図である。 車両の周囲の環境と、環境内に存在する他のオブジェクトを示すライダポイントクラウドの撮影に焦点を当てた例示のシナリオを示す図である。 本明細書に提示の技術に係る、識別されたオブジェクトを静止中または移動中として分類する、経時的なライダポイントクラウドの評価に焦点を当てた例示のシナリオを示す図である。 本明細書に提示の技術に係る、識別されたオブジェクトを静止中または移動中として分類するために経時的にライダポイントクラウドを評価する例示の方法を示すフロー図である。 本明細書に提示されたす技術に係る、識別されたオブジェクトを静止中または移動中として分類するために経時的にライダポイントクラウドを評価するように構成された例示のシステムを示すコンポーネントブロック図である。 本明細書に記載の規定の1または複数を具体化するように構成されたプロセッサ実行可能命令を含む例示のコンピュータ可読媒体を示す図である。 本明細書に提示の技術に係る、近くのオブジェクトを区別するために、オブジェクト分類後のライダポイントクラウド再分割に焦点を当てた例示のシナリオを示す図である。 本明細書に記載の規定の1または複数を実施することができる、例示のコンピュータ環境を示す図である。
特許を請求する発明の内容を図面を参照して記載する。図中、類似の参照番号は、類似の要素を指す。以下の記載において、特許を請求する発明の内容が完全に理解できるように、説明目的で多くの具体的詳細を記載する。しかしながら、特許を請求する発明の内容は、これらの具体的詳細以外で実践してよいことは明らかである。別の例においては、構造及び装置は、特許を請求する発明の内容の記載を容易にするためにブロック図の形式で示す。
A.導入
マシンビジョンの分野においては、多くのシナリオは、環境の画像を自動で識別して、環境に存在し画像に示されたオブジェクトを検出すること、より詳細には、オブジェクトの位置、サイズ、向き、速度、及び/または、加速度を識別することを伴う。第1の例として、評価は、障害物回避を容易にするために、道路上の車、自転車、及び歩行者と、標識、樹木、及び建物とを含む交通環境における車両を伴ってよい。第2の例としては、物理的オブジェクト追跡システムは、オブジェクトと相互作用する(例えば、ボールまたは他の投げられたオブジェクトをキャッチする)ために環境内でのオブジェクトの動きを評価することができる。第3の例としては、モーションキャプチャ環境に存在する人間の行為者は、人間のような動きを有するアニメーション化された人物をレンダリングするために、様々なアクションを行いながら記録されてよい。様々なシナリオにおいて、(例えば、装置または個人が他の現在のオブジェクトと相互作用するのを容易にするために)リアルタイムまたはリアルタイムに近い分析を行ってよく、他のシナリオにおいては、分析は、(例えば、撮影時に存在したオブジェクトの移動を識別するために)遡及的に行われてよい。これら及び他のシナリオは、例えば、静止カメラまたは移動カメラを用いた可視光画像のセットの撮影及び評価と、人間が見ることができる画像への視覚処理技術の適用を伴うことが多い。例えば、マシンビジョン技術は、画像のコンテンツから、光源からのシャドーイング、遠近感、相対的サイズ、及び視差効果等の視覚的手がかりに基づいて、オブジェクトのタイプ、色、サイズ、形、向き、位置、スピード、及び、加速度の評価を試みてよい。
図1は、環境100の一連の画像を撮影するためにカメラ106を操作しながら、例えば、特定の速度ベクトル104で環境100内を運転中の車両102に焦点を当てた例示のシナリオを示す。この例示のシナリオにおいて、他の車両102も環境100に存在し、速度ベクトル104を有する車両102も、駐車した車等の静止した車両108も含んでよい。環境100は、人110等の他の種類の移動しているオブジェクトと、標識112及び建物114等の様々な静止したオブジェクトも含んでよい。この環境において、車両102の運転者は、各車両102の速度ベクトル104と、人110の識別を試み、移動中の車両102と静止中の車両108の区別、移動中及び静止中の他の種類のオブジェクトの区別を試みるかもしれない。リアルタイムに近い分析が行われる場合、この分析の結果は、車両102のナビゲーションを支援することができる(近くの他の車両102とスピードを一致させる、及び、突然の速度の変化を避けるためにブレーキやハンドルを操作する等)。さらに、この分析の結果は、遡及的に有用となり得る。例えば、環境100の障害物のないビューを生成するために、及び/または、よりはっきりした視覚化、オブジェクトのさらなる分類(例えば、移動中の車両のメーカーやモデルを識別すること)、及び、移動追跡を含む、様々な適用のために移動中のオブジェクトのより正確な三次元モデルを生成するために、例えば、カメラ106が撮影した画像から描写された車両102や他のオブジェクトの除去に遡及的に有用となり得る。
しかしながら、これらのシナリオにおいて、視覚画像の点検によってオブジェクト移動を識別できる精度には限界がある。例えば、遠近法や視差等の技術は、特に、カメラのレンズから遠いオブジェクトに関しては、大まかな推定しかできない可能性があり、及び/または、グレアや影等の視覚的アーチファクトによってゆがめられる場合がある。結果として、このような評価技術によって、低精度及び/または高いエラー率の推定となり、特定の用途には不十分な場合がある。
B.提示された技術
オブジェクト移動の評価を伴う多くのシナリオは、レーザーイメージング(ライダ)撮影装置からのデータへのアクセスも有する装置(車両102等)を介して達成され得る。レーザーイメージング撮影装置は、特定の波長の光の低出力の収束ビームのセットを発し、様々なオブジェクトからのこのような波長の光の反射を検出、記録し得る。検出されたライダデータを用いて、ライダポイントクラウドを生成することができる。ライダポイントクラウドは、オブジェクトから反射されて検出器に戻る光のライダポイントを表すことによって、環境100に存在するオブジェクトの特定のポイントを示す。ライダデータを経時的に捕捉、評価することによって、このような装置は、ライダ検出器の周囲のオブジェクトの相対的位置(例えば、カメラ106を操作している車両102に対する他の車両102の位置)の表現を構築することができる。
図2は、ライダポイントクラウドを用いたオブジェクト(例えば、車両102)の捕捉に焦点を当てた例示のシナリオ200を示す。この例示のシナリオ200においては、第1の車両102は、速度ベクトル104を有する移動中の車両102と、動きが検出されない静止した車両108との後ろに位置する。第1の車両102は、第1の車両102の前にライダ信号204を発するライダエミッタ202を備えることができる。ライダ信号204のライダ反射206は、ライダ検出器208によって検出され、一連のライダポイントクラウド210として捕捉されてよい。一連のライダポイントクラウド210は、各時点212において、環境100内でライダ検出器208によって検出されたライダポイント214を表す。具体的には、検出されたライダポイント214は、特定のオブジェクト(車両102等)の辺りに集まってよく、ライダ検出器208が、各時点212におけるオブジェクトの存在、サイズ、及び/または、範囲を識別できるようにする。さらに、車両102または他のオブジェクトの範囲を経時的に比較することによって、ライダ検出器208は、オブジェクトのおおよその速度を決定することができる。例えば、ライダポイントクラウド210を経時的に比較すると、移動中の車両102を表すライダポイント214と、静止中の車両108を表すライダポイント214とは、互いに対して、及び、第1の車両102に対して移動する場合がある。しかしながら、ライダ検出器208を搭載している車両102も移動している場合、ライダポイントクラウド210のライダポイント214によって表される車両102または他のオブジェクトのおおよその速度は、不正確になる可能性がある。例えば、静止した車両108は、移動しているように見え、ライダ検出器208を搭載している車両102とほぼ同じ速度と方向に移動している車両102は、静止した車両108のように見える。オブジェクトが三次元空間で経時的に移動しているとして検出される場合、及び/または、ライダ検出器208を搭載している車両102の向きも変化する(例えば、加速、減速、及び/または、方向転換)場合、このような複雑さは、増幅され得る。これらの要因を考慮すると、各オブジェクト(車両102等)が移動中か静止中かを判断することさえ、困難になる場合がある。
各オブジェクト(車両102等)が移動中か静止中かを分類するために、また、オプションで、位置や速度等の他の特性を識別するために、各ライダポイントクラウド210のライダポイント214を三次元空間に変換する技術を利用することができる。図3は、ライダポイントクラウド210のセットに描写されたオブジェクトを分類するための変換に焦点を当てた例示のシナリオ300を示す。この例示のシナリオ300において、各ライダポイントクラウド210に関して、ライダポイント214は、三次元ボクセル空間304のボクセル306にマップされる(302)。次に、三次元ボクセル空間304のボクセル306を評価して、ボクセル306の1または複数のボクセルクラスタ(例えば、ライダポイントクラウド210の1または複数のライダポイント214に占有され、かつ、別の占有ボクセル306の特定の数のボクセル306内など、三次元ボクセル空間304のその他の占有ボクセル306と隣接箇所を共有するボクセル306)を検出してよく、その結果、三次元ボクセル空間304に対応するオブジェクト空間310内で1または複数のオブジェクト312を識別する(308)。次に、ライダポイントクラウド210の各ライダポイント214に関して、ライダポイント214は、選択されたオブジェクト312に関連付けられてよい。そして、ライダポイント214の移動は、選択されたオブジェクト312に従って分類されてよい(例えば、オブジェクトは、三次元ボクセル空間304のオブジェクト312を用いて移動中か静止中か識別されてよい)。オブジェクト312に関連付けられたライダポイント214の分類された移動(例えば、各時点212でオブジェクト空間310に追加された)、ライダポイント214の投影314、及び、各オブジェクト312に関連付けられたライダポイント214の移動の評価に従って、各オブジェクト312の移動を分類することができる。例えば、図3の投影314に示されたように、第1のオブジェクト312に関連付けられたライダポイント214は、三次元ボクセル空間304を考慮して投影後、ライダ検出器208に対して移動しているように見え、その結果、移動中のオブジェクトとして、オブジェクト312の分類316となる。一方、第2のオブジェクト312に関連付けられたライダポイント214は、三次元ボクセル空間304を考慮して投影後、ライダ検出器208の移動に合わせて調整後、静止して見え、その結果として、静止したオブジェクトとしてオブジェクト312の分類316となる。このように、図3の例示のシナリオ300に示された技術は、ライダポイントクラウド210で示された環境100内で識別されたオブジェクト312の分類316を、本明細書に提示の技術に従って静止したオブジェクト及び移動中のオブジェクトにすることができる。
C.例示の実施形態
図4は、本明細書に提示の技術の第1の例示の実施形態を、ライダポイントクラウド210に示されたオブジェクト312の移動を検出する例示の方法400として示す。例示の方法400は、例えば、メモリ回路、ハードディスクドライブのプラッタ、固体記憶装置、磁気ディスク、または、光ディスク等の、装置のメモリ装置に記憶され、装置のプロセッサ上で実行されると、本明細書に提示の技術に従って装置を動作させるように構成された命令セットとして実施されてよい。例示の方法400は、402で開始し、装置のプロセッサ上で命令を実行すること(404)を伴う。詳細には、これらの命令は、各ライダポイント214をマップする(406)ように構成されてよい。環境100に存在するオブジェクト312の識別及び移動の分類を、各時点212のライダポイントクラウド210から達成すると、例示の方法400は、本明細書に提示の技術をオブジェクト312の移動の分類に適用し、418で終了する。
図5は、本明細書に提示の技術の第2の例示の実施形態を、環境100のライダポイントクラウド210に示されるオブジェクト312の移動を分類するように構成された例示のシステム506として示す。例示のシステム506は、例えば、装置502のメモリコンポーネントに記憶され、装置502のプロセッサ504で実行されると、本明細書に提示の技術に従って装置502を動作させるように構成される命令として、実施されてよい。例示のシステム506は、オブジェクト識別部508を備える。オブジェクト識別部508は、ライダポイントクラウド210の各ライダポイント214を三次元ボクセル空間304のボクセル306にマップし(302)、三次元ボクセル空間304内で隣接箇所を共有するボクセル306のボクセルクラスタによって表された少なくとも1つのオブジェクト312を識別する(308)ように構成される。例示のシステム506は、オブジェクト移動分類部510も備える。オブジェクト移動分類部510は、ライダポイントクラウド210の各ライダポイント214に関して、ライダポイント214を選択されたオブジェクト312に関連付け、選択されたオブジェクト312に従ってライダポイント214の移動を分類し、各オブジェクト312に関して、オブジェクト312に関連付けられた各ライダポイント214の移動に従って、オブジェクト312の移動を分類するように構成される。例示のシステム506のこれらのコンポーネントの相互運用によって、装置502は、ライダポイントクラウド210のライダポイント214によって表されたオブジェクト312の分類316を本明細書に提示の技術に従って行うことができる。
さらに別の実施形態は、本明細書に記載の技術を適用するように構成されたプロセッサ実行可能命令を含むコンピュータ可読媒体を伴う。このようなコンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体を含んでよい。コンピュータ可読記憶媒体は、半導体メモリ(例えば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、及び/または、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)技術を用いた半導体)、ハードディスクドライブのプラッタ、フラッシュメモリ装置、磁気または光ディスク(CD‐R、DVD―R、フロッピー(登録商標)ディスク等)などの有形の装置を含み、装置のプロセッサによって実行されると、本明細書に提示の技術を装置に実施させるコンピュータ可読命令セットを符号化する。このようなコンピュータ可読媒体は、(コンピュータ可読記憶媒体とは異なる技術のクラスとして)、様々な物理的現象を通して伝播され得る信号(例えば、電磁信号、音波信号、または、光信号)、様々な有線のシナリオ(例えば、イーサネット(登録商標)または光ファイバケーブルを介して)、及び/または、無線シナリオ(例えば、WiFi等の無線ローカルエリアネットワーク(WLAN)、ブルートゥース等のパーソナルエリアネットワーク(PAN)、または、セルラーまたはラジオネットワーク)の様々な種類の通信媒体も含んでよい。また、このようなコンピュータ可読媒体は、装置のプロセッサによって実行されて、装置に本明細書に提示の技術を実施させるコンピュータ可読命令セットを符号化する。
これらの方法で考案され得る例示のコンピュータ可読媒体を図6に示す。実装例600は、コンピュータ可読媒体602(例えば、CD‐R、DVD―R、または、ハードディスクドライブのプラッタ)を含み、コンピュータ可読媒体602上で、コンピュータ可読データ604は符号化される。このコンピュータ可読データ604は、本明細書に記載の原理に従って動作するように構成されたコンピュータ命令セット606を含む。このような一実施形態においては、プロセッサ実行可能命令606は、図4の例示の方法400等、ライダポイントクラウド210に従ってオブジェクト312の移動を分類する方法608を行うように構成されてよい。別のこのような実施形態において、プロセッサ実行可能命令606は、図5の例示のシステム506等、ライダポイントクラウド210に従ってオブジェクト312の移動を分類するシステムを実施するよう構成されてよい。このコンピュータ可読媒体の一部の実施形態は、このように構成されたプロセッサ実行可能命令を記憶するように構成されたコンピュータ可読記憶媒体(例えば、ハードディスクドライブ、光ディスク、または、フラッシュメモリ装置)を含んでよい。本明細書に提示の技術に従って動作するように構成された多くのこのようなコンピュータ可読媒体が、当業者によって考案されてよい。
D.変形形態
本明細書に記載の技術は、多くの態様において変形されてよい、また、一部の変形形態は、追加の利点を提供し得る、及び/または、これら及び他の技術の他の変形形態に関する欠点を減らし得る。さらに、一部の変形形態は、組み合わせて実施されてよく、一部の組み合わせは、相乗作用によって、利点を追加し、及び/または、欠点を減らし得る。変形形態は、様々な実施形態(例えば、図4の例示の方法400、及び、図5の例示のシステム506)に組み込まれて、このような実施形態に、個々の利点、及び/または、相乗的な利点を与えてよい。
Dl.シナリオ
これらの技術の実施形態により変わり得る第1の態様は、このような技術を利用し得るシナリオに関する。
この第1の態様の第1の変形形態として、本明細書に提示の技術を用いて、道路を走行する車及び自転車等の環境100を走行する車両102、空中を飛行する飛行機、モーションキャプチャ環境100等のエリアを移動する人、及び、弾道体等の空中を移動する発射体を含む、多くの種類のオブジェクトを評価することができる。
この第1の態様の第2の変形形態として、本明細書に提示の技術は、可視光、近赤外光、赤外光、近紫外光、または、紫外光を含む、多くの種類のライダ信号204と共に利用されてよい。様々な波長のライダ信号204は、様々な媒体(例えば、水、または、様々な湿度の空気)を介した経路、様々な形態の界面への感度、及び、達成可能な解像度等、異なるシナリオで有利になり得る様々な特性を提示することができる。
この第1の態様の第3の変形形態として、本明細書に提示の技術は、様々な種類のレーザ及び光度検出器等、様々な種類のライダエミッタ202及び/またはライダ検出器208と共に利用されてよい。さらに、このような機器は、他の技術の性能で用いられてよく(例えば、車両操縦システムで範囲検出のために備えられるライダ機器は、移動または静止しているオブジェクトの分類にも適切であり得る)、同時または連続した技術のセットの両方に適用することができる。
この第1の態様の第4の変形形態として、本明細書に提示の技術に従ったオブジェクト312の分類316は、多くの点で利用可能であってよい。第1の例として、オブジェクト312の移動中または静止中の分類316は、オブジェクト312が存在する対応する画像の領域を識別するのに利用可能であってよい。従って、オブジェクトベースの画像評価技術は、例えば、オブジェクト312の自動評価及び/または識別を行うために、(例えば、画像内のオブジェクト312に関連する個人のプライバシーを公に利用可能にするのを促進して)編集すべき画像の部分を識別するために、及び/または、画像内のオブジェクト312の存在を補うために(例えば、環境100の三次元モデルを再構築しながら画像の曖昧なエリアを避けるために移動中のオブジェクトとして分類されたオブジェクトを除く)、画像の特定のエリアにフォーカスすることができる。第2の例として、オブジェクト312の分類316は、オブジェクト認識、例えば、各オブジェクト312を、オブジェクト312の移動に従ってオブジェクトタイプとして分類すること、を推進することができる。例えば、装置は、オブジェクト312のオブジェクトタイプ分類を選択するように訓練されたオブジェクトタイプ分類部を備えてよく、装置は、オブジェクトタイプ分類部に、オブジェクト312の移動の分類316を考慮して、オブジェクト312をオブジェクトタイプに分類させてよい。当業者は、本明細書に提示の技術に従って、オブジェクト312の分類316に関する広範な種類のこのようなシナリオ及び/または用途を考案することができる。
D2.ボクセルマッピング及びクラスタリング
本明細書に提示の技術の実施形態によって変わり得る第2の態様は、ライダポイントクラウド210のライダポイント214の三次元ボクセル空間304のボクセル306へのマッピング(302)に関する。
この第1の態様の第1の変形形態として、マッピング302は、様々なサイズの三次元ボクセル空間304を伴ってよい。例えば、ボクセル306は、三次元ボクセル空間304全体に均一に間隔を置いて並べられてよく、または、サイズ及び/または密度が異なってよい。ある実施形態においては、距離に亘るレーザの潜在的な分散を補うために、三次元ボクセル空間304のライダ検出器208より遠いボクセル306は、ライダ検出器208に近いボクセル306より大きいサイズを有することができる。
この第2の態様の第2の変形形態として、マッピング302は、三次元ボクセル空間304の選択されたボクセル306と他のボクセル306の間の接近閾値の比較を伴ってよい。例えば、少なくとも1つのライダポイント214にマップされる第1のボクセル306が、少なくとも1つのライダポイント214にマップされた第2のボクセル306の3つのボクセルの隣接閾値内にある場合、両ボクセル306は、隣接箇所を共有すると決定され、従って、同じボクセルクラスタの一部であると、決定されてよい。さらなる変形形態として、三次元ボクセル空間304内の軸は、異なる隣接閾値を有することができる。例えば、三次元ボクセル空間304内の第1の軸は、第1の隣接閾値を有してもよく、三次元ボクセル空間304内の第2の軸は、第1の隣接閾値とは別の第2の隣接閾値を有することができる。このような1つの変形形態において、三次元ボクセル空間304内のライダ検出器208のビューに平行な軸が、かなり大きい隣接閾値を有するとして選択されてよい。なぜならば、この軸に沿って接続されるボクセル306は、表面ベースのライダ反射206を用いて検出するのが難しいからである(例えば、ライダ検出器208に近い第1のボクセル306は、ビューの軸に平行な向きのオブジェクト312の接続片を介して、ライダ検出器208から遠い第2のボクセル306に接続されて、反射ライダによって検出されない場合がある)。
この第2の態様の第3の変形形態として、マッピング302は、2つまたは3つのボクセルクラスタが接続されることを決定することができる。例えば、近くのボクセルクラスタは、あまり反射しないオブジェクト312の部分によって接続されてよく、それによって、幾つかのライダポイント214となる。ライダ検出器208は、ボクセルクラスタが近くにあり、一緒に移動しているように見える場合、ボクセルクラスタは、おそらく接続されて、同じオブジェクト312を表すと結論付けてよい。接続性の判定は、例えば、第1のボクセルクラスタを選択し、三次元ボクセル空間304の最近隣検索(例えば、横型検索)を行い、第1のボクセルクラスタに接続されているように見える第2のボクセルクラスタを発見することによって、達成されてよい。これら及び他の変形形態は、本明細書に提示の技術に従って、ライダポイント214を三次元ボクセル空間304のボクセル306へのマッピングを容易にし得る。
D3.ライダポイント移動を分類
本明細書に提示の技術の実施形態によって変わり得る第3の態様は、ライダポイント214の移動の分類に関する。
この第3の態様の第1の変形形態として、分類は、三次元ボクセル空間304内で各ボクセル306の移動を分類することによって行われてよい。例えば、各ボクセル306に関して、ライダポイントクラウド210の少なくとも1つのライダポイント214によって、ボクセルの占有期間を経時的に測定することができる。ボクセル306の占有期間が、占有時間変化閾値内であると判定される場合(例えば、ボクセル306が、閾値期間を超えて、少なくとも1つのライダポイント214によって占有される場合)、ボクセル306は、静止中として分類されてよく、ライダポイント214はボクセル306にマップされる。逆に、静止中として分類されているボクセル306にマップされないライダポイント214は、移動中として分類されてよい。このような変形形態の1つとして、占有期間は、三次元空間304の各ボクセル306の占有期間の標準偏差として測定及び比較されてよく、複数の標準偏差に関して占有状態を示すボクセル306は、静止しているとして分類されてよい。この変形形態は、動きに変換されないライダポイント214の位置の経時的な小さな変化、例えば、回転、形状の変化、または、検出器のジッタ等、の影響を低減するために有利である。
この第3の態様の第2の変形形態として、所定の計算に従ってライダポイント214及び/またはオブジェクト312の移動の分類というよりむしろ、分類は、ライダポイント214及び/またはオブジェクト312の移動の分類316を選択するように訓練された、人工神経ネットワークまたは遺伝的アルゴリズム等の移動分類部によって行われてよい。本明細書に提示の技術に係る、多くのこのような変形形態は、ライダポイント214及び/またはオブジェクト312の移動を分類するために考案されてよい。
D4.さらなる処理
本明細書に提示の技術の実施形態によって変わり得る第4の態様は、オブジェクト312の移動の分類316中に適用されてよい追加の処理に関する。
この第4の態様の第1の変形形態として、各オブジェクト312の移動を分類後、装置は、ライダポイントクラウド210のライダポイント214を各オブジェクト312にマップすることができる。すなわち、ライダポイント214の集約的、集合的な分類に基づいてオブジェクト312の分類316に達した後、ライダポイントクラウド210のライダポイント214のほぼ全てが分類されたことを検証するために、個々のライダポイント214を、オブジェクト312に再マップすることができる。どのオブジェクト312にもマップされない少数のライダポイント214は、アーチファクトとして無視してよいが、どのオブジェクト312にもマップされない有意な数のライダポイント214は、パラメータを調整して(例えば、異なったボクセルサイズ)、再計算されてもよい。
この第4の態様の第2の変形形態として、装置は、各オブジェクト312に関して、オブジェクト312に関連付けられたライダポイントクラウド210のライダポイント214に従って、オブジェクト312の位置と向きを推定することができる。代替的にまたは追加的に、装置は、各オブジェクト312に関して、ライダポイントクラウドの時間軸にわたってオブジェクト312の少なくとも1つのベクトルを推定することができる(例えば、オブジェクト312のある時間にわたるスピードまたは加速度を推定すること)。これらタイプは、例えば、オブジェクト312の移動の差し迫った変更の予測を知らせ得るデータを提供し、及び/または、ライダポイントクラウド210のライダポイント214の各オブジェクト312への統合を容易にし得るデータを提供してもよい。さらに、一部の変形形態においては、装置は、オブジェクト312に関連付けられた少なくとも1つのライダポイント214からオブジェクト312のベクトルを減じて、それによって、オブジェクト312に対するライダポイント214の相対的な移動に関する情報(例えば、移動中のオブジェクト312の向き及び/または形状の変更)を提供することができる。
この第4の態様の第3の変形形態として、ライダポイントクラウド210は、車両ベクトル(例えば、方向、スピード、及び/または、向き)を有する車両102に搭載されているライダ検出器208によって検出されてよい。車両102の車両ベクトルは、例えば、オブジェクト312の移動の推定からライダ検出器208の移動を割り引くために、環境100で検出されたオブジェクト312のベクトルから減じられてよく、これにより、ライダ検出器208に対する移動のマッピングを環境100に対する移動のマッピングに変換する。
図7は、この第4の態様のこのような変形形態に焦点を当てた例示のシナリオ700を示す。この例示のシナリオ700においては、ライダポイントクラウド210を検出後、各ライダポイント214は、様々な時点212で、環境100のオブジェクト312と関連付けられる。この関連付けによって、ライダポイントクラウド210の投影314において、関連付けがなければ、曖昧であるオブジェクト312を区別し得る。例えば、同じ方向に移動しているが、互いに近接して続いている2台の車両は、経時的に集めると合成された投影314となる。しかし、異なる時点212でライダポイント216を識別されたオブジェクト312に関連付けることによって区別され得る。当業者は、本明細書に提示の技術に従って、ライダポイントクラウド210のライダポイント214をさらに処理するための多くのこのような技術を考案することができる。
E.コンピュータ環境
図8及び以下の記載は、本明細書に記載の規定の1または複数の実施形態を実施するのに適切なコンピュータ環境を簡潔、おおまかに記載したものである。図8の動作環境は、適切な動作環境のほんの一例であり、動作環境の用途または機能の範囲に関していかなる限定も示唆していない。例示のコンピュータ装置は、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドデバイス、ラップトップデバイス、モバイルデバイス(例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、メディアプレーヤ等)、マルチプロセッサシステム、家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ、上記システムまたは装置のいずれかを含む分散コンピュータ環境を含むが、これらに限定されない。
必須ではないが、実施形態は、1または複数のコンピュータ装置によって実行される「コンピュータ可読命令」という一般的な文脈で記載される。コンピュータ可読命令は、コンピュータ可読媒体(以下に記載)を介して分散されてよい。コンピュータ可読命令は、機能、オブジェクト、アプリケーションプログラミングインタフェース(API)、データ構造等、特定のタスクを行い、または、特定の抽象データ型を実施する、プログラムモジュールとして実施されてよい。典型的に、コンピュータ可読命令の機能は、様々な環境において、必要に応じて、組み合わされてもよく、分散されてもよい。
図8は、本明細書に記載の1または複数の実施形態を実施するように構成されたコンピュータ装置802を含むシステム800の例を示す。1つの構成においては、コンピュータ装置802は、少なくとも1つの処理ユニット806とメモリ808とを備える。コンピュータ装置の正確な構成と種類に応じて、メモリ808は、揮発性(例えば、RAM)、不揮発性(例えば、ROM、フラッシュメモリ)、または、それら2つの組み合わせであってよい。この構成は、図8に点線804で示す。
他の実施形態においては、装置802は、追加の特徴及び/または機能を備えてよい。例えば、装置802は、磁気記憶装置、光学式記憶装置等を含むが、これらに限定されない追加の記憶装置(例えば、取り外し可能及び/または取り外し不能)も含んでよい。このような追加の記憶装置は、記憶装置810として図8に示される。一実施形態においては、本明細書に記載の1または複数の実施形態を実施するコンピュータ可読命令は、記憶装置810にあってよい。記憶装置810は、オペレーティングシステム、アプリケーションプログラム等を実施する他のコンピュータ可読命令も記憶することができる。コンピュータ可読命令は、例えば、処理ユニット806によって実行するためにメモリ808にロードされてよい。
本明細書において「コンピュータ可読媒体」という語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令または他のデータ等の情報を記憶する任意の方法または技術で実装された揮発性、不揮発性、取り外し可能、及び、取り外し不能の媒体を含む。メモリ808及び記憶装置810は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、または、他のメモリ技術、CD‐ROM、デジタル多用途ディスク(DVDs)、または、他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または、他の磁気記憶装置、または、所望の情報の記憶に用いることができ、かつ、装置802がアクセス可能な任意の他の媒体を含むが、これらに限定されない、このようなコンピュータ記憶媒体はいずれも、装置802の一部であってよい。
装置802は、装置802が他の装置と通信するのを可能にする通信接続(単数または複数)816も備えてよい。通信接続(単数または複数)816は、モデム、ネットワークインタフェースカード(NIC)、統合ネットワークインタフェース、無線周波数送信機/受信機、赤外線ポート、USB接続、または、コンピュータ装置802を他のコンピュータ装置に接続するための他のインタフェースを含んでよいが、これらに限定されない。通信接続(単数または複数)816は、有線接続を含んでもよく、無線接続を含んでもよい。通信接続(単数または複数)816は、通信媒体を送信及び/または受信することができる。
「コンピュータ可読媒体」という語は、通信媒体を含んでよい。通信媒体は、典型的に、搬送波または他の送信機構等の「変調データ信号」でコンピュータ可読命令または他のデータを具体化し、任意の情報送達媒体を含む。「変調データ信号」という語は、信号の特徴のセットのうち1または複数の特徴を有する信号であって、情報を符号化するように変化した信号を含む。
装置802は、キーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、及び/または、任意の他の入力装置等、の入力装置(単数または複数)814を備える。1または複数のディスプレイ、スピーカ、プリンタ、及び/または、任意の他の出力装置等の出力装置(単数または複数)812も装置802に含まれてよい。入力装置(単数または複数)814及び出力装置(単数または複数)812は、有線接続、無線接続、または、それらの任意の組み合わせを介して、装置802に接続されてよい。一実施形態においては、別のコンピュータ装置の入力装置または出力装置を、コンピュータ装置802の入力装置(単数または複数)814または出力装置(単数または複数)812として用いてよい。
コンピュータ装置802のコンポーネントは、バス等の様々なインターコネクトによって接続されてよい。このようなインターコネクトは、PCIエクスプレス、ユニバーサルシリアルバス(USB)、ファイヤーワイヤ(IEEE1394)、光学式バス構造等のペリフェラルコンポーネントインターコネクト(PCI)を含んでよい。別の実施形態においては、コンピュータ装置802のコンポーネントは、ネットワークによって相互接続されてよい。例えば、メモリ808は、ネットワークによって相互接続された異なる物理的位置にある多数の物理メモリユニットによって構成されてよい。
コンピュータ可読命令の記憶に利用される記憶装置は、ネットワークに分散されてよいことを、当業者は認識されよう。例えば、ネットワーク818を介してアクセス可能なコンピュータ装置820は、本明細書に記載の1または複数の実施形態を実施するコンピュータ可読命令を記憶することができる。コンピュータ装置802は、コンピュータ装置820にアクセスし、コンピュータ可読命令の一部または全てを実行のためダウンロードすることができる。あるいは、コンピュータ装置802は、必要に応じて、コンピュータ可読命令の一部をダウンロードしてよく、または、一部の命令は、コンピュータ装置802で実行されてよく、一部の命令はコンピュータ装置820で実行されてよい。
F.用語の使用
発明の内容を構造的特徴及び/または方法論的行為に特有の言葉で記載したが、請求項に規定した発明の内容は、上記の具体的特徴または行為に必ずしも限定されないことは理解されたい。むしろ、上記の具体的な特徴及び行為は請求項を実施する例示の形として開示されている。
この出願書類においては、「コンポーネント」、「モジュール」、「システム」、「インタフェース」等の語は、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または、実行中のソフトウェアの、コンピュータ関連のエンティティを指すことを一般的に意図している。例えば、コンポーネントは、プロセッサ上で実行するプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、及び/または、コンピュータであってよいが、それらに限定されない。例として、コントローラ上で実行するアプリケーションとコントローラとの両方がコンポーネントであってよい。1または複数のコンポーネントが、プロセス内に存在してよく、及び/または、実行スレッド及びコンポーネントは、1つのコンピュータ上に局在、及び/または、2つ以上のコンピュータ間に分散されてよい。
さらに、特許を請求する発明の内容は、標準的なプログラミング及び/またはエンジニアリング技術を用いて、コンピュータが開示の発明の内容を実施するように制御するソフトウェア、ファームウェア、ハードウェア、または、それらの任意の組み合わせを製造する方法、機器、または、製品として実施されてよい。本明細書において「製品」という語は、任意のコンピュータ可読装置、搬送波、または、媒体からアクセス可能なコンピュータプログラムを含むことを意図している。当然、当業者は、特許を請求する発明の内容の範囲または精神を逸脱することなく、この構成に多くの修正を行ってよいことは認識されよう。
実施形態の様々なオペレーションを本明細書に記載した。一実施形態においては、記載のオペレーションの1または複数が、1または複数のコンピュータ可読媒体に記憶されたコンピュータ可読命令を構成してよく、コンピュータ可読命令は、コンピュータ装置によって実行されると、コンピュータ装置に記載のオペレーションを行わせる。オペレーションの一部または全てを記載した順序は、これらのオペレーションが必ず順序依存であることを意味していると解釈してはならない。代替の順序がこの記載の利点を有することを当業者は理解されよう。さらに、本明細書に記載の各実施形態に必ずしも全てのオペレーションが存在するわけではないことは、理解されよう。
さらに、本明細書において「例示の」という語は、例として機能することを意味する。「例示の」として本明細書に記載した任意の態様または設計は、他の態様または設計より有利であると必ずしも解釈してはならない。むしろ、例示のという語の使用は、概念を具体的に示すために使用されている。この出願書類で使用する「または(または)」という語は、排他的な「または(または)」ではなく、包括的な「または(または)」を意味している。すなわち、他に特段の記載のない限り、または、文脈から明らかでない限り、「XはAまたはBを採用する」は、自然な包括的な置き換えの任意の物を意味する。すなわち、XがAを採用する、XがBを採用する、XがAとBの両方を採用する場合、「XはAまたはBを採用する」が上記の任意の例において満たされる。さらに、この出願書類及び請求項においては、「a」「an」という冠詞は、他に特段の記載のない限り、または、単数形を表すと文脈から明らかでない場合、一般的に「1または複数」を意味すると解釈してよい。
また、1または複数の実装に関して開示内容を図示し、記載したが、この明細書及び図面を読み理解することによって、当業者は変更及び修正を思いつくであろう。本開示は、このような修正及び変更を含み、請求項の範囲によってのみ制限を受ける。特に、上記のコンポーネント(例えば、要素、リソース等)によって行われる様々な機能に関して、このようなコンポーネントの記載に用いた語は、本明細書に示した開示の例示の実装の機能を行う開示の構造と構造的に同等でなくても、他に特に示されていない限り、記載のコンポーネント(例えば、機能的に同等な)の特定の機能を行う任意のコンポーネントに対応する。さらに、開示の特定の特徴は、幾つかの実装の唯1つに関してのみ開示されている場合があっても、このような特徴は、任意の所与のまたは特定のアプリケーションにとって望ましくかつ有利なように、他の実装の1または複数の他の特徴と組み合わされてよい。さらに、「includes」「having」「has」「with」、または、その異形は、詳細な説明または請求項で用いられている限りにおいて、「comprising」同様、包括的な意味である。

Claims (8)

  1. プロセッサを含む装置上のライダポイントクラウドに描かれたオブジェクトの移動を検出する方法であって、
    前記ライダポイントクラウド内の各ライダポイントを、ライダ検出器の位置に対応する基準位置に基づいて三次元ボクセル空間のボクセルにマップするステップであって、前記各ライダポイントは前記ライダ検出器で検出される、ステップと、
    記ライダポイントクラウド内のライダポイントに対応するボクセルのボクセルクラスタによって表された少なくとも1つのオブジェクトを識別するステップと
    前記ライダ検出器の移動に応じて各時点における前記三次元ボクセル空間の位置関係を調整してから、前記三次元ボクセル空間のボクセルにマップされた前記ライダポイントクラウド内の各ライダポイントを投影し、投影結果に基づいて前記少なくとも1つのオブジェクトが移動中か静止中かを判定するステップと、
    を含み、前記三次元ボクセル空間において、前記基準位置に近いボクセルのサイズは、前記基準位置から遠いボクセルのサイズよりも小さい、方法。
  2. 前記少なくとも1つのオブジェクトを識別するステップは、
    前記三次元ボクセル空間内のボクセルの少なくとも2つのボクセルクラスタを識別すること、および
    前記少なくとも2つのボクセルクラスタが接続されていることを決定すること
    をさらに含む、請求項1に記載の方法。
  3. 前記少なくとも2つのボクセルクラスタが接続されていることを決定することは、
    第1のボクセルクラスタを選択すること、および
    少なくとも1つの他のボクセルクラスタの最近隣検索を実行して前記第1のボクセルクラスタにおける接続を識別すること
    をさらに含む、請求項2に記載の方法。
  4. 前記判定するステップは、前記ボクセルが閾値期間を超えて少なくとも1つのライダポイントによって占有される場合に前記ボクセルの移動を静止中と判定し、それ以外の場合に移動中と判定することを含む請求項1に記載の方法。
  5. 前記判定するステップは、
    前記ライダポイントクラウドの少なくとも1つのライダポイントによってボクセル占有される期間を経時的に測定することと
    前記ボクセル占有される期間を占有時間変化閾値と比較し、前記ボクセル占有される期間が前記占有時間変化閾値内である場合に前記ボクセルの移動を静止中と判定し、それ以外の場合に移動中と判定することと
    を含む、請求項に記載の方法。
  6. 前記判定するステップの後で、前記ライダポイントクラウドの前記ライダポイントを前記各オブジェクトにマップするステップをさらに含む、請求項1に記載の方法。
  7. 前記ライダポイントクラウドは、時間軸を有し、
    前記方法は、前記ライダポイントクラウドの前記時間軸にわたって前記少なくとも1つの識別されたオブジェクト移動を追跡するステップをさらに含む、請求項6に記載の方法。
  8. 前記ライダポイントクラウドは、時間軸を有し、
    前記方法は、前記少なくとも1つの識別されたオブジェクトについて、前記ライダポイントクラウドの前記時間軸にわたって前記オブジェクトの少なくとも1つのベクトルを推定するステップをさらに含む、請求項1に記載の方法。
JP2016519601A 2013-06-14 2014-06-11 ライダに基づいたオブジェクト移動の分類 Active JP6514192B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/917,821 2013-06-14
US13/917,821 US9110163B2 (en) 2013-06-14 2013-06-14 Lidar-based classification of object movement
PCT/US2014/041827 WO2014201075A1 (en) 2013-06-14 2014-06-11 Lidar-based classification of object movement

Publications (2)

Publication Number Publication Date
JP2016529475A JP2016529475A (ja) 2016-09-23
JP6514192B2 true JP6514192B2 (ja) 2019-05-15

Family

ID=51134405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016519601A Active JP6514192B2 (ja) 2013-06-14 2014-06-11 ライダに基づいたオブジェクト移動の分類

Country Status (9)

Country Link
US (2) US9110163B2 (ja)
EP (1) EP3008488B1 (ja)
JP (1) JP6514192B2 (ja)
KR (1) KR101829556B1 (ja)
CN (1) CN105793730B (ja)
AU (1) AU2014278279B2 (ja)
CA (1) CA2915458C (ja)
SG (2) SG11201510228XA (ja)
WO (1) WO2014201075A1 (ja)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2895969A1 (en) 2012-12-31 2014-07-03 Omni Medsci, Inc. Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
JP6514681B2 (ja) 2013-03-15 2019-05-15 ウーバー テクノロジーズ,インコーポレイテッド ロボット用多重知覚ステレオ視のための方法、システム、および装置
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
JP6531341B2 (ja) * 2014-03-10 2019-06-19 ソニー株式会社 情報処理装置、サーバ、記憶媒体、および制御方法
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
US9639958B2 (en) * 2015-03-19 2017-05-02 Caterpillar Inc. Synthetic colorization of real-time immersive environments
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
CA3000740C (en) * 2015-10-12 2022-09-06 Groundprobe Pty Ltd Slope stability lidar
SE1551370A1 (sv) * 2015-10-22 2017-02-07 Uniquesec Ab Testing method with virtual radar signatures for an automotive safety radar system
CZ201695A3 (cs) * 2016-02-20 2017-02-22 MAXPROGRES, s.r.o. Metoda monitorování pomocí kamerového systému s prostorovou detekcí pohybu
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
DE102016105536A1 (de) 2016-03-24 2017-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren zur Erfassung von wenigstens einem Objekt, Vorrichtung einer Sensoreinrichtung, Sensoreinrichtung und Fahrerassistenzsystem mit wenigstens einer Sensoreinrichtung
US10127465B2 (en) * 2016-06-27 2018-11-13 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle
US10066946B2 (en) * 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
US10031231B2 (en) * 2016-09-12 2018-07-24 Delphi Technologies, Inc. Lidar object detection system for automated vehicles
WO2018060313A1 (en) * 2016-09-28 2018-04-05 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
US10338208B2 (en) * 2016-10-27 2019-07-02 GM Global Technology Operations LLC Object detection in multiple radars
US11537808B2 (en) * 2016-11-29 2022-12-27 Blackmore Sensors & Analytics, Llc Method and system for classification of an object in a point cloud data set
CN106650640B (zh) * 2016-12-05 2020-03-03 浙江大学 一种基于激光雷达点云局部结构特征的负障碍物检测方法
US10366502B1 (en) * 2016-12-09 2019-07-30 Waymo Llc Vehicle heading prediction neural network
US10838067B2 (en) 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
CN106845399B (zh) * 2017-01-18 2020-06-09 北京林业大学 一种使用分层聚类方式从LiDAR点云中提取单木信息的方法
EP3545337A1 (en) * 2017-01-26 2019-10-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10578722B2 (en) 2017-03-27 2020-03-03 Honeywell International Inc. System and method for glare suppression and ranging
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10347001B2 (en) * 2017-04-28 2019-07-09 8th Wall Inc. Localizing and mapping platform
CN107316048B (zh) * 2017-05-03 2020-08-28 深圳市速腾聚创科技有限公司 点云分类方法及装置
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
US10346695B2 (en) * 2017-05-25 2019-07-09 General Motors Llc Method and apparatus for classifying LIDAR data for object detection
FR3067495B1 (fr) 2017-06-08 2019-07-05 Renault S.A.S Procede et systeme d'identification d'au moins un objet en deplacement
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US20200202609A1 (en) * 2017-06-22 2020-06-25 Sony Interactive Entertainment Inc. Information processor, control method, and program
KR101967049B1 (ko) * 2017-06-28 2019-04-09 경성대학교 산학협력단 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치
WO2019023892A1 (en) 2017-07-31 2019-02-07 SZ DJI Technology Co., Ltd. MOTION-BASED IMPRESSION CORRECTION IN POINT CLOUDS
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
US11175132B2 (en) * 2017-08-11 2021-11-16 Zoox, Inc. Sensor perturbation
JP6689006B2 (ja) * 2017-08-25 2020-04-28 ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド 車両の環境情報を検出するための方法およびシステム
CN109521756B (zh) * 2017-09-18 2022-03-08 阿波罗智能技术(北京)有限公司 用于无人驾驶车辆的障碍物运动信息生成方法和装置
KR102452550B1 (ko) * 2017-10-17 2022-10-07 현대자동차주식회사 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10733420B2 (en) * 2017-11-21 2020-08-04 GM Global Technology Operations LLC Systems and methods for free space inference to break apart clustered objects in vehicle perception systems
US20180074200A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for determining the velocity of lidar points
CN109839645B (zh) * 2017-11-24 2021-05-25 北京京东乾石科技有限公司 速度检测方法、系统、电子设备和计算机可读介质
US10620637B2 (en) * 2017-11-29 2020-04-14 GM Global Technology Operations LLC Systems and methods for detection, classification, and geolocation of traffic objects
US11360216B2 (en) * 2017-11-29 2022-06-14 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
KR102464581B1 (ko) * 2017-12-28 2022-11-07 현대오토에버 주식회사 스테레오 점군 처리장치 및 그 방법
CN108230379B (zh) * 2017-12-29 2020-12-04 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN108460791A (zh) * 2017-12-29 2018-08-28 百度在线网络技术(北京)有限公司 用于处理点云数据的方法和装置
CN109993192A (zh) * 2018-01-03 2019-07-09 北京京东尚科信息技术有限公司 目标对象识别方法及装置、电子设备、存储介质
US11157527B2 (en) 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
US11093759B2 (en) 2018-03-06 2021-08-17 Here Global B.V. Automatic identification of roadside objects for localization
US11275170B2 (en) * 2018-04-06 2022-03-15 Electromagnetic Systems, Inc. Use of dual processing channels for stationary and moving objects illuminated by radar
CN110361710A (zh) * 2018-04-09 2019-10-22 北京京东尚科信息技术有限公司 基于激光点云的物体识别方法和装置
WO2019212113A1 (ko) * 2018-05-03 2019-11-07 충북대학교 산학협력단 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
US11430145B2 (en) 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
CN110633617B (zh) 2018-06-25 2023-08-08 苹果公司 使用语义分割的平面检测
US10824864B2 (en) 2018-06-25 2020-11-03 Apple Inc. Plane detection using semantic segmentation
DE102018210814A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10677900B2 (en) 2018-08-06 2020-06-09 Luminar Technologies, Inc. Detecting distortion using known shapes
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11125861B2 (en) * 2018-10-05 2021-09-21 Zoox, Inc. Mesh validation
KR102154589B1 (ko) * 2018-10-31 2020-09-10 (주)오토노머스에이투지 라이다의 멀티 레이어 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
CA3028286A1 (en) 2018-11-09 2020-05-09 Beijing Didi Infinity Technology And Development Co., Ltd. Vehicle positioning system using lidar
US10977501B2 (en) 2018-12-21 2021-04-13 Waymo Llc Object classification using extra-regional context
US10867210B2 (en) 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
US11782158B2 (en) * 2018-12-21 2023-10-10 Waymo Llc Multi-stage object heading estimation
WO2020146445A1 (en) * 2019-01-08 2020-07-16 Philip Christopher Du Toit Classifying perceived objects based on activity
CN109829399B (zh) * 2019-01-18 2022-07-05 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
DK180562B1 (en) * 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
WO2020186444A1 (zh) * 2019-03-19 2020-09-24 深圳市大疆创新科技有限公司 物体检测方法、电子设备与计算机存储介质
US11423710B2 (en) * 2019-03-29 2022-08-23 Lyft, Inc. Approaches for managing vehicles
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
US11151394B2 (en) * 2019-06-24 2021-10-19 Nvidia Corporation Identifying dynamic objects in a point cloud
US11010982B1 (en) * 2019-06-25 2021-05-18 Apple Inc. Method and device for utilizing physical objects and physical usage patterns for presenting virtual content
US11630209B2 (en) 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
CN110361754B (zh) * 2019-07-15 2021-07-16 武汉中海庭数据技术有限公司 一种基于激光点云数据的道路印刷体生长式聚类方法及装置
US11372253B2 (en) * 2019-08-14 2022-06-28 Apple Inc. Small field of view display mitigation using transitional visuals
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
KR102267277B1 (ko) * 2019-08-29 2021-06-21 (주)오토노머스에이투지 라이다 센서의 포인트 데이터를 클러스터링하는 방법 및 이를 이용한 컴퓨팅 장치
WO2021067855A1 (en) * 2019-10-02 2021-04-08 Quanergy Systems, Inc. Apparatus and method for object motion analyses of lidar sensor data
CN112651266A (zh) * 2019-10-11 2021-04-13 北京百度网讯科技有限公司 行人检测方法和装置
SI25698A (sl) 2019-12-03 2020-03-31 Mebor D.O.O. Pogonski sklop tračne žage
US11216669B1 (en) 2020-01-16 2022-01-04 Outsight SA Single frame motion detection and three-dimensional imaging using free space information
KR102225387B1 (ko) * 2020-07-14 2021-03-09 주식회사 사라다 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법
US11420647B2 (en) 2020-08-13 2022-08-23 Argo AI, LLC Enhanced static object classification using lidar
KR102460825B1 (ko) * 2020-08-31 2022-10-31 네이버랩스 주식회사 위치 추정 방법 및 시스템
KR102405767B1 (ko) * 2020-10-27 2022-06-03 건국대학교 산학협력단 의미론적 포인트 클라우드 기반의 객체 추적 장치 및 방법
US11847832B2 (en) * 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
TWI767601B (zh) * 2021-03-10 2022-06-11 廣達電腦股份有限公司 用於室內定位、成像、偵測、姿勢判別、形狀判別的電子裝置及方法
CN113076922B (zh) * 2021-04-21 2024-05-10 北京经纬恒润科技股份有限公司 一种物体检测方法及装置
CN112990151B (zh) * 2021-05-10 2021-08-06 湖北亿咖通科技有限公司 障碍物检测模块的精度检测方法和电子设备
US11978259B2 (en) * 2021-07-09 2024-05-07 Ford Global Technologies, Llc Systems and methods for particle filter tracking
US20230058731A1 (en) * 2021-08-18 2023-02-23 Zoox, Inc. Determining occupancy using unobstructed sensor emissions
CN117092612B (zh) * 2023-10-18 2024-01-26 湘潭大学 基于激光雷达的自动驾驶导航方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535158B2 (en) 2000-03-15 2003-03-18 Utah State University Research Foundation Kinematic analysis of conically scanned environmental properties
JP3664127B2 (ja) * 2001-06-07 2005-06-22 日産自動車株式会社 物体検出装置
EP1639497B1 (en) * 2003-06-27 2007-07-18 Melvyn Jérémie Lafitte Method and apparatus for extracting causal information from a chaotic time series
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
DE602006011511D1 (de) * 2006-05-15 2010-02-11 Im3D S P A Lien in anatomischen strukturen auf grundlage einer verbesserten bereichswachstumssegmentation und rechnerprogramm dafür
US8041141B2 (en) * 2006-06-30 2011-10-18 The University Of Louisville Research Foundation, Inc. Method and software for shape representation with curve skeletons
TWM306436U (en) * 2006-07-21 2007-02-11 Compal Communications Inc Monitoring apparatus capable of communicating with mobile communication apparatus
US8086396B1 (en) * 2006-12-07 2011-12-27 Itt Manufacturing Enterprises, Inc. Close-spaced leader-follower navigation using control mimic
JP4344869B2 (ja) 2007-02-16 2009-10-14 三菱電機株式会社 計測装置
JP5303873B2 (ja) * 2007-06-13 2013-10-02 株式会社Ihi 車両形状計測方法と装置
JP5218723B2 (ja) * 2007-06-14 2013-06-26 株式会社Ihi 蛍光探傷方法および蛍光探傷装置
JP4232167B1 (ja) * 2007-08-27 2009-03-04 三菱電機株式会社 対象特定装置、対象特定方法および対象特定プログラム
US8244026B2 (en) 2008-01-09 2012-08-14 Tiltan Systems Engineering Ltd. Apparatus and method for automatic airborne LiDAR data processing and mapping using data obtained thereby
US20090231327A1 (en) 2008-03-12 2009-09-17 Harris Corporation Method for visualization of point cloud data
JP5007863B2 (ja) 2008-04-21 2012-08-22 独立行政法人産業技術総合研究所 3次元物体位置計測装置
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20100053593A1 (en) 2008-08-26 2010-03-04 Honeywell International Inc. Apparatus, systems, and methods for rotating a lidar device to map objects in an environment in three dimensions
WO2010042466A1 (en) * 2008-10-06 2010-04-15 Kevin Scott Williams Apparatus and method for classifying point cloud data based on principal axes
US20100204964A1 (en) 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US8269652B2 (en) 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
JP5322789B2 (ja) * 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
CN101702200B (zh) * 2009-11-03 2012-02-29 武汉大学 一种机载激光雷达点云数据的自动分类方法
JP5581758B2 (ja) * 2010-03-18 2014-09-03 富士通株式会社 人物検出装置、人物検出方法及びプログラム
WO2011153624A2 (en) 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
US8950686B2 (en) * 2010-11-19 2015-02-10 Google Inc. Control unit with automatic setback capability
CN102103202B (zh) * 2010-12-01 2013-01-09 武汉大学 一种融合影像的机载激光雷达数据半监督分类方法
US8811748B2 (en) 2011-05-20 2014-08-19 Autodesk, Inc. Collaborative feature extraction system for three dimensional datasets
JP5821276B2 (ja) * 2011-05-20 2015-11-24 マツダ株式会社 移動体の位置および進行方向の検出装置
US8913784B2 (en) * 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
JP5802279B2 (ja) * 2011-11-22 2015-10-28 株式会社日立製作所 自律移動システム
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
US9041589B2 (en) * 2012-04-04 2015-05-26 Caterpillar Inc. Systems and methods for determining a radar device coverage region

Also Published As

Publication number Publication date
AU2014278279B2 (en) 2017-09-21
US20160162742A1 (en) 2016-06-09
KR101829556B1 (ko) 2018-02-14
CA2915458C (en) 2017-08-01
SG10201610549PA (en) 2017-01-27
AU2014278279A1 (en) 2016-01-21
US9110163B2 (en) 2015-08-18
WO2014201075A1 (en) 2014-12-18
CN105793730B (zh) 2018-03-09
EP3008488B1 (en) 2017-12-06
US20140368807A1 (en) 2014-12-18
EP3008488A1 (en) 2016-04-20
JP2016529475A (ja) 2016-09-23
KR20160026989A (ko) 2016-03-09
CA2915458A1 (en) 2014-12-18
US9870512B2 (en) 2018-01-16
SG11201510228XA (en) 2016-01-28
CN105793730A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
JP6514192B2 (ja) ライダに基づいたオブジェクト移動の分類
US9905032B2 (en) Object removal using lidar-based classification
JP7167397B2 (ja) 点群データを処理するための方法及び装置
JP7345504B2 (ja) Lidarデータと画像データの関連付け
JP6799169B2 (ja) マルチモーダル融合による3dオブジェクト検出と配向推定の結合
JP7203769B2 (ja) ボクセルベースのグランド平面推定およびオブジェクト区分化
WO2018119606A1 (en) Method and apparatus for representing a map element and method and apparatus for locating vehicle/robot
EP3729327A1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
US20220171975A1 (en) Method for Determining a Semantic Free Space
JP7031157B2 (ja) 物体検出方法及び物体検出装置
KR101117235B1 (ko) 교통사고 인식 장치 및 방법
Bota et al. A framework for object detection, tracking and classification in urban traffic scenarios using stereovision
Fleck et al. Low-Power Traffic Surveillance using Multiple RGB and Event Cameras: A Survey
KR102559936B1 (ko) 단안 카메라를 이용하여 깊이 정보를 추정하는 방법 및 장치
US20240062349A1 (en) Enhanced high dynamic range pipeline for three-dimensional image signal processing
Chandratre Traffic Accident Reconstruction Using Monocular Dashcam Videos
KR101894731B1 (ko) 차량의 충돌방지시스템 및 그 방법
CN115424224A (zh) 目标检测方法、装置、设备及存储介质
KR20240058347A (ko) 포인트 클라우드 데이터의 이상치 제거 장치 및 방법
WO2021232031A2 (en) Detection of hidden object using non-line-of-sight (nlos) imaging
CN114973182A (zh) 用于确定对象的距离的方法和系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190411

R150 Certificate of patent or registration of utility model

Ref document number: 6514192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250