JP6689006B2 - 車両の環境情報を検出するための方法およびシステム - Google Patents

車両の環境情報を検出するための方法およびシステム Download PDF

Info

Publication number
JP6689006B2
JP6689006B2 JP2018564348A JP2018564348A JP6689006B2 JP 6689006 B2 JP6689006 B2 JP 6689006B2 JP 2018564348 A JP2018564348 A JP 2018564348A JP 2018564348 A JP2018564348 A JP 2018564348A JP 6689006 B2 JP6689006 B2 JP 6689006B2
Authority
JP
Japan
Prior art keywords
points
coordinates
objects
lidar
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018564348A
Other languages
English (en)
Other versions
JP2019533133A (ja
Inventor
ウェイロン ヤオ
ウェイロン ヤオ
ゼナン メン
ゼナン メン
ジャン リュウ
ジャン リュウ
ハオ チャン
ハオ チャン
シェン タン
シェン タン
イェヘ ツァイ
イェヘ ツァイ
チェン ヤン
チェン ヤン
Original Assignee
ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド filed Critical ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド
Publication of JP2019533133A publication Critical patent/JP2019533133A/ja
Application granted granted Critical
Publication of JP6689006B2 publication Critical patent/JP6689006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、一般に車両に関し、さらに具体的には、車両の環境情報を検出するための方法およびシステムに関する。
マイクロ電子技術およびロボット技術の進歩とともに、近年、ドライバレス技術が急速に発展している。車両の環境情報の検出は、ドライバレスシステムの重要な技術であり得る。環境情報を検出するための既存の方法およびシステムでは、環境情報を正確に且つタイミングよく判断することは困難であり、ドライバレスシステムによって検出ができない可能性のある、視野のブラインド領域がある。したがって、車両の環境情報を正確に且つタイミングよく検出するための方法およびシステムの提供が望まれている。
付加された特徴は、１つには、以降の説明の中で述べられ、１つには、当業者には、以降の添付の図面を考察することによって明らかになり、または実施例の製作および作動によって習得できよう。本開示の特徴は、以下に説明する詳細な例の中で述べる諸々の方法、手段および組合せの様々な態様を実践または使用することによって認識し、獲得することが可能であろう。
本開示の一態様によれば、システムは、１つ以上のプロセッサ、および該１つ以上のプロセッサと通信するように構成されたストレージデバイスを含むことができる。このストレージデバイスは命令のセットを含むことが可能である。１つ以上のプロセッサがこの命令のセットを実行すると、該１つ以上のプロセッサは、以下の動作の１つ以上を実施するよう命令されてよい。１つ以上のプロセッサが、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信することができる。１つ以上のプロセッサが、１つ以上の光検知および測距装置（ＬｉＤＡＲ：ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ ｅｑｕｉｐｍｅｎｔ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することができる。１つ以上のプロセッサが、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することができる。１つ以上のプロセッサが、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することができる。
いくつかの実施形態において、１つ以上のプロセッサは、このオブジェクト種類に基づいて、１つ以上のオブジェクトに関する環境情報を判断することができる。
いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類の少なくとも１つ、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のＬｉＤＡＲおよび該カメラを含む車両に対する１つ以上のオブジェクトの少なくとも１つの速度、車両に対する１つ以上のオブジェクトの少なくとも１つの加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、または１つ以上のオブジェクトの少なくとも１つと車両との間の距離、を含むことが可能である。
いくつかの実施形態において、第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含んでよい。
いくつかの実施形態において、複数のポイントの第一３Ｄ座標を算定するために、１つ以上のプロセッサは、第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する第一ポイントサブセットの第二３Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する第二ポイントサブセットの第三３Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第三３Ｄ座標を、第一３Ｄ座標系に対応する第二ポイントサブセットの第四３Ｄ座標に変換することができる。１つ以上のプロセッサは、第一ポイントサブセットの第二３Ｄ座標および第二ポイントサブセットの第四３Ｄ座標に基づいて、第一３Ｄ座標を算定することが可能である。
いくつかの実施形態において、複数のポイントの第一３Ｄ座標を複数のポイントの第一２Ｄ座標に変換するために、１つ以上のプロセッサは変換マトリックスを得ることができる。１つ以上のプロセッサは、この変換マトリックスに基づいて、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することが可能である。
いくつかの実施形態において、変換マトリックスを得るために、１つ以上のプロセッサは、１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信することができる。１つ以上のプロセッサは、カメラから、ターゲットに関する複数の画素を含む第二画像を受信することが可能である。１つ以上のプロセッサは、ターゲットに関する複数のポイントの第二３Ｄ座標を算定することができる。１つ以上のプロセッサは、ターゲットに関する複数の画素の第二２Ｄ座標を算定することが可能である。１つ以上のプロセッサは、第二３Ｄ座標および第二２Ｄ座標に基づいて変換マトリックスを算定することができる。
いくつかの実施形態において、第二３Ｄ座標および第二２Ｄ座標に基づいて変換マトリックスを算定するために、１つ以上のプロセッサは、最小二乗法によって該変換マトリックスを算定してよい。
いくつかの実施形態において、ターゲットは、各々が円の中心であってよい１つ以上のポイントを有する２Ｄパターンを含むことが可能である。
いくつかの実施形態では、１つ以上のオブジェクトのオブジェクト種類を判断するために、１つ以上のプロセッサは、Ｆａｓｔｅｒ−ＲＣＮＮモデルに基づいてそれら１つ以上のオブジェクトのオブジェクト種類を判断することができる。
本開示の別の態様によれば、方法は、以下のオペレーションの１つ以上を含むことができる。１つ以上のプロセッサが、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信することができる。該１つ以上のプロセッサが、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することができる。１つ以上のプロセッサが、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成することができる。１つ以上のプロセッサが、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換することができる。１つ以上のプロセッサが、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することができる。
本開示のさらに別の態様によれば、非一時的コンピュータ可読媒体は少なくとも一組の命令のセットを含むことができる。この少なくとも一組の命令のセットは、コンピュータデバイスの１つ以上のプロセッサによって実行されてよい。該少なくとも一組の命令のセットは、コンピュータデバイスに方法を実行させることができる。この方法は、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定するステップと、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成するステップと、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換するステップと、これら複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断するステップと、を含む。
本開示のさらに別の態様によれば、システムは、カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するように構成された画像受信モジュールと、１つ以上の光検知および測距装置（ＬｉＤＡＲ）から、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するように構成されたポイント受信モジュールと、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定するように構成されたポイント情報判断モジュールと、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいて、これら複数のポイントを分類することによって、区分結果を生成するように構成された区分結果生成モジュールと、複数のポイントの第一３Ｄ座標を、複数のポイントの第一２Ｄ座標に変換するように構成された変換モジュールと、複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断するように構成された種類判断モジュールと、を含んでよい。
本開示を、概略的な実施形態に関連させてさらに説明する。これらの概略的実施形態は図面を参照しながら詳細に説明される。これら図面は正確な縮尺ではない。これらの実施形態は非限定の概略的実施形態であり、これら図面のいくつかの図を通して、同じ参照符号は類似の構造体表す。
本開示のいくつかの実施形態による、例示的な環境情報検出システムを示す概略図である。 本開示のいくつかの実施形態による、コンピューティングデバイスの例示的なハードウェアおよびソフトウェアコンポーネントを示す概略的なブロック図である。 本開示のいくつかの実施形態による、例示的な処理デバイスを示すブロック図である。 本開示のいくつかの実施形態による、環境情報を判断するための例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、第一３Ｄ座標を算定するための例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、第一３Ｄ座標を第一２Ｄ座標に変換するための例示的なプロセスを示すフローチャートである。 本開示のいくつかの実施形態による、変換マトリックスを算定するための例示的なプロセスを示すフローチャートである。
本開示の実施形態に関連する技術的ソリューションを解説するために、実施形態の説明の中で参照される図面の簡単な紹介を以下に提示する。当然ながら、以下に示される図面は、本開示の単なる一部の例または実施形態である。当業者は、追加的な創造努力を要せずに、これらの図面に従って、本開示を他の類似のシナリオに適用することができよう。別途に記載がある場合、または文脈から明らかな場合を除き、図面中の同じ参照符号は、同じ構造およびオペレーションを指す。
本開示および添付の特許請求の範囲中での使用において、単数形「或る（ａ、ａｎ）」および「該（ｔｈｅ）」は、文脈状明らかに別段に指示されているのでなければ、複数の指示対象も含む。さらに当然のことながら、本開示で使用される場合、用語「含む」、「含んでいる」、「包含する」、および／または「包含している」は、述べられたステップまたは要素の存在を明示するが、１つ以上の他のステップおよび要素の存在または追加を排除するものではない。
本開示のいくつかの実施形態によって、システムによって行われるオペレーションを解説するためにフローチャートが用いられる。明らかに理解されるように、上記または下記のこれらオペレーションは、順序通りに実施されてもされなくてもよい。逆に言えば、これらオペレーションは、逆の順序で、または同時に行われてもよい。また、１つ以上の他のオペレーションがこれらフローチャートに追加されてもよく、１つ以上のオペレーションがフローチャートから省かれてもよい。
本開示の実施形態は、ロボットの分野、および、以下に限らないが、陸上輸送環境、海上輸送環境、空中輸送環境、宇宙輸送環境または同様のもの、あるいはこれらの任意の組合せ含む各種の輸送状態に適用することができる。これら輸送状態における車両は、馬、四輪馬車、人力車（例えば、自転車、三輪車）、電気自動車（例えば、電気二輪車、電気三輪車）、自動車（例えば、タクシー、バス、自家用車）、列車、地下鉄、船舶、航空機（例えば、飛行機、ヘリコプタ、スペースシャトル、ロケット、熱気球）、ドライバレス車両または同様のもの、あるいはこれらの任意の組合せを含んでよい。当然のことながら、本明細書で開示するシステムおよび方法の応用シナリオは、単なる一部の例または実施形態である。当業者は、追加的な創造努力を要せずに、これらの図面を他の応用シナリオに適用することができよう。
図１は、本開示のいくつかの実施形態による、例示的な環境情報検出システム１００を示す概略図である。環境情報検出システム１００は、車両（例えば、ドライバレス車両）の周りの環境的な情報を検出するように構成することができる。車両の周りの環境的な情報（例えば、環境情報とも言う）は、当該車両から或る距離（例えば、５００メートル）内にあるオブジェクトのオブジェクト種類（例えば、人間、動物、樹木、バリケード、建物、または車両）、オブジェクトの運動状態、当車両に対するオブジェクトの速度、当車両に対するオブジェクトの加速度、オブジェクトの運動方向、当車両とそれらオブジェクトとの間の距離または同様のもの、あるいはこれらに任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。処理デバイス１３０は、この環境情報に基づいて、車両に障害物を回避するよう命令することが可能である。例えば、処理デバイス１３０が、環境情報に基づいて、当車両とオブジェクトとの間の距離が距離閾値より小さいと判断すると、処理デバイス１３０は、車両にそのオブジェクトを回避するために、例えば、ブレーキをかける、車両の速度を低下させる、車両の運動方向を変更させる、または、バックさせるなどの命令を送信し、当車両を制御することができる。
環境情報検出システム１００は、１つ以上の光検知および測距装置（ＬｉＤＡＲ）（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、またはＬｉＤＡＲ１１６）、カメラ１２０、処理デバイス１３０、ネットワーク１４０、およびストレージデバイス１５０を含んでよい。
１つ以上のＬｉＤＡＲは、該１つ以上のＬｉＤＡＲの有効範囲内（当車両から、例えば５００メートルの距離）にあるオブジェクト（例えば、人間、動物、樹木、バリケード、建物、または車両）に関する複数のポイントを含むポイントセットを取得するように構成することが可能である。ポイントセット中のポイントは、該ポイントの３Ｄ座標および該ポイントの反射強度を含むことができる。ポイントの反射強度とは、そのポイントによって反射されたレーザビームの強度を指すとしてよい。
いくつかの実施形態において、ＬｉＤＡＲは、レーザエミッタと、スキャニングおよび光学コンポーネントと、感光性コンポーネントとを含んでよい。このレーザエミッタは、或る特定波長のレーザビームを放射するように構成することができる。例えば、該レーザエミッタは、６００ｎｍ〜１０００ｎｍの範囲の波長のレーザビームを放射することが可能である。
例としてレーザビームを挙げると、レーザビームが或るオブジェクトのポイントを照射すると、そのポイントは、レーザビームの一部を反射することが可能で、ＬｉＤＡＲによってその反射されたレーザビームを受信することができる。スキャニングおよび光学コンポーネントは、レーザビームの放射時点、および反射されたレーザビームの受信時点を認知し、放射時点と受信時点と間の間隔を測定するように構成することができる。また、スキャニングおよび光学コンポーネントは、反射されたレーザビームと地面との間の角度を測定するように構成することが可能である。ＬｉＤＡＲは、放射時点と受信時点との間の間隔、および反射されたレーザビームと地面との間の角度に基づいて、当該ポイントの３Ｄ座標を算定することができる。また、ＬｉＤＡＲは、放射時点と受信時点との間の間隔、および光の速度（≒３×１０８ｍ／ｓ）に基づいて、ＬｉＤＡＲとポイントとの間の距離を算定することも可能である。ＬｉＤＡＲは、ＬｉＤＡＲと該ポイントとの間の距離、および反射されたレーザビームと地面との間の角度に基づいて、該ポイントの３Ｄ座標を算定することができる。いくつかの実施形態において、ＬｉＤＡＲは、そのＬｉＤＡＲに対応する３Ｄ座標系の下におけるそのポイントの３Ｄ座標を算定することが可能である。
放射から受信までのプロセスの過程で、例えば、レーザビームの一部がオブジェクトのポイントに吸収される可能性があるので、レーザビームの強度は低減され得る。感光性コンポーネントは、反射されたレーザビームの強度を検出するように構成されてよい。反射されるレーザビームの強度は、オブジェクトの材質に影響され得る。反射されたビームの強度は、どれらのポイントが同じオブジェクトに属するかを大まかに判断するために使用することが可能である。
いくつかの実施形態において、ＬｉＤＡＲは、該ＬｉＤＡＲが、オブジェクトに関する複数のポイントを含むポイントセットを取得できるように、車両から或る距離（例えば、５００メートル）内にあるそれらオブジェクト上に複数のレーザビームを照らすべく、複数のレーザビームを照射しながら或る特定の角速度で回転することができる。例えば、ＬｉＤＡＲは、該ＬｉＤＡＲが３６０°の回転を完了したとき、ポイントセットを取得することが可能である。
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、ＬｉＤＡＲは、絶えずレーザビームを放射し、車両を囲むオブジェクトに関するポイントセットを絶えず取得していてよい。いくつかの実施形態では、ＬｉＤＡＲは、このポイントセットをストレージデバイス１５０および／または処理デバイス１３０に送信することが可能である。
いくつかの実施形態において、１つ以上のＬｉＤＡＲは、車両の任意の位置に設置されてよい。例えば、車両は１つのＬｉＤＡＲを備えるように構成することが可能である。ＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２）は、車両の最上部に組み付けることができる。別の例として、車両は３つのＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６）を備えるように構成することも可能である。３つのＬｉＤＡＲの１つ（例えば、ＬｉＤＡＲ１１２）は、車両の最上部に組み付けることが可能で、他の２つのＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６）は、それぞれ、車両の両側面に組み付けることができる。これらＬｉＤＡＲの数および位置は、視野のブラインド領域ゼロの原則に基づいて決定すればよい。いくつかの実施形態において、車両上に複数のＬｉＤＡＲが設置された場合、それら複数のＬｉＤＡＲは、ポイントを同時に取得することができる。ポイントセットは、該複数のＬｉＤＡＲによって取得されたポイントを含んでよい。
カメラ１２０は、該カメラ１２０の視野（例えば、車両からの距離が大体５００メートルくらい）内にあるオブジェクト（例えば、人間、動物、樹木、バリケード、建物、または車両）に関する１つ以上の画像を取得するように構成することができる。本出願の中で用いられる画像は、静止画像、ビデオ、ストリーミングビデオ、またはビデオから得られたビデオフレームであってよい。いくつかの実施形態において、カメラ１２０は、デジタルカメラ、ウェブカメラ、スマートフォン、ウェブカメラを備えた、タブレット、ラップトップ、ビデオゲームコンソール、複数のレンズを備えたカメラなどであってよい。いくつかの実施形態では、カメラ１２０は、二次元（２Ｄ）画像および／または三次元（３Ｄ）画像をキャプチャするように構成することが可能である。例えば、カメラ１２０は、静的カメラ、パン・チルト・ズーム式カメラ、移動カメラ、ステレオカメラ、構造化光カメラ、飛行時間カメラなどであってよい。また、いくつかの実施形態において、カメラ１２０は、飛行時間デバイス、キネクトセンサ、３Ｄレーザスキャナ、写真スキャナなどを備えたカメラであってもよい。いくつかの実施形態では、カメラ１２０は、車両を囲むオブジェクトを含む画像をキャプチャするために回転することができる。例えば、カメラ１２０は、該カメラ１２０が３６０°の回転を完了したときに一画像を取得することが可能である。
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、カメラ１２０は、車両を囲むオブジェクトに関する画像を絶えずキャプチャしていてよい。いくつかの実施形態では、１つ以上のＬｉＤＡＲのポイントセットの取得と、カメラ１２０の画像のキャプチャとは、ポイントセット中のポイントが画像中の画素に対応可能なように、同時に行うことができる。いくつかの実施形態において、カメラ１２０は、この画像をストレージデバイス１５０および／または処理デバイス１３０に送信することが可能である。
いくつかの実施形態において、カメラ１２０は、車両の任意の部分に組み付けることができる。例えば、カメラ１２０は、図１に示されるように、車両の前面に設置されてよい。
処理デバイス１３０は、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０から得たデータおよび／または情報を処理することができる。例えば、処理デバイス１３０は、ＬｉＤＡＲ１１２から得たポイントセットを処理することが可能である。別の例として、処理デバイス１３０は、カメラ１２０から得た画像を処理することが可能である。いくつかの実施形態において、処理デバイス１３０は、単一のサーバまたはサーバ群であってよい。このサーバ群は、集合化されていても分散化されていてもよい。いくつかの実施形態では、処理デバイス１３０はローカルであってもリモートであってもよい。例えば、処理デバイス１３０は、ネットワーク１４０を介して、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０に格納された情報および／またはデータにアクセスすることが可能である。別の例として、処理デバイス１３０は、格納された情報および／またはデータにアクセスするために、１つ以上のＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、もしくはＬｉＤＡＲ１１６）、カメラ１２０、またはストレージデバイス１５０に直接接続されてもよい。いくつかの実施形態において、処理デバイス１３０は、クラウドプラットフォーム上に実装することも可能である。単なる例示であるが、このクラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウドまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。いくつかの実施形態では、処理デバイス１３０は、図２に示されるような、１つ以上のコンポーネントを有するコンピューティングデバイス２００によって実装することが可能である。
ネットワーク１４０は、環境情報検出システム１００のために、情報および／またはデータの交換を円滑にすることが可能な任意の適切なネットワークを含んでよい。いくつかの実施形態において、環境情報検出システム１００の１つ以上のコンポーネント（例えば、１つ以上のＬｉＤＡＲ、カメラ１２０、処理デバイス１３０、またはストレージデバイス１５０）は、ネットワーク１４０を介して、環境情報検出システム１００の１つ以上の他のコンポーネントに情報および／またはデータを通信することができる。例えば、処理デバイス１３０は、ネットワーク１４０を介してカメラ１２０から画像を得ることが可能である。別の例として、処理デバイス１３０は、ネットワーク１４０を介してＬｉＤＡＲ１１２からポイントセットを得ることが可能である。ネットワーク１４０は、パブリックネットワーク（例えば、インターネット）、プライベートネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）など）、有線ネットワーク（例えば、イーサネット（登録商標）ネットワーク）、ワイヤレスネットワーク（例えば、８０２．１１ネットワーク、Ｗｉ−Ｆｉネットワークなど）、セルラネットワーク（例えば、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク）、フレーム中継ネットワーク、仮想プライベートネットワーク（“ＶＰＮ”：ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋ）、サテライトネットワーク、電話ネットワーク、ルータ、ハブ、スイッチ、サーバコンピュータ、および／またはこれらの任意の組合せであっても、および／またはこれらを含んでもよい。単なる例示であるが、ネットワーク１４０は、ケーブルネットワーク、有線ネットワーク、光ファイバネットワーク、電気通信ネットワーク、イントラネット、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、メトロポリタンエリアネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、公衆交換電話ネットワーク（ＰＳＴＮ：ｐｕｂｌｉｃ ｔｅｌｅｐｈｏｎｅ ｓｗｉｔｃｈｅｄ ｎｅｔｗｏｒｋ）、ブルートゥース（登録商標）ネットワーク、ジグビー（登録商標）ネットワーク、近距離無線通信（ＮＦＣ：ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）ネットワークまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。いくつかの実施形態において、ネットワーク１４０は１つ以上のネットワークアクセスポイントを含むことができる。例えば、ネットワーク１４０は、環境情報検出システム１００の１つ以上のコンポーネントが、データおよび／または情報を交換するために、以下を通してネットワーク１４０に接続できる、基地局および／またはインターネット交換ポイントなどの有線および／またはワイヤレスのネットワークアクセスポイントを含むことが可能である。
ストレージデバイス１５０は、データ、命令、および／または任意の他の情報を格納することができる。いくつかの実施形態において、ストレージデバイス１５０は、１つ以上のＬｉＤＡＲ、カメラ１２０、または処理デバイス１３０から得たデータを格納することが可能である。いくつかの実施形態では、ストレージデバイス１５０は、処理デバイス１３０が、本開示に記載の例示的な方法を遂行するため実行または使用が可能なデータおよび／または命令を格納することができる。いくつかの実施形態において、ストレージデバイス１５０は、大容量ストレージ、着脱可能ストレージ、揮発性読み取り書込みメモリ、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）または同様のもの、あるいはこれらの任意の組合せを含んでよい。例示的な大容量ストレージには、磁気ディスク、光ディスク、固体ドライブなどが含まれてよい。例示的な着脱可能ストレージには、フラッシュドライブ、フロッピーディスク、光ディスク、メモリカード、ジップディスク、磁気テープなどが含まれてよい。例示的な揮発性読み取り書込みメモリには、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）が含まれてよい。例示的なＲＡＭには、ダイナミックＲＡＭ（ＤＲＡＭ：ｄｙｎａｍｉｃ ＲＡＭ）、ダブルデータレート同期式ダイナミックＲＡＭ（ＤＤＲ ＳＤＲＡＭ：ｄｏｕｂｌｅ ｄａｔｅ ｒａｔｅ ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ：ｓｔａｔｉｃ ＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ：ｔｈｙｒｉｓｔｏｒ ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ：ｚｅｒｏ−ｃａｐａｃｉｔｏｒ ＲＡＭ）などが含まれてよい。例示的なＲＯＭには、マスクＲＯＭ（ＭＲＯＭ：ｍａｓｋ ＲＯＭ）、プログラム可能型ＲＯＭ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、消去書込み可能型ＲＯＭ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、電気的消去書込み可能型ＲＯＭ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ−ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｋ ＲＯＭ）、およびデジタル多用途ディスクＲＯＭなどが含まれてよい。いくつかの実施形態では、ストレージデバイス１５０は、クラウドプラットフォーム上に実装することができる。単なる例示であるが、このクラウドプラットフォームには、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウドまたは同様のもの、あるいはこれらの任意の組合せが含まれてよい。
いくつかの実施形態において、ストレージデバイス１５０は、環境情報検出システム１００中の１つ以上の他のコンポーネント（例えば、処理デバイス１３０、１つ以上のＬｉＤＡＲ、またはカメラ１２０）と通信するために、ネットワーク１４０に接続されてよい。環境情報検出システム１００の１つ以上のコンポーネントは、ネットワーク１４０を介してストレージデバイス１５０中に格納されたデータまたは命令にアクセスすることが可能である。いくつかの実施形態では、ストレージデバイス１５０は、環境情報検出システム１００中の１つ以上の他のコンポーネント（例えば、処理デバイス１３０、１つ以上のＬｉＤＡＲ、またはカメラ１２０）と、直接に接続され、または通信することが可能である。いくつかの実施形態において、ストレージデバイス１５０は、処理デバイス１３０の一部であってもよい。
この説明は、例証を意図したものであり、本開示の範囲を限定することを意図したものではない。当業者には、数多くの代案、変更、および変形が明らかであろう。本明細書で説明する例示的な実施形態の特質、構造、方法、または他の特徴は、追加的なおよび／または代替的な例示的な実施形態を得るため、様々な仕方で組合せることが可能である。例えば、ストレージデバイス１５０は、パブリッククラウド、プライベートクラウド、コミュニティクラウドおよびハイブリッドクラウドなどの、クラウドコンピューティングプラットフォームを含むデータストレージであってよい。但し、それらの変形および変更は本開示の範囲を外れるものではない。
図２は、本開示のいくつかの実施形態による、処理デバイス１３０が実装可能な例示的なコンピューティングデバイス２００の、例示的なハードウェアおよび／またはソフトウェアコンポーネントを示す概略図である。図２に示されるように、コンピューティングデバイス２００は、プロセッサ２１０、ストレージ２２０、入力／出力部（Ｉ／Ｏ）２３０、および通信ポート２４０を含むことができる。
プロセッサ２１０（例えば、論理回路）は、コンピュータ命令（例えば、プログラムコード）を実行し、本明細書に記載の技法に従って、処理デバイス１３０の機能を遂行することができる。例えば、プロセッサ２１０は、その中にインターフェース回路２１０−ａおよび処理回路２１０−ｂ含むことが可能である。これらインターフェース回路は、バス（図２には示さず）から電子信号を受信するように構成することができ、該電子信号には、処理回路が処理するための構造化データおよび／または命令が符号化されている。この処理回路は、論理演算を行い、次いで、電子信号として符号化された結論、結果、および／または命令を決定することができる。続いて、インターフェース回路が、処理回路からの電子信号をバスを経由して送信することが可能である。
コンピュータ命令は、例えば、ルーティン、プログラム、オブジェクト、コンポーネント、データ構造体、プロシージャ、モジュール、および関数を含むことができ、これらは、本明細書に記載の特定の機能を遂行する。例えば、プロセッサ２１０は、１つ以上のＬｉＤＡＲ、ストレージデバイス１５０、および／または環境情報検出システム１００の任意の他のコンポーネントから得たポイントセットを処理することができる。いくつかの実施形態において、プロセッサ２１０は、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ：ｒｅｄｕｃｅｄ ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ ｃｏｍｐｕｔｅｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｓｔｒｕｃｔｉｏｎ−ｓｅｔ ｐｒｏｃｅｓｓｏｒ）、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、物理処理ユニット（ＰＰＵ：ｐｈｙｓｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロコントローラユニット、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、アドバンストＲＩＳＣマシン（ＡＲＭ：ａｄｖａｎｃｅｄ ＲＩＳＣ ｍａｃｈｉｎｅ）、プログラマブル論理デバイス（ＰＬＤ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、１つ以上の機能を実行できる任意の回路またはプロセッサまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。
単に例示として、コンピューティングデバイス２００中には、１つだけのプロセッサが表されている。但し、当然のことながら、本開示の中のコンピューティングデバイス２００は、複数のプロセッサを含むことが可能である。しかして、本開示中に記述の１つのプロセッサによって行われるオペレーションおよび／または方法のステップは、複数のプロセッサによって共同でまたは個々に行うこともできる。例えば、本開示において、コンピューティングデバイス２００のプロセッサがステップＡおよびステップＢの両方を実行する場合、ステップＡおよびステップＢは、コンピューティングデバイス２００中で、２つ以上の異なるプロセッサによって、共同でまたは個々に実行することも可能である（例えば、第一プロセッサがステップＡを実行し、第二プロセッサがステップＢを実行する、または、第一および第二プロセッサが共同で、ステップＡおよびステップＢ実行する）。
ストレージ２２０は、１つ以上のＬｉＤＡＲ、カメラ１２０、ストレージデバイス１５０、および／または環境情報検出システム１００の任意の他のコンポーネントから得たデータ／情報を格納することができる。いくつかの実施形態において、ストレージ２２０は、大容量ストレージ、着脱可能ストレージ、揮発性読み取り書込みメモリ、読み取り専用メモリ（ＲＯＭ）または同様のもの、あるいはこれらの任意の組合せを含んでよい。例えば、この大容量ストレージは、磁気ディスク、光ディスク、固体ドライブなどを含んでよい。この着脱可能ストレージは、フラッシュドライブ、フロッピーディスク、光ディスク、メモリカード、ジップディスク、磁気テープなどを含んでよい。この揮発性読み取り書込みメモリは、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）を含んでよい。このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレート同期式ダイナミックＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、サイリスタＲＡＭ（Ｔ−ＲＡＭ）、およびゼロキャパシタＲＡＭ（Ｚ−ＲＡＭ）などを含んでよい。このＲＯＭは、マスクＲＯＭ（ＭＲＯＭ）、プログラム可能型ＲＯＭ（ＰＲＯＭ）、消去書込み可能型ＲＯＭ（ＥＰＲＯＭ）、電気的消去書込み可能型ＲＯＭ（ＥＥＰＲＯＭ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、およびデジタル多用途ディスクＲＯＭなどを含んでよい。いくつかの実施形態において、ストレージ２２０は、本開示に記載された例示的な方法を実行するための１つ以上のプログラムおよび／または命令を格納することができる。例えば、ストレージ２２０は、処理デバイス１３０が車両の環境情報を判断するためのプログラムを格納することが可能である。
Ｉ／Ｏ２３０は、信号、データ、情報などを入力および／または出力することができる。いくつかの実施形態において、Ｉ／Ｏ２３０は、ユーザの、処理デバイス１３０とのやり取りを可能にする。いくつかの実施形態では、Ｉ／Ｏ２３０は、入力デバイスおよび出力デバイスを含んでよい。入力デバイスの例には、キーボード、マウス、タッチスクリーン、マイクロフォンまたは同様のもの、あるいはこれらの組合せが含まれてよい。出力デバイスの例には、ディスプレイデバイス、ラウドスピーカ、プリンタ、プロジェクタまたは同様のもの、あるいはこれらの組合せが含まれてよい。ディスプレイデバイスの例には、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ベースのディスプレイ、平面パネルディスプレイ、曲面スクリーン、テレビジョンデバイス、ブラウン管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）、タッチスクリーンまたは同様のもの、あるいはこれらの組合せが含まれてよい。
通信ポート２４０は、データ通信を円滑にするため、ネットワーク（例えば、ネットワーク１４０）に接続することができる。通信ポート２４０は、処理デバイス１３０と、１つ以上のＬｉＤＡＲ、カメラ１２０、またはストレージデバイス１５０と、の間の接続を設定することができる。この接続は、有線接続、ワイヤレス接続、データ送信および／または受信を可能にできる任意の他の通信接続、および／またはこれらの接続の任意の組合せであってよい。この有線接続は、例えば、電気ケーブル、光ケーブル、電話線または同様のもの、あるいはこれらの組合せを含んでよい。このワイヤレス接続は、ブルートゥース（登録商標）リンク、Ｗｉ−Ｆｉ（登録商標）リンク、ＷｉＭａｘ（登録商標）リンク、ＷＬＡＮリンク、ジグビーリンク、移動ネットワークリンク（例えば、３Ｇ、４Ｇ、５Ｇ等）または同様のもの、あるいはこれらの組合せを含んでよい。いくつかの実施形態において、通信ポート２４０は、ＲＳ２３２、ＲＳ４８５など、標準化された通信ポートであるか、および／またはそれらを含んでよい。
当業者は、環境情報検出システム１００の構成素子が機能する際、その構成素子は電気信号および／または電磁気信号を介して機能できることを理解していよう。例えば、処理デバイス１３０が、決定を行うまたは情報を識別するなどのタスクを処理する際に、処理デバイス１３０は、かかるタスクを処理するために、そのプロセッサ中の論理回路を作動することができる。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、処理デバイス１３０にデータ（例えば、ポイントセットおよび／または画像）を送信する際に、該１つ以上のＬｉＤＡＲおよび／またはカメラ１２０は、データを符号化している電気信号を生成することが可能である。次いで、１つ以上のＬｉＤＡＲおよび／またはカメラ１２０は、その電気信号を処理デバイス１３０の入力ポートに送信することができる。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、有線ネットワークを介して処理デバイス１３０と通信する場合、この入力ポートは、ケーブルに物理的に接続されてよい。１つ以上のＬｉＤＡＲおよび／またはカメラ１２０が、ワイヤレスネットワークを介して処理デバイス１３０と通信する場合、処理デバイス１３０の入力ポートは１つ以上のアンテナであってよく、これらは、電気信号を電磁気信号に変換することができる。１つ以上のＬｉＤＡＲ、カメラ１２０、または処理デバイス１３０などの電子デバイス内で、それらデバイスのプロセッサが、命令を処理する、命令を送信する、および／または或る動作を実行するとき、それらの命令および／または動作は電気信号を介して行われる。例えば、プロセッサが、ストレージ媒体（例えば、ストレージデバイス１５０）からデータを読出す、または該媒体にデータを保存する場合、プロセッサは、ストレージ媒体の読出し／書込みデバイスに電気信号を送信することができ、そのデバイスがストレージ媒体中の構造化データを読出しおよび書込むことが可能である。電子デバイスのバスを介し、その構造化データを、電気信号の形でプロセッサに送信することができる。ここで、電気信号とは、１つの電気信号、一連の電気信号、および／または複数の離散電気信号を指すとしてよい。
図３は、本開示のいくつかの実施形態による、例示的な処理デバイス１３０を示すブロック図である。処理デバイス１３０は、画像受信モジュール３１０、ポイント受信モジュール３２０、ポイント情報判断モジュール３３０、区分結果生成モジュール３４０、変換モジュール３５０、種類判断モジュール３６０、および環境判断モジュール３７０を含むことができる。
画像受信モジュール３１０は、カメラ１２０から画像を受信するように構成されてよい。この画像は、カメラ１２０の視野内（例えば、車両からの距離がおよそ５００メートル）内にある１つ以上のオブジェクトに関する複数の画素を含むことができる。いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、カメラ１２０は、車両を囲むオブジェクトに関する画像を絶えずキャプチャし、その画像をリアルタイムで画像受信モジュール３１０に送信していてよい。
ポイント受信モジュール３２０は、１つ以上のＬｉＤＡＲからポイントセットを受信先するように構成されてよい。このポイントセットは、該ポイントセットと同時にキャプチャされた画像の画素に対応する複数のポイントを含むことができる。いくつかの実施形態において、２つ以上のＬｉＤＡＲが車両上に設置される場合、ポイントセットは、それら２つ以上のＬｉＤＡＲによって取得されたポイントを含んでよい。例えば、車両上には、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６を設置することができる。ポイントセットは、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６によって取得されたポイントを含むことが可能である。
いくつかの実施形態において、車両を囲んでいるオブジェクトは絶えず変化してい得るので、１つ以上のＬｉＤＡＲは、車両を囲んでいるオブジェクトに関するポイントセットを絶えず取得し、それらポイントセットをリアルタイムでポイント受信モジュール３２０に送信していてよい。
ポイント情報判断モジュール３３０は、ポイントセットに基づいて、複数のポイントの３Ｄ座標、および複数のポイントの反射強度を算定するように構成されてよい。ＬｉＤＡＲによって取得されたポイントは、それらポイントの反射強度、およびそのＬｉＤＡＲに対応する３Ｄ座標系の下で算定されたポイントの３Ｄ座標を含むことが可能である。いくつかの実施形態において、ポイントセットが１つのＬｉＤＡＲによって取得されたポイントを含む場合、ポイント情報判断モジュール３３０は、複数のポイントに基づいてその３Ｄ座標を直接算定することができる。いくつかの実施形態では、相異なるＬｉＤＡＲは相異なる３Ｄ座標系に対応し得る。ポイントセットが、複数のＬｉＤＡＲによって取得されたポイントを含む場合、相異なるＬｉＤＡＲによって取得されたポイントの３Ｄ座標は、相異なった３Ｄ座標系に対応し得る。ポイント情報判断モジュール３３０は、（例えば、後記で図５に関連して詳しく説明するように）ＬｉＤＡＲの１つに対応する３Ｄ座標系を基準３Ｄ座標系として定め、他の３Ｄ座標系に対応する３Ｄ座標を、基準座標系の下での３Ｄ座標に変換することができる。
区分結果生成モジュール３４０は、複数のポイントの３Ｄ座標および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成するように構成されてよい。例えば、区分結果生成モジュール３４０は、３Ｄ座標がおおよそ近似しているポイントを同じグループに分類することができる。別の例として、区分結果生成モジュール３４０は、反射強度がおおよそ近似しているポイントを同じグループに分類することが可能である。ポイントセット中のポイントは、区分結果に基づいて、概略的にいくつかのグループに分類されてよい。
区分結果生成モジュール３４０は、これらポイントを分類できるアルゴリズムに従って、区分結果を生成してよい。例えば、このアルゴリズムは、クラスタリングアルゴリズムであってよい。このクラスタリングアルゴリズムは、区分化法、階層化法、密度ベース法、グリッドベース法、モデルベース法または同様のもの、あるいはこれらの任意の組合せを含むことが可能である。
変換モジュール３５０は、複数のポイントの３Ｄ座標を該複数のポイントの２Ｄ座標に変換するように構成されてよい。変換モジュール３５０は、（例えば、後記で図７および８に関連して詳しく説明するように）変換マトリックスを用いて２Ｄ座標を算定することができる。
種類判断モジュール３６０は、複数のポイントの２Ｄ座標と、複数のポイントの３Ｄ座標と、区分結果と、画像とに基づいて、画像中の１つ以上のオブジェクトのオブジェクト種類を判断するように構成されてよい。種類判断モジュール３６０は、区分結果と、複数のポイントの２Ｄ座標とに基づいて１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、画像中の１つ以上のオブジェクトを識別することができる。１つ以上のオブジェクトの１つに対し、種類判断モジュール３６０は、そのオブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せに基づいて、オブジェクトの種類を判断することが可能である。オブジェクトの中心ポイントとは、オブジェクトの境界ボックスの中心の画素（またはボクセル）を指すとしてよい。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックスの中心の画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、中心ポイントの３Ｄ座標を算定することが可能である。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、当該オブジェクトの長さ、幅、および高さを算定することが可能である。オブジェクトのポイントの数は、ポイントの２Ｄ座標が、境界ボックスの中に含まれる画素の２Ｄ座標に近似している、ポイントの数としてよい。
種類判断モジュール３６０は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、およびオブジェクトのポイントの数を、例えばＦａｓｔｅｒ−ＲＣＮＮモデルに入力することが可能である。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、当該オブジェクトが各種のオブジェクト種類に属する確率を出力し、オブジェクトのオブジェクト種類として、最高の確率を有するオブジェクト種類を採ることができる。例として、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、車両に属する確率が４５％、人間に属する確率が６０％、および建物に属する確率が１０％であることを算定することができる。この場合、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、オブジェクトを人間として判断することになろう。
環境判断モジュール３８０は、オブジェクト種類に基づいて、１つ以上のオブジェクトに関する環境情報を判断するように構成されてよい。いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のオブジェクトの少なくとも１つの、当車両に対する速度、１つ以上のオブジェクトの少なくとも１つの、当車両に対する加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、当車両と１つ以上のオブジェクトの少なくとも１つとの間の距離または同様のもの、あるいはこれらの任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。
上記においてまた本開示全体を通して、モジュールは、多くの異なる仕方で、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとのいろいろな組合せで実装することが可能である。例えば、モジュールの実装の全部または一部は、中央処理装置（ＣＰＵ）、マイクロコントローラ、マイクロプロセッサなどの、命令処理装置の一部または全部、または、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、その他の電子コンポーネント、あるいは、アナログ回路コンポーネント、デジタル回路コンポーネントまたはその両方を含め、個別論理または他の回路コンポーネントを包含する回路構成、またはこれらの任意の組合せを含むことの可能な処理回路構成であってよい。この回路構成は、例として、個別の相互接続されたハードウェアコンポーネントを含んでよく、または単一の集積回路ダイに組み合わされても、複数の集積回路ダイに亘って分散されてもよく、もしくは、共通パッケージ中の複数の集積回路ダイのマルチチップモジュール（ＭＣＭ：Ｍｕｌｔｉｐｌｅ Ｃｈｉｐ Ｍｏｄｕｌｅ）の中に実装されてもよい。
処理デバイス１３０中のモジュールは、有線接続またはワイヤレス接続を介して、相互に接続されまたは通信することが可能である。この有線接続は、金属ケーブル、光ケーブル、ハイブリッドケーブルまたは同様のもの、あるいはこれらの任意の組合せを含んでよい。このワイヤレス接続は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ），ブルートゥース、ジグビー、近距離無線通信（ＮＦＣ）など、またはこれらの任意の組合せを含んでよい。モジュールの２つ以上を単一のモジュールに組合せることが可能で、モジュールのどの１つも、２つ以上のユニットに分割することが可能である。例えば、画像受信モジュール３１０は、画像およびポイントセットの両方を受信することが可能な単一のモジュールとして、ポイント受信モジュール３２０の中に統合することができる。
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、処理デバイス１３０は、ストレージモジュール（図３には示さず）をさらに含むことが可能である。このストレージモジュールは、処理デバイス１３０の何れかのコンポーネントによって実行された何らかのプロセスの過程で生成されたデータを格納するように構成されてよい。別の例として、処理デバイス１３０のコンポーネントの各々が１つのストレージモジュールに対応することが可能である。これに加えてまたは換えて、処理デバイス１３０のコンポーネントが共通のストレージモジュールを共用してもよい。
図４は、本開示のいくつかの実施形態による、環境情報を判断するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス４００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス４００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納され、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出されおよび／または実行されてよい。以下に提示する例示のプロセス４００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス４００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図４に示され、以下に説明する、プロセス４００のオペレーションの順序は、これに限定することは意図されていない。
いくつかの実施形態において、カメラ１２０は、画像を絶えずキャプチャし、それら画像をリアルタイムで処理デバイス１３０に送信してよい。１つ以上のＬｉＤＡＲは、ポイントセットを絶えず取得し、それらポイントセットをリアルタイムで処理デバイス１３０に送信してよい。処理デバイス１３０は、これら画像およびポイントセットを絶えず処理することが可能である。簡明化のため、プロセス４００を、画像およびその画像に対応するポイントセットを処理するためのプロセスとして説明することが可能である。なお、このプロセス４００の説明は単に例証のために提示されるものであり、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。処理デバイス１３０は、プロセス４００を反復することによって、画像およびポイントセットを処理することができる。
４１０において、画像受信モジュール３１０は、カメラ１２０から、該カメラ１２０の視野（例えば、車両からの距離がおよそ５００メートル）内にある１つ以上のオブジェクトに関する複数の画素を含む第一画像を受信することができる。
４２０において、ポイント受信モジュール３２０は、１つ以上のＬｉＤＡＲから、第一画像の複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信することが可能である。いくつかの実施形態において、この第一ポイントセットは、第一画像と同時に取得することができる。
いくつかの実施形態において、２つ以上のＬｉＤＡＲが車両上に設置されている場合、第一ポイントセットは、該２つ以上のＬｉＤＡＲによって取得されたポイントを含んでよい。例えば、車両上に、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６を設置することが可能である。第一ポイントセットは、ＬｉＤＡＲ１１２、ＬｉＤＡＲ１１４、およびＬｉＤＡＲ１１６によって取得されたポイントを含んでよい。
４３０において、ポイント情報判断モジュール３３０は、第一ポイントセットに基づいて、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度を算定することが可能である。或るＬｉＤＡＲによって取得されたポイントは、それらポイントの反射強度、およびそのＬｉＤＡＲに対応する３Ｄ座標系の下で算定された該ポイントの３Ｄ座標を含み得る。いくつかの実施形態において、第一ポイントセットが単一のＬｉＤＡＲによって取得されたポイントを含む場合、ポイント情報判断モジュール３３０は、複数のポイントに基づいてそれらの第一３Ｄ座標を直接算定することができる。いくつかの実施形態では、相異なるＬｉＤＡＲは相異なる３Ｄ座標系に対応し得る。第一ポイントセットが、複数のＬｉＤＡＲによって取得されたポイントを含む場合、相異なるＬｉＤＡＲによって取得されたポイントの３Ｄ座標は、相異なった３Ｄ座標系に対応し得る。ポイント情報判断モジュール３３０は、（例えば、後記で図５に関連して詳しく説明するように）ＬｉＤＡＲの１つに対応する３Ｄ座標系を基準３Ｄ座標系として定め、他の３Ｄ座標系に対応する３Ｄ座標を、基準座標系の下での３Ｄ座標に変換することができる。
４４０において、区分結果生成モジュール３４０は、複数のポイントの第一３Ｄ座標、および複数のポイントの反射強度に基づいてこれら複数のポイントを分類することによって、区分結果を生成することが可能である。例えば、区分結果生成モジュール３４０は、３Ｄ座標がおおよそ近似しているポイントを同じグループに分類することができる。別の例として、区分結果生成モジュール３４０は、反射強度がおおよそ近似しているポイントを同じグループに分類することもできる。第一ポイントセット中のポイントは、区分結果に基づいて、概略的に数グループに分類されてよい。
区分結果生成モジュール３４０は、ポイントを分類できるアルゴリズムに従って、区分結果を生成することが可能である。例えば、このアルゴリズムは、クラスタリングアルゴリズムであってよい。このクラスタリングアルゴリズムは、区分化法、階層化法、密度ベース法、グリッドベース法、モデルベース法または同様のもの、あるいはこれらの任意の組合せを含んでよい。
４５０において、変換モジュール３５０は、複数のポイントの第一３Ｄ座標を該複数のポイントの第一２Ｄ座標に変換することが可能である。変換モジュール３５０は、（例えば、後記で図７および８に関連して詳しく説明するように）変換マトリックスを用いて複数のポイントの２Ｄ座標を算定することができる。
４６０において、種類判断モジュール３６０は、複数のポイントの第一２Ｄ座標と、複数のポイントの第一３Ｄ座標と、区分結果と、第一画像とに基づいて、１つ以上のオブジェクトのオブジェクト種類を判断することが可能である。種類判断モジュール３６０は、区分結果、および複数のポイントの第一２Ｄ座標に基づいて１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、第一画像中の１つ以上のオブジェクトを識別することができる。１つ以上のオブジェクトの１つに対し、種類判断モジュール３６０は、そのオブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せに基づいて、オブジェクトの種類を判断することが可能である。オブジェクトの中心ポイントとは、オブジェクトの境界ボックスの中心の画素を指すとしてよい。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックスの中心の画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、中心ポイントの３Ｄ座標を算定することが可能である。種類判断モジュール３６０は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントの３Ｄ座標に基づいて、当該オブジェクトの長さ、幅、および高さを算定することができる。オブジェクトのポイントの数は、ポイントの２Ｄ座標が境界ボックス中に含まれる画素の２Ｄ座標に近似している該ポイントのポイントの数としてよい。
種類判断モジュール３６０は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、およびオブジェクトのポイントの数を、例えばＦａｓｔｅｒ−ＲＣＮＮモデルに入力することができる。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、当該オブジェクトが各種のオブジェクト種類に属する確率を出力し、オブジェクトのオブジェクト種類として、最高の確率を有するオブジェクト種類を採ることができる。Ｆａｓｔｅｒ−ＲＣＮＮモデルは、例えば、車両に属する確率が４５％、人間に属する確率が６０％、および建物に属する確率が１０％であることを算定することができる。この場合、Ｆａｓｔｅｒ−ＲＣＮＮモデルは、オブジェクトを人間として判断することになろう。
４７０において、環境判断モジュール３７０は、オブジェクト種類に基づいて、第一画像中の１つ以上のオブジェクトに関する環境情報を判断することが可能である。いくつかの実施形態において、この１つ以上のオブジェクトに関する環境情報は、１つ以上のオブジェクトのオブジェクト種類、１つ以上のオブジェクトの少なくとも１つの運動状態、１つ以上のオブジェクトの少なくとも１つの、当車両に対する速度、１つ以上のオブジェクトの少なくとも１つの、当車両に対する加速度、１つ以上のオブジェクトの少なくとも１つの運動方向、当車両と１つ以上のオブジェクトの少なくとも１つとの間の距離または同様のもの、あるいはこれらの任意の組合せを含んでよい。運動状態は、静的状態および動いている状態を含み得る。
環境判断モジュール３７０は、２つの連続的な画像（例えば、カメラ１２０によってキャプチャされた第一画像の最初の画像および最後の画像）に基づいて環境情報を判断することが可能である。これら２つの連続的な画像中の同じオブジェクト種類のオブジェクトは、例えばデータ結合を用い、同じＩＤによって標識することができる。このデータ結合は、異なるノードからのデータの２つのセットが同じターゲットに属するかどうかを見分けるように構成されてよい。本開示において、データ結合は、２つのオブジェクトの特徴を照合することによって、２つの連続的な画像中の該２つのオブジェクトが同じオブジェクト種類に属するかどうかを見分けるために用いることができる。オブジェクトの特徴は、オブジェクトの中心ポイントの３Ｄ座標、オブジェクトの形状、オブジェクトの長さ、オブジェクトの幅、オブジェクトの高さ、オブジェクトのポイントの数または同様のもの、あるいはこれらの任意の組合せを含んでよい。
環境判断モジュール３７０は、第一画像中のオブジェクトの中心ポイントの３Ｄ座標に基づいて、該オブジェクトと当車両との間の距離を算定することができる。環境判断モジュール３７０は、第一画像の最初の画像と最後の画像との間の時間間隔、最初の画像中の車両とオブジェクトとの間の距離、および、最初の画像中のオブジェクトと同じオブジェクト種類（最後の画像中のオブジェクトをも指す）の、最後の画像中での当車両とそのオブジェクトとの間の距離に基づいて、最初の画像に関連する該オブジェクトの速度を算定することが可能である。例えば、最初の画像中の車両とオブジェクトとの間の距離がｄ１であり、最後の画像中の車両とオブジェクトとの間の距離がｄ２であり、最初の画像と最後の画像との間の時間間隔がｔ１であるとき、環境判断モジュール３７０は、最初の画像に関連するオブジェクトの速度を、｜ｄ１−ｄ２｜／ｔ１として算定することができる。環境判断モジュール３７０は、最初の画像と最後の画像との間の時間間隔、最初の画像に関連するオブジェクトの速度、および最後の画像に関連するオブジェクトの速度に基づいて、最初の画像に関連する該オブジェクトの加速度を算定することが可能である。例えば、最初の画像に関連するオブジェクトの速度がν１であり、最後の画像に関連するオブジェクトの速度がν２であり、最初の画像と最後の画像との間の時間間隔がｔ１であるとき、環境判断モジュール３７０は、最初の画像に関連するオブジェクトの加速度を、｜ν１−ν２｜／ｔ１として算定することができる。環境判断モジュール３７０は、最初の画像中のオブジェクトの中心ポイントの３Ｄ座標、および最後の画像中のオブジェクトの中心ポイントの３Ｄ座標に基づいて、最初の画像に関連するオブジェクトの運動方向を判断することが可能である。
当車両に対するオブジェクトの速度が、速度閾値（例えば、０．１ｍ／ｓ）以下であれば、環境判断モジュール３７０は、そのオブジェクトは、車両に対して静的であると判断してよい。当車両に対するオブジェクトの速度が、速度閾値（例えば、０．１ｍ／ｓ）よりも速い場合、環境判断モジュール３７０は、そのオブジェクトは、車両に対して動いていると判断してよい。
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス４００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、処理デバイス１３０は、４１０と４２０とを同時に実行することができる。さらなる別の例として、処理デバイス１３０は、４５０の前、後、または４５０と同時に４４０を実行することが可能である。図５は、本開示のいくつかの実施形態による、第一ポイントセット中の複数のポイントの第一３Ｄ座標を算定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス５００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス５００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス５００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス５００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図５に示され、以下に説明する、プロセス５００のオペレーションの順序は、これに限定することは意図されていない。いくつかの実施形態では、処理デバイス１３０は、プロセス５００に基づいてプロセス４００の４３０を実行してよい。
簡明化のため、第一ポイントセットが、第一ＬｉＤＡＲおよび第二ＬｉＤＡＲ（例えば、ＬｉＤＡＲ１１２およびＬｉＤＡＲ１１４）を包含する２つのＬｉＤＡＲから得たポイントを含むと仮定する。なお、このプロセス５００の説明は単に例証のために提示されるものであり、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。プロセス５００は、第一ポイントセットが２つより多いＬｉＤＡＲから得られたポイントを含む状態に対しても適用が可能である。
いくつかの実施形態において、第一ＬｉＤＡＲは第一３Ｄ座標系に対応することが可能である。第二ＬｉＤＡＲは、第一３Ｄ座標系とは異なる第二３Ｄ座標系に対応することが可能である。ポイント情報判断モジュール３３０は、基準３Ｄ座標系として第一３Ｄ座標系を選択してよい。
５１０において、ポイント情報判断モジュール３３０は、第一３Ｄ座標系に対応する第一ＬｉＤＡＲから得た第一ポイントサブセットの第二３Ｄ座標を算定することができる。いくつかの実施形態において、ポイント情報判断モジュール３３０は、第一ポイントサブセット中に含まれるポイントに基づいて、第一ポイントサブセットの第二３Ｄ座標を直接算定することが可能である。
５２０において、ポイント情報判断モジュール３３０は、第二３Ｄ座標系に対応する第二ＬｉＤＡＲから得た第二ポイントサブセットの第三３Ｄ座標を算定することができる。いくつかの実施形態において、ポイント情報判断モジュール３３０は、第二ポイントサブセット中に含まれるポイントに基づいて、第二ポイントサブセットの第三３Ｄ座標を直接算定することが可能である。
５３０において、ポイント情報判断モジュール３３０は、該第三３Ｄ座標を、第一３Ｄ座標系に対応する、第二ポイントサブセットの第四３Ｄ座標に変換することができる。
いくつかの実施形態において、ポイント情報判断モジュール３３０は、第一変換マトリックスを用いて、第三３Ｄ座標を第四３Ｄ座標に変換することが可能である。例えば、ポイント情報判断モジュール３３０は、下記の式（１）に基づいて第四３Ｄ座標を算定することができる。
上式のｘ１、ｙ１、およびｚ１は、第一３Ｄ座標系の下でのポイントの３Ｄ座標を示す。ｘ２、ｙ２、およびｚ２は、第二３Ｄ座標系の下でのポイントの３Ｄ座標を示す。Ｒ１Ｔ１は第一変換マトリックスを示す。Ｒ１は、回転マトリックスを示し、第二３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第二３Ｄ座標系に対する第一３Ｄ座標系の回転角度を表す。Ｒ１は、下記の式（２）によって表すことができる。
上式のｒｏｌｌ１、ｐｉｔｃｈ１、およびｙａｗ１は、それぞれ、第二３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第二３Ｄ座標系に対する第一３Ｄ座標系の回転角度を示す。Ｔ１は、転換マトリックスを示し、第一３Ｄ座標系の原点の第二３Ｄ座標系中の３Ｄ座標を表す。Ｔ１は、下記の式（３）によって表すことができる。
上式のΔｘ１、Δｙ１、およびΔｚ１は、第二３Ｄ座標系の下での第一３Ｄ座標系の原点の３Ｄ座標を示す。
いくつかの実施形態において、処理デバイス１３０は、前もってオフラインで、第一変換マトリックスを算定することができる。第一変換マトリックスを算定した後、処理デバイス１３０は、その第一変換マトリックスをストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）の中に格納することが可能である。ポイント情報判断モジュール３３０は、第一変換マトリックスを得るためそのストレージ媒体にアクセスすればよい。処理デバイス１３０は、以下の（ａ１）および（ｂ１）のオペレーションに基づいて第一変換マトリックスを算定することができる。
（ａ１）処理デバイス１３０は、第一ＬｉＤＡＲから第一ポイントを、第二ＬｉＤＡＲから第二ポイントを得ることが可能である。これら第一ポイントおよび第二ポイントは、同じオブジェクトに関するものとしてよい。
（ｂ１）処理デバイス１３０は、第一ポイントの３Ｄ座標と第二ポイントの３Ｄ座標とを照合することによって第一変換マトリックスを算定することができる。例えば、処理デバイス１３０は、ポイントクラウド照合法を用いて、第一ポイントの３Ｄ座標と第二ポイントの３Ｄ座標とを照合してよい。このポイントクラウド照合法は、反復最近傍ポイント（ＩＣＰ：ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）法を含んでよい。
いくつかの実施形態において、第一ＬｉＤＡＲと第二ＬｉＤＡＲとの間の相対位置が一定の場合、この第一変換マトリックス（例えば、Ｒ１およびＴ１）も一定であり得る。
５４０において、ポイント情報判断モジュール３３０は、第二３Ｄ座標および第四３Ｄ座標に基づいて、第一３Ｄ座標を算定することができる。
なお、前述の説明は単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス５００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、ポイント情報判断モジュール３３０は、５２０、５３０、または５４０の前に５１０を実行することが可能である。さらなる別の例として、ポイント情報判断モジュール３３０は、５１０と５２０とを同時に実行してもよい。
図６は、本開示のいくつかの実施形態による、第一３Ｄ座標を第一２Ｄ座標に変換するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス６００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス６００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス６００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス６００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図６に示され、以下に説明する、プロセス６００のオペレーションの順序は、これに限定することは意図されていない。いくつかの実施形態では、処理デバイス１３０は、プロセス６００に基づいてプロセス４００の４５０を実行してよい。
６１０において、変換モジュール３５０は、第二変換マトリックスを得ることができる。いくつかの実施形態において、処理デバイス１３０は、（例えば、図７に関連して詳しく説明するように）前もってオフラインで、第二変換マトリックスを算定することが可能である。第二変換マトリックスを算定した後、処理デバイス１３０は、その第二変換マトリックスをストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）の中に格納することが可能である。変換モジュール３５０は、第二変換マトリックスを得るためそのストレージ媒体にアクセスすればよい。
６２０において、変換モジュール３５０は、第二変換マトリックスに基づいて、複数のポイントの第一３Ｄ座標を複数のポイントの第一２Ｄ座標に変換することができる。例えば、変換モジュール３５０は、下記の式（４）に基づいてこれら２Ｄ座標を算定することが可能である。
上式のｕ１およびｖ１は、第一ポイントセット中のポイントの２Ｄ座標を示す。ｘ、ｙ、およびｚは、その点の３Ｄ座標を示す。Ｒ２Ｔ２は第二変換マトリックスを示す。Ｒ２は、回転マトリックスを示し、３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、第一３Ｄ座標に対応する３Ｄ座標系に対する、第一画像に対応する２Ｄ座標系の回転角度を表す。Ｒ２は、下記の式（５）によって表すことができる。
上式のｒｏｌｌ２、ｐｉｔｃｈ２、およびｙａｗ２は、それぞれ、３Ｄ座標系のｘ軸、ｙ軸、およびｚ軸における、３Ｄ座標系に対する２Ｄ座標系の回転角度を示す。Ｔ２は、変換マトリックスを示し、３Ｄ座標系の下での２Ｄ座標系の原点の３Ｄ座標を表す。Ｔ２は、下記の式（６）によって表すことができる。
上式のΔｘ１、Δｙ１、およびΔｚ１は、３Ｄ座標系の下での２Ｄ座標系の原点の３Ｄ座標を示す。
なお、前述の説明は、単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス６００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。
図７は、本開示のいくつかの実施形態による、第二変換マトリックスを算定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態において、プロセス７００は、図１に示された環境情報検出システム１００中に実装されてよい。例えば、プロセス７００は、命令の形でストレージ媒体（例えば、ストレージデバイス１５０、またはストレージ２２０）中に格納し、処理デバイス１３０（例えば、処理デバイス１３０のプロセッサ２２０、または図３中に示された、処理デバイス１３０の１つ以上のモジュール）によって呼び出しおよび／または実行することができる。以下に提示する例示のプロセス７００のオペレーションは、例証を意図したものである。いくつかの実施形態において、プロセス７００は、記述にない１つ以上の追加のオペレーションを使って、および／または記述されたオペレーションの１つ以上なしに、達成することが可能である。さらに、図７に示され、以下に説明する、プロセス７００のオペレーションの順序はこれに限定することは意図されていない。いくつかの実施形態において、処理デバイス１３０は、プロセス７００に基づいてプロセス６００の６１０を実行することができる。
７１０において、処理デバイス１３０は、ＬｉＤＡＲから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信することができる。このターゲットは、静的２Ｄパターンを含んでよい。この静的２Ｄパターンは、１つ以上のポイントを含んでよく、その各々は円の中心であってよい。例えば、このターゲットは、それぞれが円の中心であってよい、６つのポイントを有する静的２Ｄパターンであり得る。これら１つ以上のポイントはどのような順序で配置されてもよい。１つ以上のＬｉＤＡＲは、これら６つの中心にレーザビームを放射することができる。この第二ポイントセットは、６つの円の中心に対応する６つのポイントを含むことが可能である。いくつかの実施形態において、当該ＬｉＤＡＲは基準３Ｄ座標系に対応することができる。例えば、３つのＬｉＤＡＲが車両上に設置されている場合、処理デバイス１３０は、カメラ１２０と、ＬｉＤＡＲに対応して３Ｄ座標系が基準３Ｄ座標系として選択された該ＬｉＤＡＲと、の間の変換マトリックスを算定することが可能である。
７２０において、処理デバイス１３０は、カメラ１２０から、ターゲットに関する複数の画素を含む第二画像を受信することができる。例えば、ターゲットが６つそれぞれの円の６つの中心である場合、カメラ１２０は、それら６つの中心を含む第二画像をキャプチャすることが可能である。
７３０において、処理デバイス１３０は、第二ポイントセットの第五３Ｄ座標を算定することができる。いくつかの実施形態において、処理デバイス１３０は、第二ポイントセット中のポイントに基づいて第五３Ｄ座標を直接算定することが可能である。
７４０において、処理デバイス１３０は、ターゲットに関する第二画像の画素の第二２Ｄ座標を算定することができる。いくつかの実施形態において、処理デバイス１３０は、ターゲットに関する画素（例えば、６つそれぞれの円の６つの中心に対応する６つの画素）を識別し、それら画素の第二２Ｄ座標を算定することが可能である。例えば、第二画像をキャプチャした後、カメラ１２０は、その第二画像を処理デバイス１３０に送信することができる。第二画像を受信した後、処理デバイス１３０は、その第二画像をスクリーン上に表示してよい。ユーザ（例えば、技術者）は、そのスクリーンを介し、手またはマウスを使い画素をクリックすることによって、ターゲットに関連する画素を選択することが可能である。別の例として、処理デバイス１３０は、画像認識技術（例えば、テンプレート照合、ＳＶＭ分類、または濃淡値ベースの方法）に基づいて、それら画素を自動的に判定することができる。
７５０において、処理デバイス１３０は、第五３Ｄ座標および第二２Ｄ座標に基づいて、第二変換マトリックスを算定することができる。いくつかの実施形態において、処理デバイス１３０は、最小二乗法に基づいて第二変換マトリックスを算定することが可能である。処理デバイス１３０は、下記の（ａ２）〜（ｄ２）のオペレーションに基づいて、第二変換マトリックスを算定すればよい。
（ａ２）処理デバイス１３０は、予備変換マトリックスを設定することができる。この予備変換マトリックスは、ユーザ（例えば、技術者）の経験、または環境情報検出システム１００によるデフォルト設定に基づいて算定されてよい。
（ｂ２）処理デバイス１３０は、予備変換マトリックスおよび第二ポイントセット中のポイントの第五３Ｄ座標に基づいて、該第二ポイントセット中のポイントの見積り２Ｄ座標を算定することができる。
（ｃ２）処理デバイス１３０は、第二ポイントセット中のポイントのこれら推定２Ｄ座標を、ターゲットに関連する画素の第二２Ｄ座標と対比することができる。また、処理デバイス１３０は、第二ポイントセット中のポイントの推定２Ｄ座標とターゲットに関連する画素の第二２Ｄ座標との間の偏差平方和を算定することが可能である。
（ｄ２）処理デバイス１３０は、この偏差平方和が域値（例えば、０．０１）より小さいかどうかを判断することができる。処理デバイス１３０は、該偏差平方和が域値（例えば、０．０１）より小さいとの判断に応じて、該予備変換マトリックスを第二変換マトリックスとして決定する。処理デバイス１３０は、該偏差平方和が域値（例えば、０．０１）以上であるとの判断に応じて、（ａ２）〜（ｄ２）を繰り返してよい。
単なる例示であるが、処理デバイス１３０は、下記の式（７）および（８）に基づいて、第二変換マトリックスを算定することが可能である。
および
上式のｘ３、ｙ３、およびｚ３は、第二ポイントセット中のポイントの３Ｄ座標を示す。ｕ’およびν’は、そのポイントの推定２Ｄ座標を示す。Ｒ’２Ｔ’２は、予備変換マトリックスを示す。ｕ２およびν２は、該ポイントに対応する、第二画像中の画素の２Ｄ座標を示す。ｎは、第二ポイントセット中のポイントの数を示す。例えば、ターゲットが６つの円の６つの中心である場合、第二ポイントセット中のポイントの数は６（ｎ＝６）であってよい。φは、第二ポイントセット中のポイントの推定２Ｄ座標と、ターゲットに関連する画素の第二２Ｄ座標との間の偏差平方和を示す。
いくつかの実施形態において、ＬｉＤＡＲとカメラ１２０との間の相対位置が一定の場合、この第二変換マトリックス（例えば、Ｒ２およびＴ２）も一定であり得る。
なお、前述の説明は、単に例証の目的で提示されたものであって、本開示の範囲を限定することは意図されていない。当業者は、本開示の教示を踏まえ、数多くの変形および変更を生成することができよう。しかしながら、それらの変形および変更は、本開示の範囲を外れるものではない。例えば、例示的なプロセス７００中のどこかの箇処に１つ以上の他の随意のステップ（例えば、格納するステップ）が追加されてもよい。別の例として、処理デバイス１３０は、７２０の前、後、または７２０と同時に７１０を実行することができる。さらなる別の例として、処理デバイス１３０は、７４０の前、後、または７４０と同時に７３０を実行することが可能である。
基本的な構想を上記で説明してきたが、当業者には、本詳細な開示を読了した後、前述した詳細な開示が単なる例示のための提示を意図されたものであり、限定でないことは十分に明らかであろう。本明細書には明示で述べられてはいないが、様々な変形、改良、および変更を行うことが可能で、それらは当業者のため意図されている。これらの変形、改良、および変更は、本開示によって示唆するように意図されたものであり、本開示の例示的な諸実施形態の趣旨および範囲内にある。
さらに、本開示の諸実施形態を説明するために特定の用語を用いてきた。例えば、用語「一実施形態」、「或る実施形態」、および／または「いくつかの実施形態」は、その実施形態に関連して説明された或る特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態中に含まれることを意味する。従って、本明細書の様々な部分における「或る実施形態」または「一実施形態」または「別の実施形態」は、必ずしも、それらの全てが同一の実施形態を指すものではない。加えて、これら特定の特徴、構造、または特性は、適切な場合、本開示の１つ以上の実施形態の中で組合せられてよい。
さらに、当業者には当然のことながら、本開示の態様は、一切の新規且つ有用なプロセス、機械、製造、もしくは合成物、またはそれらの一切の新規且つ有用な改良を含め、数多くの特許性のある部類およびコンテキストにいずれかで、本明細書中に例証し説明することが可能である。したがって、本開示の態様は、全体をハードウェアで、全体をソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）で、もしくは、ソフトウェアおよびハードウェア実装を組み合わせ実装することができ、これらの全ては、一般に本明細書では「ユニット」、「モジュール」、または「システム」と称することがある。さらに、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する一つ以上のコンピュータ可読媒体中に具現化された、コンピュータプログラム製品の形を取ることも可能である。
コンピュータ可読信号媒体は、例えばベースバンド中にまたは搬送波の一部として具現化されたコンピュータ可読プログラムコードを有する、伝播データ信号を含んでよい。かかる伝播信号は、電磁気的、光学的または同様の、さまざまな形態、あるいはこれらの任意の適切な組合せを含め、任意の形を取ることが可能である。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではないが、命令実行システム、装置、もしくはデバイスによって、またはこれらに関連させて使用するためのプログラムの通信、伝播、または伝送が可能な任意のコンピュータ可読媒体であってよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、ワイヤレス、有線、光ファイバケーブル、ＲＦまたは同様のもの、あるいは前述の任意の適した組み合わせを含め、任意の適切な媒体を用いて送信することができる。
本開示の態様のオペレーションを実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎまたは同様のものなどのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｆｏｒｔｒａｎ２００３、Ｐｅｒｌ、ＣＯＢＯＬ２００２、ＰＨＰ、ＡＢＡＰなどの従来式手続き型プログラミング言語、Ｐｙｔｈｏｎ、ＲｕｂｙおよびＧｒｏｏｖｙなどの動的プログラミング言語、または他のプログラミング言語を含む、一つ以上のプログラミング言語の任意の組み合わせで記述することができる。このプログラムコードは、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータで専ら実行しても、ユーザのコンピュータで部分的に実行してもよく、一部をユーザのコンピュータで一部を遠隔コンピュータで実行してもよく、あるいは遠隔のコンピュータまたはサーバで専ら実行してもよい。後者の場合は、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することもでき、もしくは（例えばインターネット・サービス・プロバイダを使いインターネットを介し）外部のコンピュータに、またはクラウドコンピューティング環境に接続を行うことも、あるいはソフトウェアアズサービス（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）などのサービスの提供を受けることも可能である。
さらに、処理要素またはシーケンスの記載された順序、あるいは、数字、文字、または他の称号の使用は、したがって、特許請求の範囲に指定されている場合を除き、請求されるプロセスおよび方法をいかなる順序に限定することも意図されていない。上記の開示は、現在、本開示の種々の有用な実施形態と考えられる様々な例を通して説明しているが、当然のことながら、かかる詳細は説明目的だけのためであり、添付の特許請求の範囲は開示された実施形態に限定されるものでなく、それとは逆に、開示された実施形態の趣旨と範囲内にある諸々の変更および等価のアレンジメントを網羅することが意図されている。例えば、前述の様々なコンポーネントの実装は、ハードウェアデバイスで具現化できるが、ソフトウェアだけのソリューション、例えば既存のサーバまたは携帯デバイスへのインストールとして実装することも可能である。
同様に、当然ながら、本開示の実施形態の前述の説明では、本開示を簡明化し、様々な実施形態の１つ以上の理解を助力するために、時として様々な特徴を一緒に単一の実施形態、図、説明にまとめている。しかしながら、この開示の仕方が、請求される主題が各請求項に明示で記載されたものより多くの特徴を必要とするとの意図を反映している、と解釈されるべきではない。それどころか、請求される主題は、前述で開示された単一の実施形態の部分的な特徴の中にあり得る。

Claims (15)

  1. 命令のセットを格納するストレージデバイスと、
    前記ストレージデバイスと通信するように構成された１つ以上のプロセッサと、
    を含むシステムであって、
    前記命令のセットを実行したとき、前記１つ以上のプロセッサは、前記システムに、
    カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信させ、
    １つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信させ、
    前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定させ、
    前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成させ、
    前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換させ、
    前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断させる、
    ように構成され、
    前記１つ以上のオブジェクトのオブジェクト種類を判断することは、
    前記区分結果、および前記複数のポイントの第一２Ｄ座標に基づいて前記１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、前記第一画像中の前記１つ以上のオブジェクトを識別することと、
    前記１つ以上のオブジェクトの１つに対し、前記オブジェクトの前記境界ボックスの中心画素の３Ｄ座標、前記オブジェクトの長さ、前記オブジェクトの幅、前記オブジェクトの高さ、および前記オブジェクトのポイントの数に基づいて、前記オブジェクトの種類を判断することと、を含む、
    システム。
  2. 前記１つ以上のプロセッサは、前記システムに、
    前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断させる、
    ようにさらに構成される、
    請求項１に記載のシステム。
  3. 前記１つ以上のオブジェクトに関する前記環境情報は、
    前記１つ以上のオブジェクトの前記オブジェクト種類と、
    前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
    前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
    前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
    前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
    前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
    のうちの少なくとも１つを含む、請求項２に記載のシステム。
  4. 前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含む、請求項１に記載のシステム。
  5. 前記複数のポイントの前記第一３Ｄ座標を算定するために、前記１つ以上のプロセッサは、前記システムに、
    前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定させ、
    前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定させ、
    前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換させ、
    前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定させる、
    ように構成される、請求項４に記載のシステム。
  6. 前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するために、前記１つ以上のプロセッサは、前記システムに、
    変換マトリックスを得させ、
    前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換させる、
    ように構成される、請求項１に記載のシステム。
  7. 前記変換マトリックスを得るために、前記１つ以上のプロセッサは、前記システムに、
    前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信させ、
    前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信させ、
    前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定させ、
    前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定させ、
    前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定させる、
    ように構成される、請求項６に記載のシステム。
  8. 前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて前記変換マトリックスを算定するために、前記１つ以上のプロセッサは、前記システムに、
    最小二乗法によって前記変換マトリックスを算定させる、
    ように構成される、請求項７に記載のシステム。
  9. 前記ターゲットは、各々が円の中心である１つ以上のポイントを有する２Ｄパターンを含む、請求項７に記載のシステム。
  10. 前記１つ以上のオブジェクトの前記オブジェクト種類を判断するために、前記１つ以上のプロセッサは、前記システムに、
    Ｆａｓｔｅｒ−ＲＣＮＮモデルによって前記１つ以上のオブジェクトの前記オブジェクト種類を判断させる、
    ように構成される、請求項１に記載のシステム。
  11. １つ以上のプロセッサ、およびストレージデバイスを有するコンピューティングデバイス上に実装された方法であって、
    カメラから、１つ以上のオブジェクトに関する複数の画素を含む、第一画像を受信するステップと、
    １つ以上の光検知および測距装置（ＬｉＤＡＲ）から、前記第一画像の前記複数の画素に対応する複数のポイントを含む、第一ポイントセットを受信するステップと、
    前記第一ポイントセットに基づいて、前記複数のポイントの第一３Ｄ座標、および前記複数のポイントの反射強度を算定するステップと、
    前記複数のポイントの前記第一３Ｄ座標、および前記複数のポイントの前記反射強度に基づいて前記複数のポイントを分類することによって、区分結果を生成するステップと、
    前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの第一２Ｄ座標に変換するステップと、
    前記複数のポイントの前記第一２Ｄ座標と、前記複数のポイントの前記第一３Ｄ座標と、前記区分結果と、前記第一画像とに基づいて、前記１つ以上のオブジェクトのオブジェクト種類を判断するステップと、
    を含み、
    前記１つ以上のオブジェクトのオブジェクト種類を判断するステップは、
    前記区分結果、および前記複数のポイントの第一２Ｄ座標に基づいて前記１つ以上のオブジェクトの各々に対する境界ボックスを算定することによって、前記第一画像中の前記１つ以上のオブジェクトを識別するステップと、
    前記１つ以上のオブジェクトの１つに対し、前記オブジェクトの前記境界ボックスの中心画素の３Ｄ座標、前記オブジェクトの長さ、前記オブジェクトの幅、前記オブジェクトの高さ、および前記オブジェクトのポイントの数に基づいて、前記オブジェクトの種類を判断するステップと、を含む、
    方法。
  12. 前記方法は、
    前記オブジェクト種類に基づいて、前記１つ以上のオブジェクトに関する環境情報を判断するステップ、
    をさらに含み、
    前記１つ以上のオブジェクトに関する前記環境情報は、
    前記１つ以上のオブジェクトの前記オブジェクト種類と、
    前記１つ以上のオブジェクトの少なくとも１つの運動状態と、
    前記１つ以上のＬｉＤＡＲおよび前記カメラを含む車両に対する、前記１つ以上のオブジェクトの少なくとも１つの速度と、
    前記１つ以上のオブジェクトの少なくとも１つの前記車両に対する加速度と、
    前記１つ以上のオブジェクトの少なくとも１つの運動方向と、
    前記１つ以上のオブジェクトの少なくとも１つと前記車両との間の距離と、
    のうちの少なくとも１つを含む、
    請求項１１に記載の方法。
  13. 前記第一ポイントセットは、第一ＬｉＤＡＲによって取得された第一ポイントサブセット、および第二ＬｉＤＡＲによって取得された第二ポイントサブセットを含み、
    前記複数のポイントの前記第一３Ｄ座標を前記算定するステップは、
    前記第一ＬｉＤＡＲに関連する第一３Ｄ座標系に対応する前記第一ポイントサブセットの第二３Ｄ座標を算定するステップと、
    前記第二ＬｉＤＡＲに関連する第二３Ｄ座標系に対応する前記第二ポイントサブセットの第三３Ｄ座標を算定するステップと、
    前記第三３Ｄ座標を、前記第一３Ｄ座標系に対応する、前記第二ポイントサブセットの第四３Ｄ座標に変換するステップと、
    前記第一ポイントサブセットの前記第二３Ｄ座標および前記第二ポイントサブセットの前記第四３Ｄ座標に基づいて、前記第一３Ｄ座標を算定するステップと、
    を含む、
    請求項１１に記載の方法。
  14. 前記複数のポイントの前記第一３Ｄ座標を、前記複数のポイントの前記第一２Ｄ座標に前記変換するステップは、
    変換マトリックスを得るステップと、
    前記変換マトリックスに基づいて、前記複数のポイントの前記第一３Ｄ座標を前記複数のポイントの前記第一２Ｄ座標に変換するステップと、
    を含む、請求項１１に記載の方法。
  15. 前記変換マトリックスを前記得るステップは、
    前記１つ以上のＬｉＤＡＲの１つから、ターゲットに関する複数のポイントを含む第二ポイントセットを受信するステップと、
    前記カメラから、前記ターゲットに関する複数の画素を含む第二画像を受信するステップと、
    前記ターゲットに関する前記複数のポイントの第二３Ｄ座標を算定するステップと、
    前記ターゲットに関する前記複数の画素の第二２Ｄ座標を算定するステップと、
    前記第二３Ｄ座標および前記第二２Ｄ座標に基づいて、前記変換マトリックスを算定するステップと、
    を含む、請求項１４に記載の方法。
JP2018564348A 2017-08-25 2017-08-25 車両の環境情報を検出するための方法およびシステム Active JP6689006B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/099173 WO2019037129A1 (en) 2017-08-25 2017-08-25 METHODS AND SYSTEMS FOR DETECTING ENVIRONMENTAL INFORMATION OF A VEHICLE

Publications (2)

Publication Number Publication Date
JP2019533133A JP2019533133A (ja) 2019-11-14
JP6689006B2 true JP6689006B2 (ja) 2020-04-28

Family

ID=65229096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018564348A Active JP6689006B2 (ja) 2017-08-25 2017-08-25 車両の環境情報を検出するための方法およびシステム

Country Status (8)

Country Link
US (1) US10824880B2 (ja)
EP (1) EP3465267A4 (ja)
JP (1) JP6689006B2 (ja)
CN (1) CN109716160B (ja)
CA (1) CA3026667C (ja)
SG (1) SG11201810922VA (ja)
TW (1) TWI691730B (ja)
WO (1) WO2019037129A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740627B2 (en) * 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
CN111857111B (zh) * 2019-04-09 2024-07-19 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
JP7534330B2 (ja) * 2019-05-12 2024-08-14 マジック アイ インコーポレイテッド ３次元深度マップデータの２次元画像上へのマッピング
WO2021062587A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for automatic labeling of objects in 3d point clouds
KR102324511B1 (ko) * 2019-11-20 2021-11-09 국민대학교산학협력단 포인트 클라우드 데이터를 이용한 3d lidar 센서 결함 검출 방법
US11614742B2 (en) * 2019-11-27 2023-03-28 Zoox, Inc. Height estimation using sensor data
CN113066121A (zh) * 2019-12-31 2021-07-02 深圳迈瑞生物医疗电子股份有限公司 图像分析系统和识别重复细胞的方法
US20230045319A1 (en) * 2020-01-30 2023-02-09 Outsight A surveillance sensor system
USD960727S1 (en) * 2020-04-15 2022-08-16 Beijing Voyager Technology Co., Ltd. Lidar device
CN111596090A (zh) * 2020-06-17 2020-08-28 中国第一汽车股份有限公司 车辆行驶速度的测量方法、装置、车辆和介质
US11715277B2 (en) 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
US11461922B2 (en) * 2020-06-23 2022-10-04 Tusimple, Inc. Depth estimation in images obtained from an autonomous vehicle camera
US11373389B2 (en) * 2020-06-23 2022-06-28 Tusimple, Inc. Partitioning images obtained from an autonomous vehicle camera
US20220135074A1 (en) * 2020-11-02 2022-05-05 Waymo Llc Classification of objects based on motion patterns for autonomous vehicle applications
US11841439B2 (en) 2020-11-02 2023-12-12 Waymo Llc Point cloud segmentation using a coherent lidar for autonomous vehicle applications
US12050267B2 (en) 2020-11-09 2024-07-30 Waymo Llc Doppler-assisted object mapping for autonomous vehicle applications
CN112629520A (zh) * 2020-11-25 2021-04-09 北京集光通达科技股份有限公司 一种机器人导航与定位方法、系统、设备及存储介质
CN112528829B (zh) * 2020-12-07 2023-10-24 中国科学院深圳先进技术研究院 一种基于视觉的非结构化道路的居中行驶方法
US11656629B1 (en) 2020-12-08 2023-05-23 Waymo Llc Detection of particulate matter in autonomous vehicle applications
US12060078B2 (en) * 2020-12-10 2024-08-13 Motional Ad Llc Merging LiDAR information and camera information
TWI745204B (zh) * 2020-12-28 2021-11-01 國家中山科學研究院 基於深度學習之高效率光達物件偵測方法
CN112977541A (zh) * 2021-03-17 2021-06-18 上海电气泰雷兹交通自动化系统有限公司 一种基于多技术融合的列车防护预警系统
TW202305740A (zh) 2021-06-17 2023-02-01 日商新唐科技日本股份有限公司 物體檢測裝置、物體檢測方法及程式
WO2023096037A1 (ko) * 2021-11-23 2023-06-01 주식회사 모라이 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
JP7527678B2 (ja) 2021-11-23 2024-08-05 モライ インコーポレーティッド 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法
CN113879338B (zh) * 2021-11-24 2023-02-17 广州文远知行科技有限公司 一种行驶规划模块优化方法、装置、设备和介质
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069328A (ja) * 2002-08-01 2004-03-04 Nissan Motor Co Ltd 前方環境認識装置及び前方環境認識方法
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
EP1835475B1 (de) * 2006-03-15 2008-06-25 Delphi Technologies, Inc. Hindernisbeurteilungsverfahren für ein Kraftfahrzeug
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
JP5688876B2 (ja) * 2008-12-25 2015-03-25 株式会社トプコン レーザスキャナ測定システムの較正方法
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US8260539B2 (en) * 2010-05-12 2012-09-04 GM Global Technology Operations LLC Object and vehicle detection and tracking using 3-D laser rangefinder
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9482529B2 (en) * 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US8565481B1 (en) * 2011-05-26 2013-10-22 Google Inc. System and method for tracking objects
CN103959088B (zh) * 2011-11-30 2017-05-24 英特尔公司 位置检测系统
US8736463B1 (en) * 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
US9110169B2 (en) * 2013-03-08 2015-08-18 Advanced Scientific Concepts, Inc. LADAR enabled impact mitigation system
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
CN103559791B (zh) * 2013-10-31 2015-11-18 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9177481B2 (en) 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
CN105302151B (zh) * 2014-08-01 2018-07-13 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的系统及方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
JP6426968B2 (ja) * 2014-10-08 2018-11-21 キヤノン株式会社 情報処理装置およびその方法
CN104407351B (zh) * 2014-12-05 2017-05-17 北京公科飞达交通工程发展有限公司 车辆窗口位置识别方法
JP6410178B2 (ja) * 2015-01-08 2018-10-24 パナソニックＩｐマネジメント株式会社 物体検出装置および物体検出方法
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US10007849B2 (en) * 2015-05-29 2018-06-26 Accenture Global Solutions Limited Predicting external events from digital video content
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を使用して障害物を検出する方法及びそのシステム
CN105014678A (zh) * 2015-07-16 2015-11-04 深圳市得意自动化科技有限公司 基于激光测距的机器人手眼标定方法
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9922553B2 (en) * 2015-12-22 2018-03-20 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
EP3430427B1 (en) * 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
WO2018039337A1 (en) * 2016-08-23 2018-03-01 Canvas Technology, Inc. Autonomous cart for manufacturing and warehouse applications
CN106570454B (zh) * 2016-10-10 2019-06-11 同济大学 基于移动激光扫描的行人交通参数提取方法
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
WO2018142779A1 (ja) * 2017-02-06 2018-08-09 三菱電機株式会社 監視装置
CN106908775B (zh) * 2017-03-08 2019-10-18 同济大学 一种基于激光反射强度的无人车实时定位方法
CN106997466B (zh) * 2017-04-12 2021-05-04 百度在线网络技术（北京）有限公司 用于检测道路的方法和装置
JP7016058B2 (ja) * 2017-04-28 2022-02-04 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP6861592B2 (ja) * 2017-07-14 2021-04-21 三菱電機株式会社 データ間引き装置、測量装置、測量システム及びデータ間引き方法
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations

Also Published As

Publication number Publication date
US20190138822A1 (en) 2019-05-09
EP3465267A1 (en) 2019-04-10
CN109716160B (zh) 2022-12-02
EP3465267A4 (en) 2019-05-22
US10824880B2 (en) 2020-11-03
CA3026667C (en) 2020-09-15
TWI691730B (zh) 2020-04-21
WO2019037129A1 (en) 2019-02-28
CN109716160A (zh) 2019-05-03
CA3026667A1 (en) 2019-01-31
SG11201810922VA (en) 2019-03-28
TW201920982A (zh) 2019-06-01
JP2019533133A (ja) 2019-11-14
AU2017417170A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
JP6689006B2 (ja) 車両の環境情報を検出するための方法およびシステム
US11618438B2 (en) Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US11146783B2 (en) Partial calibration target detection for improved vehicle sensor calibration
CN114723955B (zh) 图像处理方法、装置、设备和计算机可读存储介质
WO2020135446A1 (zh) 一种目标定位方法和装置、无人机
US11734935B2 (en) Transferring synthetic lidar system data to real world domain for autonomous vehicle training applications
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
CN110163930A (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
JPWO2017057041A1 (ja) 信号処理装置、信号処理方法、およびプログラム
US11460855B1 (en) Systems and methods for sensor calibration
KR20210022703A (ko) 운동 물체 검출 및 지능형 운전 제어 방법, 장치, 매체 및 기기
CN113096151B (zh) 对目标的运动信息进行检测的方法和装置、设备和介质
US20200033118A1 (en) Three-dimensional computer vision based on projected pattern of laser dots and geometric pattern matching
Mallik et al. Real-time Detection and Avoidance of Obstacles in the Path of Autonomous Vehicles Using Monocular RGB Camera
TWI680898B (zh) 近距離障礙物之光達偵測裝置及其方法
Tu et al. Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera
KR102680900B1 (ko) 파노라마 영상데이터에서 이웃차량탐지데이터와 위치측정데이터로 이루어진 실시간 자율협력주행 지원데이터 생성·전송장치 및 방법
EP4421451A1 (en) An effective method to estimate pose, velocity and attitude with uncertainty
WO2024069669A1 (ja) 情報処理システム及びプログラム、情報処理方法、端末、サーバ
WO2024040964A1 (zh) 识别模型训练方法、装置以及可移动智能设备
CN118072030A (zh) 一种用于对点云数据进行处理的方法和装置
CN116152798A (zh) 一种地铁列车底部环境建模分块避障方法及系统
KR20230019298A (ko) 객체 포즈 인식을 통한 복셀 주소화 기반의 시각적 위치 결정 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190225

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200331

R150 Certificate of patent or registration of utility model

Ref document number: 6689006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250