JP7438928B2 - ロケーションを提供する装置及び方法 - Google Patents

ロケーションを提供する装置及び方法 Download PDF

Info

Publication number
JP7438928B2
JP7438928B2 JP2020214464A JP2020214464A JP7438928B2 JP 7438928 B2 JP7438928 B2 JP 7438928B2 JP 2020214464 A JP2020214464 A JP 2020214464A JP 2020214464 A JP2020214464 A JP 2020214464A JP 7438928 B2 JP7438928 B2 JP 7438928B2
Authority
JP
Japan
Prior art keywords
sensor
location
data
units
sensor units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020214464A
Other languages
English (en)
Other versions
JP2022089123A (ja
Inventor
アクシャイ・バーガト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2022089123A publication Critical patent/JP2022089123A/ja
Application granted granted Critical
Publication of JP7438928B2 publication Critical patent/JP7438928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S13/48—Indirect determination of position data using multiple beams at emission or reception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S2013/466—Indirect determination of position data by Trilateration, i.e. two antennas or two sensors determine separately the distance to a target, whereby with the knowledge of the baseline length, i.e. the distance between the antennas or sensors, the position data of the target is determined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Description

特許法第３０条第２項適用 展示会名称：コンシューマー・エレクトロニクス・ショー（ＣＥＳ）２０２０ 開催日：令和２年１月７日から令和２年１月１０日
本開示は、ロケーション情報を提供する装置及び方法に関し、より詳細には、全地球測位システム（ＧＰＳ）サービスが利用不能又は低信頼度であるエリア内でロケーション情報を提供することに関する。
近年、ＧＰＳは、カバレッジの欠落及び信号強度に起因して多くのエリア内で容易に利用可能ではない。それゆえ、これらのエリア内で、車両及び歩行者等のオブジェクトのロケーションを識別すること、及びそれらのオブジェクトの正確なロケーションを提供することは困難である。
さらに、車両を、自律ナビゲーション機能を有するように構成することが普及しつつある。例えば、ドローン及び自動運転自動車を、或る環境中にわたって自律的にナビゲートするように構成することができる。これらの車両は、屋内環境内でナビゲートする際にロケーションデータに依拠する必要がある場合がある。
例えば、オブジェクトが、ＧＰＳが利用可能でないか又はＧＰＳ信号が弱い若しくは断続的である、屋内駐車場又は密集した都市エリア内に存在する場合、関連技術の方法を使用することによってオブジェクトの正確なロケーションを取得することは困難であり得る。
実施の形態は、ＧＰＳサービスが利用可能でないエリアであっても、正確なロケーション識別情報（ＩＤ）を提供する装置及び方法を提供する。
実施の形態は、屋内空間であっても最大数センチメートルの精度を有する正確なロケーションを取得することができる方法を提供することができる。
更なる態様は、以下の明細書で一部説明され、本明細書から一部明らかとなるか、又は提示される実施形態の実施により認識することができる。
本開示の一態様によれば、ロケーション情報を提供する装置は、ＧＰＳカバレッジが欠落している制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数の視野角（ＦＯＶ）をそれぞれ有する複数のセンサユニットであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、複数のセンサユニットと、プロセッサであって、前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供されたセンサデータを融合し、前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別し、前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供するように構成されたプロセッサとを備える。
本開示の一態様によれば、ロケーション情報を提供する方法は、ＧＰＳカバレッジが欠落している場合がある制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数のＦＯＶをそれぞれ有する複数のセンサユニットからセンサデータを取得することであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、取得することと、前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供された前記センサデータを融合することと、前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別することと、前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供することとを含む。
本開示の一態様によれば、１つ以上の命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにロケーション情報を提供する方法を実行させ、前記方法は、制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数のＦＯＶをそれぞれ有する複数のセンサユニットからセンサデータを取得することであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、取得することと、前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供された前記センサデータを融合することと、前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別することと、前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供することとを含む非一時的コンピュータ可読記憶媒体が提供される。
本開示の或る特定の実施形態の上記及び／又は他の態様、特徴及び利点は、添付の図面と併せて以下の説明を読むことで、より明らかとなるであろう。
一実施形態による、ロケーションを提供する装置の動作を示す図である。 一実施形態による、ロケーションを提供する装置の動作を示す図である。 一実施形態による、ロケーションを提供する装置を示すブロック図である。 一実施形態による、ロケーションを提供する装置を示すブロック図である。 一実施形態による追跡方法を示すブロック図である。 一実施形態による、センサデータを処理する方法を示すブロック図である。 一実施形態による、ロケーションを提供する装置を示すブロック図である。 一実施形態による、プロセッサと通信するオブジェクトを示すブロック図である。 一実施形態による、ロケーション情報を提供する方法を示すフロー図である。 一実施形態による、ロケーションを提供する装置を示す図である。
これより、添付の図面を参照して或る特定の実施形態を説明する。
図１を参照すると、複数のセンサユニット１００は、一実施形態によれば、ＧＰＳカバレッジが欠落している制限エリア（confined area：範囲が限られたエリア）１０２中にわたって分散することができる。例えば、ＧＰＳは、制限エリア１０２の外部のエリアにおいて利用可能であり得る。制限エリア１０２は、屋内駐車場、立体駐車場、密集した都市エリアにおける交差点、又はＧＰＳカバレッジが利用不能であり得る他の任意のエリアとすることができる。別の例として、１つ以上のオブジェクト１０４が制限エリア１０２内に位置することができ、一方、複数のセンサユニット１００が制限エリア１０２の外部、すなわち、ＧＰＳサービスが利用可能であるエリア内に位置することができる。一実施形態は、ＧＰＳ信号が弱い場合があるか、又はデータ送信レートが低下している場合がある密集した都市エリア等においてＧＰＳサービスが断続的であるときに適用することもできる。
オブジェクト１０４は、追跡のターゲットとすることもできるし、追跡のターゲットに関連付けることもできる。例えば、オブジェクトは、ユーザのポータブル電子デバイス、又は車両若しくはロボットのコンピュータとすることができる。すなわち、オブジェクト１０４は、ユーザ又はモータ駆動機械マシンが携行するコンピューティングデバイスである。オブジェクト１０４が、ユーザが携行するコンピューティングデバイスである事例では、ユーザを、非ＧＰＳロケーション提供サービスに対する加入者とすることができ、したがって、関連付けられたコンピューティングデバイスが登録される。オブジェクト１０４がモータ駆動メカニカルマシンのコンピューティングデバイスである事例では、マシンの運転者又はマシンのコンピューティングデバイスを、非ＧＰＳロケーション提供サービスに対する加入者とすることができる。
ユーザに伝達されるロケーションは、受信された実際のＧＰＳロケーションに対して拡張されたものであり、それゆえ、情報は喪失しない。ユーザは、要求に応じてデータを提供するロケーションサービスに加入する。
複数のセンサユニット１００のそれぞれがオーバラップエリア１１０内で複数のセンサユニット１００のうちの少なくとも１つの他のセンサユニットと少なくとも部分的にオーバラップするＦＯＶ１０６、１０８を有する。一実施形態の構成を用いる場合、オブジェクトは、或る特定のエリア内の移動経路に沿ってオーバラップしているＦＯＶを有する少なくとも２つのセンサを用いてカバーすることができる。したがって、複数のセンサユニット１００は、オブジェクト１０４を追跡するために異なるＦＯＶをカバーするように協働する。
例えば、オーバラップしているＦＯＶを有する複数のセンサユニット１００の各２つの隣接したセンサユニットは、ペアのうちのそれぞれのペアのセンサユニットが他のペア内に含まれるセンサユニットとは異なるようにペア単位でグループ化することができる。しかしながら、これは、限定するものではなく、ペアのうちのいくつかのペアにおけるセンサユニットは、別のペア内にも含めることができる。センサユニットのペアは、オブジェクトのロケーションがそれらのペアによって追跡されるとともにそのロケーションをオブジェクトに提供することができるように、制限エリア内で分散される。しかしながら、これは、限定するものではなく、複数のセンサユニット１００は、オーバラップしているＦＯＶを有する３つのセンサユニットのグループ単位でグループ化することができる。
複数のセンサユニット１００のそれぞれは、１ｃｍ以内の精度を有する所定のロケーション値を有する。検出されたオブジェクトの全てのロケーションは、オブジェクトを検出、分類し、そのオブジェクトをその相対ロケーションとともに追跡するセンサフュージョン方法、例えば、アルゴリズムを通して求めることができる。相対ロケーションのローカル座標は、複数のセンサユニット１００の既知の座標に基づいてグローバル座標に変換される。追跡アルゴリズムは、事前定義されたモーションモデルを使用して、オブジェクト１０４のモーションを推定及び／又は予測し、オクルージョンの場合であってもロケーションを更新する。
複数のセンサユニット１００は２つのセンサユニットを有するものとして図示されているものの、これは、非限定的であり、オーバラップエリア１１０を有する複数のセンサユニット１００は、例えば、精度の向上及びロケーションのユーザへの伝達の高速化のために３つとすることができる。
以下で詳細に説明されるように、複数のセンサユニット１００は、付近のオブジェクトのロケーションに関する組み合わされた情報を受信することができるクラウドに接続することができる。ロケーションは、ワイヤレス通信チャネル、例えば、４Ｇ／５Ｇ、Ｗｉ－Ｆｉ、ＤＳＲＣ等を介して、ロケーションサービスのユーザに伝達することができる。オブジェクトＩＤは、ユーザ自身によって最初に確立することができ、及び／又は、最後の既知のロケーション、例えば、最後のＧＰＳ信号がそこから受信されたロケーションに基づいて行うことができる。最終識別は、種々の利用可能なセンサの検出媒体を通して、例えば、可視光又は不可視光、ｐｉｎｇ（ピング）、超音波信号、無線信号、オーディオ信号等を送信することによって、オブジェクトによって提供される固有のフィードバック信号を通して行うことができる。別の例として、フィードバック信号は、当該技術分野において既知である飛行時間（ＴＯＦ：time of flight）方法のうちの１つによって実現することができる。識別情報がフィードバック信号を介して検証されると、ロケーションを、識別された人物又は車両のコンピューティングデバイスにのみ伝達することができる。
図２を参照すると、複数のセンサユニット１００は、第１のＦＯＶ２０４を有する第１のセンサユニット２０２と、第２のＦＯＶ２０８を有する第２のセンサユニット２０６と、第３のＦＯＶ２１０を有する第３のセンサユニット２０９とを含むことができる。第１のＦＯＶ２０４、第２のＦＯＶ２０８、及び第３のＦＯＶ２１０は、オーバラップエリア１１０においてオーバラップしている。一実施形態によれば、複数のセンサユニット１００のそれぞれが、第１のセンサ２１２と、第１のセンサ２１２のタイプとは異なるタイプの第２のセンサ２１４とを備えることができる。しかしながら、これは、限定するものではなく、複数のセンサユニット１００のそれぞれが、第１のセンサ２１２及び第２のセンサ２１４のタイプとは異なるタイプを有する第３のセンサを付加的に含むことができる。
図３を参照すると、オブジェクトのロケーションを提供する装置３００は、プロセッサ３０２において提供されるワイヤレスインタフェースを介して複数のセンサユニット１００からセンサデータをワイヤレスに受信することができる１つ以上のプロセッサ３０２を備える。例えば、プロセッサ３０２は、第１のセンサユニット２０２、第２のセンサユニット２０６、及び第３のセンサユニット２０９の中からの少なくとも２つのセンサユニットからセンサデータを受信することができる。センサデータは、複数のセンサユニット１００のそれぞれによって、その対応するＦＯＶ、例えば、第１のＦＯＶ２０４、第２のＦＯＶ２０８、及び第３のＦＯＶ２１０の中からの少なくとも２つのＦＯＶから獲得されるデータを含むことができる。センサデータは、複数のセンサユニット１００のそれぞれに含まれる第１のセンサ２１２及び第２のセンサ２１４によってそれぞれ提供されるオーバラップエリア１１０のセンサデータを含むことができる。プロセッサ３０２は、複数のセンサユニット１００のそれぞれの第１のセンサ２１２及び第２のセンサ２１４によって提供されるセンサデータをそれぞれ受信する第１の融合器３０４、第２の融合器３０６、及び第３の融合器３０８によって融合されたセンサデータを受信することができるグローバル融合器３０３を備えることができる。データプロセッサ３１０は、融合されたセンサデータを処理することができ、融合されたセンサデータに基づいてオブジェクト１０４のロケーションを識別することができる。しかしながら、これは、限定するものではなく、単一の構成要素、例えば、グローバル融合器３０３又はデータプロセッサ３１０が、センサデータを融合及び処理することができる。出力インタフェース３１２は、ワイヤレスに、例えば、Ｅｔｈｅｒｎｅｔ、インターネット等を介して、ロケーション情報をオブジェクトに提供することができる。
一実施形態では、異なるセンサからの出力は、オーバラップエリア１１０から提供される電気信号及び視覚信号を統合することによって組み合わされる。センサフュージョンを使用することによって、オブジェクトの数センチメートル内の精度を有する融合されたロケーションを提供するために非常に高精度の位置特定を達成することができ、また、オブジェクト、例えば、人物、車両、ロボット等の正しい分類も提供することができる。
個々の融合器が複数のセンサユニット１００の外部に位置するものとして示されているものの、全ての又は一部の第１の融合器３０４、第２の融合器３０６、及び第３の融合器３０８を、それぞれ複数のセンサユニット１００と統合することができることが想定される。この事例では、データ処理を複数のセンサユニット１００内で実行することができるとともに関連する融合されたセンサデータのみが送信されるので、データ処理及び送信に関連付けられるコストは、更に削減することができる。
例えば、プロセッサ３０２は、サーバー又は制御中央処理ユニットとすることができる。一実施形態では、プロセッサ３０２は、当業者に既知であるように、クラウド上に配置するとともに、１つ以上のメモリ３１４に結合することができる。
図４を参照すると、第１のセンサユニット２０２は、カメラ４０２、例えば、撮像センサと、光検出及び測距（light detection and ranging）（ライダー（lidar））センサ４０４とを備えるセンササブユニット４００を備えることができる。第１のセンサユニット２０２は、レーダー４０６を更に備えることができる。カメラ４０２は、第１のセンサ２１２に対応することができ、ライダーセンサ４０４は、第２のセンサ２１４に対応することができ、レーダー４０６は、上記で言及された第３のセンサに対応することができる。第１のセンサユニット２０２のみが図４に図示されているものの、一実施形態は、複数のセンサユニット１００に適用可能である。
カメラ４０２からの画像データは、オブジェクトクラス又はオブジェクトのタイプ、例えば、自動車、バス、トラック、歩行者等の識別に使用することができる。カメラ４０２からの画像データは、画像データ内のオブジェクトのロケーションの周囲の２次元（２Ｄ）バウンディングボックスを識別するのにも使用することができる。その場合、２Ｄバウンディングボックス情報は、ライダーセンサ及び／又はレーダーによって検出された障害物のセンサフュージョンフレームデータと照合して、その後、３次元（３Ｄ）バウンディングボックス情報を求めるために組み合わせることができる。３Ｄバウンディングボックス情報は、オブジェクト、例えば、車両を完全にカバーすることができる最小直方体の推定サイズ（ｌ＊ｂ＊ｈ）、及び北東軸を基準としたその方位を含む。
ライダーセンサ４０４は、レーザービームを出力し、オブジェクトから反射された波形を受信することによってオブジェクト１０４の形状及びオブジェクト１０４までの距離を検知することができ、これにより、オブジェクトの形状又はロケーションが得られる。加えて、ライダーセンサ４０４は、オブジェクト１０４の形状及びロケーションに関する情報、並びに、測定地点からオブジェクト１０４までの飛行時間に基づいてオブジェクト１０４までの距離を測定する飛行時間方式、又は光を使用して三角測量を実行することによって距離を測定する方法を使用することによって、オブジェクト１０４までの距離に関する情報を得ることができる。ライダーセンサ４０４は、マルチビームライダーセンサ、及び微小電気機械システム（ＭＥＭＳ：microelectromechanical systems）／光フェーズドアレイ（ＯＰＡ：optical phased arrays）ライダーセンサを含むことができるが、これに限定されるものではない。
一実施形態では、レーダー４０６は、オブジェクトの正確な速度を検出するのに使用することができる。速度は、より良好な全体ロケーション精度のために追跡アルゴリズムを拡張するのに使用される。レーダー点からのロケーション値は、ローカルセンサフュージョン態様において用いられるが、この態様は、レーダーによる検出の品質の低下を意味する非常に高い共分散を有する。
一実施形態では、複数のセンサユニット１００は、ワイヤレス通信方法に従って、例えば、Ｅｔｈｅｒｎｅｔを介して、通信インタフェースを介してＬｉｎｕｘ（登録商標） ＰＣ及び路側ユニット（ＲＳＵ：road side unit）ＰＣに接続することができる。例えば、第１のデータプロセッサ４０８のデータ受信機４０７は、Ｅｔｈｅｒｎｅｔを介して、カメラ４０２からの画像データ、及びライダーセンサ４０４からの未加工データを受信する。例えば、第１のデータプロセッサ４０８は、Ｕｂｕｎｔｕを実行するＬｉｎｕｘ（登録商標） ＰＣ、又は他の適切なコンピューティングデバイス、例えば、マイクロプロセッサとすることができる。
カメラ４０２からの受信画像データ及び／又はライダーセンサ４０４からの受信未加工データは、データロガー４１０によって記録することができる。例えば、受信センサデータは、１つ以上の内部メモリ４１２又は単数若しくは複数の外部メモリに記憶することができる。
第２のデータプロセッサ４２０のデータ受信機４１８は、カメラ４０２によって獲得されたセンサデータ、ライダーセンサ４０４によって獲得されたセンサデータ、及びレーダー４０６によって獲得されたセンサデータの中の少なくとも２つを受信することができる。信号プロセッサ４２１は、受信センサデータを処理することができる。第１の融合器３０４は、獲得されたセンサデータに基づいてセンサフュージョンを行うことができ、融合されたデータを出力することができる。座標変換器４２４は、例えば、緯度及び経度変換を使用することによって、オブジェクト１０４の位置の座標を、センサローカル座標系からグローバル座標系に変換することができる。例えば、第２のデータプロセッサ４２０は、例えば特定用途向け（ＡＰ）プロセッサを含むＲＳＵ ＰＣとすることもできるし、他の任意の適切なコンピューティングデバイス、例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ等とすることもできる。
プロセッサ３０２は、グローバル座標系において第２のデータプロセッサ４２０によって提供される検出を受信することができる。グローバル融合器３０３は、動的マッピングを取得するためにグローバルセンサフュージョンを行うことができる。グローバルセンサフュージョンは、個々のローカルセンサデータ融合器からの複数の融合された検出の組み合わせを可能にする。これにより、複数の方向からオブジェクトを正確に追跡するとともに精度を改善することが可能になる。
最後に、オブジェクトの検出情報、例えば、識別情報、位置情報等を、オブジェクト１０４、例えば、ユーザの移動電話、車両を制御する車両制御システム等に出力することができる。
しかしながら、上記の記載は、限定するものではない。例えば、第１のデータプロセッサ４０８、第２のデータプロセッサ４２０、及びプロセッサ３０２のそれぞれは、より少数の又はより多数の構成要素を備えることができる。いくつかの構成要素を１つの構成要素として組み合わせることもできるし、いくつかの構成要素を別個に配置することもできる。第１のデータプロセッサ４０８及び第２のデータプロセッサ４２０を単一のエンティティとして具現化することができ、及び／又は、第１のデータプロセッサ４０８及び第２のデータプロセッサ４２０に関して説明された構成要素の全て又はいくつかを第１のセンサユニット２０２に組み込むことができる。別の例として、第１のデータプロセッサ４０８、第２のデータプロセッサ４２０、及びプロセッサ３０２を単一のエンティティとして具現化することができる。
一実施形態では、起こり得る最低レイテンシと安定性とを有して、ライダー、レーダー及びカメラからの未加工データのより大きい帯域幅をリアルタイムに転送するために、データ配信サービス（ＤＤＳ：data distribution service）を使用して、センササブユニット４００と第１のデータプロセッサ４０８との間でセンサデータを転送することができる。ＤＤＳは、ＤＤＳデータバスを介して未加工データを送出するデータパブリッシャーと、第１のデータプロセッサ４０８、例えば、Ｌｉｎｕｘ（登録商標） ＰＣによってデータを受信するデータ加入者とを使用するデータ転送プロトコルである。従来のＵＤＰ／ＴＣＰ通信方法と比較して、ＤＤＳは、より高速なデータ転送、より低いレイテンシ、及びより高いデータインテグリティを示した。
引き続き図４を参照するとともに図５を更に参照すると、動作５０２において、ライダーセンサ４０４の未加工データ、すなわち、点群は、データ受信機４０７によって受信され、データロガー４１０によって記録され、ＤＤＳを介してデータ受信機４１８及び信号プロセッサ４２１に転送される。信号プロセッサ４２１は、ライダー信号処理アルゴリズムを実行することができる。
具体的には、動作５０４において、点群の地面を識別して除去することができる。ライダーセンサ４０４の水平配置（又はそれに従って補正された配置）と、地面の曲率が最小であることとが前提とされる。ライダー点のうちの少なくともいくつかは検出フレームの下側端部に相対的に近い地面からのものであることがもう一つの前提とされる。最終ラベル付けは、範囲ベース角度フィルタ（range-based angular filter）及び多項式フィルタ（polynomial fitting）の組み合わせを使用して行われる。計算リソースは、幅優先探索を使用して、地面としてラベル付けされた各点に最も近い類似の近傍点をマーキングすることによって節約される。
動作５０６において、オブジェクト点、例えば、自車両点を識別することができ、点群のクラスタリングを実行することができる。例えば、複数の検出が同じオブジェクトに属することができ、この事例では、複数の検出は、共通の信号属性に基づいてオブジェクトとしてクラスタリングされる。
動作５０８において、上記クラスタリングを、オブジェクトとして識別することができる。動作５１０において、オブジェクト関連付けを実行することができる。動作５１２において、オブジェクト１０４の追跡を実行することができる。すなわち、２回以上の検出サイクルの間複数のセンサユニット１００のオーバラップエリア１１０内に同じオブジェクトが留まる場合があるので、同じオブジェクトの検出信号が受信される場合があり、同じオブジェクトが少なくとも２回の検出サイクルの間追跡される場合がある。しかしながら、これは、限定するものではなく、オブジェクトは、第１のセンサユニット２０２のみの第１のＦＯＶ ２０４内に存在することによって追跡される場合がある。
オブジェクトロケーション及び／又はオブジェクト追跡に関する情報を、プロセッサ３０２に提供することができ、プロセッサ３０２は、情報をオブジェクト１０４に報告することができる。１つのみのオブジェクトが本明細書において言及されているものの、一実施形態は、オブジェクトモニタリング及び追跡が複数のセンサユニット１００を使用することによって実行されるエリア内に存在する複数のオブジェクトに適用可能である。
引き続き図４を参照するとともに図６を更に参照すると、第１の融合器３０４は、複数のセンサ、例えば、ライダーセンサ４０４及びレーダー４０６からのオブジェクトマージの動作、オブジェクトクラスタリングの動作、オブジェクト追跡初期化、例えば、カルマンフィルタ初期化の動作、オブジェクト初期追跡の動作、オブジェクト関連付け、例えば、グローバルニアレストネイバー（ＧＮＮ：Global Nearest Neighbor）等を使用することによるオブジェクト関連付けの動作、及びオブジェクト追跡の動作を行うセンサフュージョン方法、例えば、アルゴリズムを実行することができる。追跡されるオブジェクト情報、例えば、オブジェクト識別情報、位置等を、プロセッサ３０２に提供し、各オブジェクトのＩＤ検証に基づいて、出力インタフェース３１２を介してオブジェクト１０４に報告することができる。
具体的には、センサデータがデータ受信機４１８によってライダーセンサ４０４及びレーダー４０６から受信された後、センサデータは、上記で説明されたような信号プロセッサ４２１によって処理することができる。すなわち、ライダーセンサ４０４の未加工データ及びレーダー４０６の未加工データの双方を、図５を参照して上記で説明されたように処理することができる。しかしながら、これは、限定するものではなく、ライダーセンサ４０４及び／又はレーダー４０６の未加工データは、異なる方法で処理することができる。
動作６０２において、オブジェクトマージを実行することができる。例えば、第１の融合器３０４は、複数のセンサから複数の検出を受信し、センサ信号属性に基づいて全ての個々のオブジェクトデータをマージする検出のリスト内に検出の全てを置く。元のオブジェクトリストを出力することができる。
動作６０４において、オブジェクトクラスタリングは、元のオブジェクトのリストに基づいて実行することができる。例えば、複数のセンサからの複数の検出が同じオブジェクトに属することができ、この事例では、複数の検出が、共通の信号属性に基づいて一オブジェクトとしてクラスタリングされる。クラスタリングされたオブジェクトのリストを出力することができる。
動作６０６において、クラスタリングされたオブジェクトに基づいて、第１の融合器３０４は、追跡を初期化し、追跡開始点を出力することができる。すなわち、２回以上の検出サイクルの間複数のセンサユニット１００のオーバラップエリア１１０内に同じオブジェクトが留まる場合があるので、同じオブジェクトの検出信号が受信される場合があり、同じオブジェクトが少なくとも２回の検出サイクルの間追跡される場合がある。
動作６０８において、新たな測定値、例えば、検出は、関連付け方法、例えばＧＮＮに従って既存の追跡に関連付けられる。
動作６１０において、オブジェクト関連付けを実行することができる。
動作６１２において、第１の融合器３０４は、カルマンフィルタを使用することによるオブジェクト関連付け後に追跡機能を行い、更新された追跡を出力することができる。
動作６１４において、座標変換器４２４は、更新された追跡点のローカル座標をグローバル座標に変換し、グローバルセンサフュージョン及び追跡（動作６１６）のために、追跡されるオブジェクトの識別情報及び位置をプロセッサ３０２に提供する。
図３及び図４を再度参照するとともに図７を更に参照すると、プロセッサ３０２は、第１のセンサユニット２０２～第Ｎのセンサユニット７００を含む複数のセンサユニット１００によって提供されたセンサデータにグローバルセンサフュージョン方法、例えば、グローバルセンサフュージョンアルゴリズムを適用することによって、グローバルセンサフュージョン（図６の動作６１６）を実行することができる。第１のセンサユニット２０２～第Ｎのセンサユニット７００のそれぞれは、第１のデータ処理ユニット７０２、第２のデータ処理ユニット７０４、及び第３のデータ処理ユニット７０６～第Ｎのデータ処理ユニット７０８にそれぞれセンサデータを提供する。
第１のデータ処理ユニット７０２は、図４の第１のデータプロセッサ４０８に対応することができる。第２のデータ処理ユニット７０４～第Ｎのデータ処理ユニット７０８のそれぞれは、第１のデータプロセッサ４０８と同じ構成要素を備えることができ、第２のセンサユニット２０６～第Ｎのセンサユニット７００のそれぞれによって提供されたセンサデータに対して、同じ動作を実行することができる。すなわち、第１のデータプロセッサ４０８に関して上記で説明された実施形態は、第１のデータ処理ユニット７０２～第Ｎのデータ処理ユニット７０８に等しく適用可能である。第１のデータ処理ユニット７０２～第Ｎのデータ処理ユニット７０８の数は、複数のセンサユニット１００の数に対応することもでき、異なる数とすることもできる。例えば、複数のセンサユニット１００のうちの少数の出力は、単一のデータ処理ユニットによって処理することができる。
第１のＲＳＵ ７１０は、図４の第２のデータプロセッサ４２０に対応することができる。第２のＲＳＵ ７１２及び第３のＲＳＵ ７１４～第ＮのＲＳＵ ７１６のそれぞれは、第２のデータプロセッサ４２０と同じ構成要素を備えることができ、第２のデータ処理ユニット７０４～第Ｎのデータ処理ユニット７０８のそれぞれによって提供されたデータに対して、同じ動作を実行することができる。すなわち、第２のデータプロセッサ４２０に関して上記で説明された実施形態は、第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６に等しく適用可能である。しかしながら、これは、限定するものではなく、ＲＳＵ ７１０～第ＮのＲＳＵ ７１６は、それぞれ第１のデータ処理ユニット７０２～第Ｎのデータ処理ユニット７０８を包含することができる。
第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１４の数は、第１のデータ処理ユニット７０２～第Ｎのデータ処理ユニット７０８の数に対応することもでき、異なる数とすることもできる。例えば、第１のデータ処理ユニット７０２～第Ｎのデータ処理ユニット７０８の中の少数の出力は、単一のＲＳＵによって処理することができる。第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６が図示及び説明されているものの、一実施形態は、ＲＳＵに限定されない。例えば、第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６の全て又は一部を、１つ以上のＣＰＵ等に置き換えることができる。
センサデータが第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６によって処理された後、センサデータは、グローバルセンサフュージョンのためにプロセッサ３０２に送信することができる。
グローバルセンサフュージョンは、第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６を介して提供される、個々のローカルセンサデータ融合器からの複数の融合された検出の組み合わせを可能にする。これにより、複数の方向からオブジェクトを正確に追跡するとともに精度を改善することが可能になる。グローバルセンサフュージョンは、送信レートを改善するとともに計算複雑度を低減するように追跡されるオブジェクトの高レベル特徴を受信する。
図８は、一実施形態による、ロケーション情報をユーザに提供するための、オブジェクト１０４、例えばユーザモバイルデバイスの一例のブロック図を示している。しかしながら、これは、限定するものではなく、オブジェクトは、車両又は車両コンピュータ、パーソナルコンピュータ、スマートスピーカ等とすることができる。
一実施形態では、オブジェクト１０４は、ユーザ入力インタフェース８０４、例えば、グラフィカルユーザインタフェース（ＧＵＩ）、ボタン、マイクロフォン等、センサ８０６、ロケーション検出器８１０、１つ以上のプロセッサ８１２、メモリ８１４、通信ユニット８１６（例えば、通信プロセッサ及び／又は通信インタフェース）、及び、例えばディスプレイ８２２、スピーカ８２４、ライト８２６等を含む出力デバイス８２０を含む。しかしながら、これは、限定するものではなく、出力デバイス８２０は、より多数の又はより少数の構成要素を含むことができる。例えば、ディスプレイ８２２は、タッチスクリーン及びタッチパッドを含むことができる。この事例では、ユーザ入力インタフェース８０４（すなわち、ＧＵＩ）は、ディスプレイ８２２に組み込むことができる。別の例として、ディスプレイ８２２は、ライト８２６の機能を組み込むことができる。
例えば、オブジェクト１０４は、そのＩＤ情報、例えばオブジェクトＩＤを提供することによってプロセッサ３０２と通信することができ、提供されたＩＤ情報に基づいて、プロセッサ３０２からロケーション情報及び他の任意の補助情報を受信し、ロケーション情報を出力するようにディスプレイ８２２を制御することができる。
オブジェクトＩＤは、プロセッサ３０２に提供されるユーザＩＤ、例えば、ユーザ名、パスワード、ユーザ顔認証情報、電話番号、ユーザデバイスのＭＡＣ番号等とすることができる。例えば、オブジェクトＩＤは、スピーカ８２４、ライト８２６、ワイヤレス通信等を介して通信することができる。例えば、オブジェクト１０４のライト８２６は、可視又は不可視波長の光、光の所定のシーケンス、又はカラー光の所定のシーケンスを明滅させることができる。車両の事例では、類似のＩＤ情報を、車両のヘッドライト、外部カメラ、車両センサによって、フロントガラスを通してユーザのポータブルデバイスを介して等で提供することができる。別の例として、例えば、顔識別情報、ナンバープレート番号、オブジェクトクラス等として、オブジェクトＩＤを、オブジェクト１０４の近位にある複数のセンサユニット１００のうちの１つに含まれるカメラによって取得することができる。一実施形態では、オブジェクトＩＤは、オブジェクト１０４の近位にある複数のセンサユニット１００のうちの１つによって受信することができ、プロセッサ３０２に通信することができる。
プロセッサ８１２は、ロケーション検出器８１０及び／又はオブジェクト外部センサ８３０のうちの１つ以上から検出信号を受信することができ、ユーザが制限エリア１０２に進入したことを判断することができる。例えば、オブジェクト外部センサ８３０は、車両の外部に設置されるとともに、車両の周囲環境、例えば、屋内ガレージ（indoors garage）の画像データを捕捉する外部カメラとすることができる。プロセッサ８１２は、オブジェクト１０４が制限エリア１０２に進入したという通知をプロセッサ３０２に、ディスプレイ８２２上に及び／又はオーディオ信号によって提供するように構成することができる。
センサ８０６は、ユーザ環境等を検出及び／又は識別するように構成することができ、デバイスカメラを含むことができる。ロケーション検出器８１０は、ユーザの現在のロケーションをユーザのコンテキストとして検出するように構成することができる。例えば、ロケーション検出器８１０は、オブジェクト１０４が移動する際の速さに関係付けられたモーション情報及びＧＰＳサービスが利用可能であるエリア内のロケーション情報を提供するセンサ、例えば、ＧＰＳとすることができる。モーション情報に基づいて、プロセッサ８１２は、例えば既知のデジタルマップを使用して、オブジェクト１０４が制限エリア１０２に近づいていることを判断することができる。この事例では、プロセッサ８１２は、最後の既知のオブジェクトロケーションをプロセッサ３０２に提供することができる。しかしながら、これは、限定するものではなく、プロセッサ３０２は、ＧＰＳ信号に基づいて最後の既知のオブジェクトロケーションを判断することができる。
メモリ８１４は、１つ以上のコンピュータ可読記憶媒体を含むことができる。メモリ８１４は、不揮発性記憶素子を含むことができる。不揮発性記憶素子の例は、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラマブルメモリ（ＥＰＲＯＭ）メモリ若しくは電気的消去可能プログラマブル（ＥＥＰＲＯＭ）メモリの形式を含むことができる。メモリ８１４は、オブジェクト１０４の別個の構成要素として提供されるようにプロセッサ８１２に組み込むこともできるし、オブジェクト１０４とは物理的に別個とすることもできる。
メモリ８１４は、ユーザ履歴情報及びオブジェクト情報を記憶することができる。
例えば、ユーザは、ユーザ入力インタフェース８０４を使用して、ＩＤ情報を入力することができる。
通信ユニット８１６は、オブジェクト１０４の構成要素と内部的に、また、ネットワーク及び外部デバイスと外部的に通信するように構成することができる。
サービス加入者８４０は、サービスプロバイダ８４２と直接又はプロセッサ３０２を通して通信することによって、ロケーションプロバイダサービスのサービスプロバイダ８４２との通信を容易にすることができる。
図８に示す構成要素に加えて、オブジェクト１０４は、他の構成要素、例えば、互いに及び／又は外部デバイス又はエンティティと通信する他のハードウェア構成要素又はソフトウェア構成要素を含むことができる。同様に、オブジェクト１０４は、図示されている構成要素よりも少数の構成要素を含むことができる。
引き続き図８を参照するとともに図９を更に参照すると、プロセッサ３０２は、オブジェクト１０４のオブジェクトＩＤ情報を取得して記憶することができる（動作９０２）。例えば、プロセッサ３０２は、オブジェクト１０４のユーザがロケーション提供サービスのためにサインアップした場合、オブジェクトＩＤを取得して記憶することもできるし、オブジェクトＩＤは、オブジェクト１０４のユーザ又はオブジェクト自身の以前のアクティビティに基づいて、プロセッサに事前に既知とすることもできる。オブジェクトＩＤは、上記で説明されたように、名前、電話番号、パスワード、ｐｉｎ、信号シーケンス等とすることができる。
動作９０４において、プロセッサ３０２は、ロケーションサービスをオブジェクト１０４に提供する通知を受信することができる。例えば、通知は、オブジェクト１０４のユーザ、例えば、モバイルデバイスのユーザ、車両の運転者等によって提供される要求として受信することもできるし、オブジェクト１０４のコンピューティングデバイスから直接受信することもできる。別の例として、プロセッサ３０２は、オブジェクト１０４のプロセッサ８１２によって提供される情報に基づいて、オブジェクト１０４が制限エリア１０２に進入したことを自動的に判断することができる。
動作９０６において、プロセッサ３０２は、オブジェクトＩＤのリアルタイム確認を取得することができる。例えば、プロセッサ３０２は、オブジェクト１０４に自身を識別するように要求する要求を、オブジェクト１０４に送信することができる。この事例では、メッセージは、ディスプレイ８２２上に表示することができ、オブジェクト１０４のユーザは、オブジェクトＩＤを、例えばユーザ入力インタフェース８０４において提供することができる。別の例として、オブジェクト１０４が制限エリア内にある場合にオブジェクトＩＤを提供することになるとき、プロセッサ３０２は、オブジェクト１０４が存在すると予測されるロケーションに近いと推定される複数のセンサユニット１００のセンサを介して、オブジェクト１０４に要求を送信することができる。例えば、センサは、光信号を送信するか、光を点滅させるか、メッセージを表示するか、又はオーディオ信号を使用することで、オブジェクト１０４にオブジェクトＩＤを提供するように要求することができる。例えば、オブジェクト１０４が制限エリア１０２に進入した場合、オブジェクト１０４のモーションは、例えば、制限エリア１０２の境界に配置されたモーション検出器によって検出することができる。例えば、屋内ガレージに進入している自動車を追跡するのに使用されるモーションセンサを使用することができる。これに応答して、プロセッサ３０２は、屋内エリアへの進入口に配置されたオーバーヘッドディスプレイを制御して、メッセージ、例えば、「ＩＤを提出してください」を表示することができる。オブジェクト外部センサ８３０は、メッセージを受信することができ、オブジェクト１０４は、そのＩＤを提供することができる。
例えば、オブジェクト１０４は、上記で説明された任意の方法、例えば、所定のシーケンスを明滅させること、カラー光の所定のシーケンスの光を明滅させること、所定の音を生成すること等によってオブジェクトＩＤを提供することができる。例えば、車両のヘッドライト又はポータブルデバイスのライトを使用することができる。プロセッサ３０２は、オブジェクトＩＤがそこから提供される初期追跡ロケーションからのオブジェクトの追跡を開始するように制御することができる。
動作９０８において、プロセッサ３０２は、オブジェクト１０４の移動経路に沿って複数のセンサユニット１００によって取得されたセンサデータを収集及び融合する第１のＲＳＵ ７１０～第ＮのＲＳＵ ７１６によって提供されるデータを融合することができる。
動作９１０及び９１２において、プロセッサ３０２は、オブジェクト１０４のロケーションを識別することができ、オブジェクト１０４に関連付けられたサブジェクトのクラス、例えば、ポータブル電子デバイスを携帯している人物、車両、ロボット、スマートデバイスを携帯しているペット等を識別することができる。例えば、プロセッサ３０２は、コンテキスト情報に基づいて、人物のサブクラス、例えば、子供、男性、女性、歩行者等を識別することができる。例えば、プロセッサ３０２は、車両のサブクラス、例えば、セダン、ピックアップトラック、ＳＵＶ、バス等を識別することができる。しかしながら、これは、限定するものではない。
一実施形態では、センサデータに基づいて、プロセッサ３０２は、オブジェクトのロケーション及びクラス、並びに追跡されているオブジェクト１０４の周囲環境に存在するオブジェクトのユーザを識別することができる。例えば、オブジェクト１０４が交通量の多い交差点内にある場合、プロセッサ３０２は、車両、歩行者及びそれらのロケーションを識別し、それにより、オブジェクト１０４が事故に関与し得ると判断された場合にオブジェクト１０４への警告信号を提供することができる。
動作９１４において、プロセッサ３０２は、例えば、上記で説明された方法のうちの１つによってオブジェクトＩＤを検証することができ、したがって、オブジェクト１０４から、例えば、自律的に移動している機械オブジェクト又はオブジェクトのユーザからフィードバック信号が受信される。
動作９１６において、プロセッサ３０２は、そのオブジェクトＩＤが検証された１０４にロケーション情報を提供することができる。
図１０を参照すると、一実施形態によれば、オブジェクト１０４、１０００及び１００２～１００４を含む複数のオブジェクトを、ネットワーク１０１０又は別個のネットワークを介してプロセッサ３０２に接続することができる。一実施形態では、ロケーションサービスを取得するためにプロセッサ３０２に接続可能なオブジェクトの数は限定されず、１、２、３、．．．、１００、．．．、１０００等とすることができる。
プロセッサ３０２は、オブジェクトがロケーション提供サービスのためにサインアップすると、又は別の方法で、オブジェクト１０４、１０００及び１００２～１００４のそれぞれのオブジェクトＩＤ情報を取得することができる。オブジェクトＩＤは、名前、電話番号、パスワード、ｐｉｎ、信号シーケンス等とすることができる。
複数のセンサユニット１００を使用することによってオブジェクト１０００～１００４のためのロケーションサービスを提供する動作は、オブジェクト１０４に関して上記で説明された動作と同じである。
実施形態は、ＧＰＳがカバレッジの欠如又は不十分な信号強度に起因して利用可能ではないエリア内で、消費者側において特殊なデバイスに大規模な投資を要求することなくインフラストラクチャ側に対するコスト効果の高いロケーション提供サービスを提供することができる。
実施形態は、ＧＰＳが利用可能であるエリア内で関連技術のＧＰＳの精度を高めることができる。関連技術のＧＰＳの精度が数メートル内である一方、一実施形態における位置特定精度は数センチメートル内である。
実施形態は、移動しているオブジェクト、例えば、車両、人々（例えば、モール、スーパーマーケット、大学、病院にいる人々）、及び、さらには、例えば子供及び／又はペットの効率的な管理のために、自宅内にいる人々を追跡することによって、屋内位置特定を提供するように多様に適用することができる。
実施形態によれば、位置特定は、車両、歩行者、及び自律ロボット及び／又は車両を用いた屋内応用及び屋外応用においてユーザマップの拡張によって低コストで、ＧＰＳが利用可能でないユーザのためにより広範かつより正確なスケールで達成することができる。
実施形態は、起こり得る衝突を対象とするために交差点に適用可能とすることができる。例えば、歩行者が歩いている間、歩行者は、自身の電話上で正確なロケーションをリアルタイムで取得し、付近の他のユーザ及び車両のロケーションと比較して、差し迫った事故が起こらないことを確実にすることができる。同様に、或る人物が交差点を通過するように運転しているとき、リアルタイムで、周囲の環境内の全ての歩行者の正確なロケーションを提供することができ、したがって、潜在的な衝突を回避する手段が提供される。
実施形態は、オブジェクトアイデンティティの検出及び検証を確実にしながら異なるセンサモダリティによって提供されるセンサデータの融合を使用することによって、例えば、移動電話フラッシュライト点滅コード、車両ヘッドライト点滅コード、及び、限定するものではないが、ライダー、レーダー及び上記で説明されたカメラを含むセンサによって検出される他の類似のユーザにより生成されたフィードバックメカニズムを使用することによって、数センチメートルの精度でエンドユーザにサービスとしてロケーション情報を提供することができる。
ソースと分析モジュールとの間でデータを転送するのに新規のＤＤＳプロトコルが使用される。
上記で説明した実施形態は、コンピュータ又はコンピュータに類似した装置によって、ソフトウェア、ハードウェア又はそれらの組み合わせを用いることによって実施することができる。いくつかの例では、本明細書に記載の実施形態は、１つ以上のプロセッサによって実施することができる。ソフトウェアによる実施態様によれば、本明細書に記載のプロセス及び機能は、別個のソフトウェアモジュールによって実施することができる。ソフトウェアモジュールのそれぞれは、本明細書に記載の１つ以上の機能及び動作を実行することができる。
例えば、実施形態は、機械可読（例えば、コンピュータ可読）記憶媒体（例えば、内部メモリ又は外部メモリ）に記憶された１つ以上の命令を含むソフトウェアとして実施することができる。プロセッサは、記憶媒体から命令を呼び出すことができ、呼び出された命令に従って動作可能である。命令がプロセッサによって実行されるとき、プロセッサは、命令に対応する機能を、直接、又はプロセッサの制御下で、他の構成要素を用いて実行することができる。命令は、コンパイラによって作成されたコード、又はインタープリターによって実行可能なコードを含むことができる。機械可読記憶媒体は、非一時的記憶媒体の形態で提供することができる。
非一時的コンピュータ可読記憶媒体は、半永久的にデータを記憶し、機械によって読出し可能な媒体を指すが、レジスタ、キャッシュ及びメモリ等の、短時間にわたってデータを記憶する媒体を指すものではない。非一時的コンピュータ可読媒体の例として、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、ハードディスク、ブルーレイディスク、ユニバーサルシリアルバス（ＵＳＢ）、メモリカード、リードオンリーメモリ（ＲＯＭ）等があり得るが、これは限定ではない。
或る特定の実施形態が図面を参照して特に示され、説明されたが、実施形態は例示の目的で提供されるものであり、当業者であれば、本開示から、様々な変更形態及び等価な他の実施形態を作成することができることを理解するであろう。したがって、本開示の真の技術的範囲は、添付の特許請求の範囲の技術的趣旨によって定義される。

Claims (12)

  1. ロケーション情報を提供する装置であって、
    全地球測位システム（ＧＰＳ）カバレッジが欠落している制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数の視野角（ＦＯＶ）をそれぞれ有する複数のセンサユニットであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、複数のセンサユニットと、
    プロセッサであって、
    前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供されたセンサデータを融合し、
    前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別し、
    前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供する
    ように構成されたプロセッサと
    を備え、
    前記プロセッサは、
    前記オブジェクトから受信されるオブジェクトを識別する信号又は前記オブジェクトが前記制限エリアに進入する前に前記オブジェクトから取得された最後のＧＰＳ信号のうちの少なくとも一方に基づいて前記オブジェクトの初期追跡ロケーションを取得し、
    前記初期追跡ロケーションから前記オブジェクトの前記ロケーションを追跡する、
    ように更に構成され、
    前記オブジェクトは、モータ駆動マシン又はポータブル電子デバイスのうちの一方を含み、
    前記信号は、前記モータ駆動マシン又は前記ポータブル電子デバイスのうちの少なくとも一方から送信される、可視波長の光を含み、
    前記可視波長の光による前記信号の送信は、前記モータ駆動マシンのヘッドライト又は前記ポータブル電子デバイスのライトが所定のシーケンスで明滅することにより行われる、装置。
  2. オーバラップしているＦＯＶを有する前記複数のセンサユニットの各２つの隣接したセンサユニットは、ペアのうちのそれぞれのペアのセンサユニットが他のペア内に含まれるセンサユニットとは異なるようにペア単位でグループ化され、
    前記ペアは、前記オブジェクトの前記ロケーションが前記ペアによって追跡されるとともに前記オブジェクトに提供されるように、前記制限エリア内で分散される
    請求項１に記載の装置。
  3. 前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、前記複数のセンサユニットのそれぞれについて、画像データが前記ライダーセンサの前記センサデータと融合される撮像センサであり、
    前記プロセッサは、前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトのクラスを、前記ポータブル電子デバイスを携帯している人物、車両、又はロボットのうちの１つとして識別するように更に構成される
    請求項１に記載の装置。
  4. 前記複数のセンサユニットのそれぞれは、第３のセンサを更に備え、
    前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、撮像センサであり、
    前記第３のセンサは、レーダーであり、
    前記プロセッサは、
    前記複数のセンサユニットのそれぞれについて、前記ライダーセンサによって提供された前記センサデータと、前記レーダーによって提供されたセンサデータとを組み合わせ、
    それぞれ、前記複数のセンサユニットのそれぞれのセンサユニットの前記撮像センサによって提供された画像データを、前記組み合わされたセンサデータと融合し、
    前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトのクラスを、ポータブル電子デバイスを携帯している人物、車両、又はロボットのうちの１つとして識別する
    ように更に構成される
    請求項１に記載の装置。
  5. ロケーション情報を提供する方法であって、
    全地球測位システム（ＧＰＳ）カバレッジが欠落している制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数の視野角（ＦＯＶ）をそれぞれ有する複数のセンサユニットからセンサデータを取得することであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、取得することと、
    前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供された前記センサデータを融合することと、
    前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別することと、
    前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供することと
    を含み、
    前記ロケーションを識別することは、
    前記オブジェクトから受信される前記オブジェクトを識別する信号又は前記オブジェクトが前記制限エリアに進入する前に前記オブジェクトから取得された最後のＧＰＳ信号のうちの少なくとも一方に基づいて前記オブジェクトの初期追跡ロケーションを取得することと、
    前記初期追跡ロケーションから前記オブジェクトの前記ロケーションを追跡することと
    を更に含み、
    前記オブジェクトは、モータ駆動マシン又はポータブル電子デバイスのうちの一方を含み、
    前記信号は、前記モータ駆動マシン又は前記ポータブル電子デバイスのうちの少なくとも一方から送信される、可視波長の光を含み、
    前記可視波長の光による前記信号の送信は、前記モータ駆動マシンのヘッドライト又は前記ポータブル電子デバイスのライトが所定のシーケンスで明滅することにより行われる、方法。
  6. オーバラップしているＦＯＶを有する前記複数のセンサユニットの各２つの隣接したセンサユニットは、ペアのうちのそれぞれのペアのセンサユニットが他のペア内に含まれるセンサユニットとは異なるようにペア単位でグループ化され、
    前記ペアは、前記制限エリア内で分散され、
    前記ロケーション情報を提供することは、
    前記ペアによって前記オブジェクトの移動経路に沿って前記オブジェクトの前記ロケーションを追跡することと、
    前記ペアによって追跡される前記オブジェクトの前記ロケーションを提供することと
    を更に含む
    請求項５に記載の方法。
  7. 前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、前記複数のセンサユニットのそれぞれについて、画像データが前記ライダーセンサの前記センサデータと融合される撮像センサであり、
    前記方法は、前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトのクラスを、前記ポータブル電子デバイスを携帯している人物、車両、又はロボットのうちの１つとして識別することを更に含む
    請求項５に記載の方法。
  8. 前記複数のセンサユニットのそれぞれは、第３のセンサを更に備え、
    前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、撮像センサであり、
    前記第３のセンサは、レーダーであり、
    前記融合することは、
    前記複数のセンサユニットのそれぞれについて、前記ライダーセンサによって提供された前記センサデータと、前記レーダーによって提供されたセンサデータとを組み合わせることと、
    それぞれ、前記複数のセンサユニットのそれぞれのセンサユニットの前記撮像センサによって提供された画像データを、前記組み合わされたセンサデータと融合することと
    を更に含み、
    前記ロケーションを識別することは、前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトのクラスを、前記ポータブル電子デバイスを携帯している人物、車両、又はロボットのうちの１つとして識別することを更に含む
    請求項５に記載の方法。
  9. １つ以上の命令が記憶された非一時的コンピュータ可読記憶媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサにロケーション情報を提供する方法を実行させ、前記方法は、
    全地球測位システム（ＧＰＳ）カバレッジが欠落している制限エリア中に分散されるとともに、オーバラップエリア内で互いに少なくとも部分的にオーバラップする複数の視野角（ＦＯＶ）をそれぞれ有する複数のセンサユニットからセンサデータを取得することであって、前記複数のセンサユニットのそれぞれは、第１のセンサと、前記第１のセンサのタイプとは異なるタイプの第２のセンサとを含む、取得することと、
    前記複数のセンサユニットのそれぞれにそれぞれ含まれる前記第１のセンサ及び前記第２のセンサによって提供された前記センサデータを融合することと、
    前記融合されたセンサデータに基づいて前記オーバラップエリア内に存在するオブジェクトのロケーションを識別することと、
    前記識別されたロケーションのロケーション情報を、前記オブジェクトに提供することと
    を含み、
    前記ロケーションを識別することは、
    前記オブジェクトから受信される前記オブジェクトを識別する信号又は前記オブジェクトが前記制限エリアに進入する前に前記オブジェクトから取得された最後のＧＰＳ信号のうちの少なくとも一方に基づいて前記オブジェクトの初期追跡ロケーションを取得することと、
    前記初期追跡ロケーションから前記オブジェクトの前記ロケーションを追跡することと、
    を更に含み、
    前記オブジェクトは、モータ駆動マシン又はポータブル電子デバイスのうちの一方を含み、
    前記信号は、前記モータ駆動マシン又は前記ポータブル電子デバイスのうちの少なくとも一方から送信される、可視波長の光を含み、
    前記可視波長の光による前記信号の送信は、前記モータ駆動マシンのヘッドライト又は前記ポータブル電子デバイスのライトが所定のシーケンスで明滅することにより行われる、非一時的コンピュータ可読記憶媒体。
  10. オーバラップしているＦＯＶを有する前記複数のセンサユニットの各２つの隣接したセンサユニットは、ペアのうちのそれぞれのペアのセンサユニットが他のペア内に含まれるセンサユニットとは異なるようにペア単位でグループ化され、
    前記ペアは、前記制限エリア内で分散され、
    前記ロケーション情報を提供することは、
    前記ペアによって前記オブジェクトの移動経路に沿って前記オブジェクトの前記ロケーションを追跡することと、
    前記ペアによって追跡される前記オブジェクトの前記ロケーションを提供することと
    を更に含む
    請求項９に記載の非一時的コンピュータ可読記憶媒体。
  11. 前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、前記複数のセンサユニットのそれぞれについて、画像データが前記ライダーセンサの前記センサデータと融合される撮像センサであり、
    前記方法は、前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトに関連付けられたサブジェクトのクラスを、人物、車両、又はロボットのうちの１つとして識別することを更に含む
    請求項９に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記複数のセンサユニットのそれぞれは、第３のセンサを更に備え、
    前記第１のセンサは、光検出及び測距（ライダー）センサであり、
    前記第２のセンサは、撮像センサであり、
    前記第３のセンサは、レーダーであり、
    前記融合することは、
    前記複数のセンサユニットのそれぞれについて、前記ライダーセンサによって提供された前記センサデータと、前記レーダーによって提供されたセンサデータとを組み合わせることと、
    前記複数のセンサユニットのそれぞれのセンサユニットの前記撮像センサによって提供された画像データを、前記組み合わされたセンサデータとそれぞれ融合することと
    を更に含み、
    前記ロケーションを識別することは、前記画像データ又は前記融合されたセンサデータのうちの少なくとも一方に基づいて、前記オブジェクトに関連付けられたサブジェクトのクラスを、人物、車両、又はロボットのうちの１つとして識別することを更に含む
    請求項９に記載の非一時的コンピュータ可読記憶媒体。
JP2020214464A 2020-12-03 2020-12-24 ロケーションを提供する装置及び方法 Active JP7438928B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/110,977 2020-12-03
US17/110,977 US11956693B2 (en) 2020-12-03 2020-12-03 Apparatus and method for providing location

Publications (2)

Publication Number Publication Date
JP2022089123A JP2022089123A (ja) 2022-06-15
JP7438928B2 true JP7438928B2 (ja) 2024-02-27

Family

ID=81848562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020214464A Active JP7438928B2 (ja) 2020-12-03 2020-12-24 ロケーションを提供する装置及び方法

Country Status (2)

Country Link
US (1) US11956693B2 (ja)
JP (1) JP7438928B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640172B2 (en) * 2020-12-03 2023-05-02 Mitsubishi Electric Cornoration Vehicle controls based on reliability values calculated from infrastructure information
KR20220126394A (ko) * 2021-03-09 2022-09-16 (주)스마트레이더시스템 융합 레이더 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065771A (ja) 2001-08-24 2003-03-05 Toyota Industries Corp 移動体の位置検知システム
JP2003149336A (ja) 2001-11-14 2003-05-21 Toshiba Corp 空港監視システム
JP2004185492A (ja) 2002-12-05 2004-07-02 Toshiba Tec Corp Ｐｏｓ端末装置
JP2008197965A (ja) 2007-02-14 2008-08-28 Denso Corp 車両間情報伝達システム
JP2016017879A (ja) 2014-07-09 2016-02-01 株式会社デンソー 測位装置
JP2017096813A (ja) 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2018105136A1 (ja) 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
WO2019239471A1 (ja) 2018-06-11 2019-12-19 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466862B1 (en) * 1999-04-19 2002-10-15 Bruce DeKock System for providing traffic information
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
US8705022B2 (en) * 2004-07-13 2014-04-22 Trimble Navigation Limited Navigation system using both GPS and laser reference
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US7420501B2 (en) * 2006-03-24 2008-09-02 Sensis Corporation Method and system for correlating radar position data with target identification data, and determining target position using round trip delay data
US7541943B2 (en) * 2006-05-05 2009-06-02 Eis Electronic Integrated Systems Inc. Traffic sensor incorporating a video camera and method of operating same
US9076332B2 (en) * 2006-10-19 2015-07-07 Makor Issues And Rights Ltd. Multi-objective optimization for real time traffic light control and navigation systems for urban saturated networks
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US8849554B2 (en) * 2010-11-15 2014-09-30 Image Sensing Systems, Inc. Hybrid traffic system and associated method
CA2998175C (en) * 2012-03-02 2020-11-10 Leddartech Inc. System and method for multipurpose traffic detection and characterization
KR20130127822A (ko) * 2012-05-15 2013-11-25 한국전자통신연구원 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법
JP2016024182A (ja) * 2014-07-25 2016-02-08 船井電機株式会社 位置信号送信システム
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10405146B1 (en) 2018-06-11 2019-09-03 The Toronto-Dominion Bank Voice assistance direction
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065771A (ja) 2001-08-24 2003-03-05 Toyota Industries Corp 移動体の位置検知システム
JP2003149336A (ja) 2001-11-14 2003-05-21 Toshiba Corp 空港監視システム
JP2004185492A (ja) 2002-12-05 2004-07-02 Toshiba Tec Corp Ｐｏｓ端末装置
JP2008197965A (ja) 2007-02-14 2008-08-28 Denso Corp 車両間情報伝達システム
JP2016017879A (ja) 2014-07-09 2016-02-01 株式会社デンソー 測位装置
JP2017096813A (ja) 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
WO2018105136A1 (ja) 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
WO2019239471A1 (ja) 2018-06-11 2019-12-19 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法

Also Published As

Publication number Publication date
US20220182784A1 (en) 2022-06-09
US11956693B2 (en) 2024-04-09
JP2022089123A (ja) 2022-06-15

Similar Documents

Publication Publication Date Title
US11604277B2 (en) Apparatus for acquiring 3-dimensional maps of a scene
CN109725634B (zh) 用于自动驾驶车辆的使用分色镜的3d lidar系统
CN109817022B (zh) 一种获取目标对象位置的方法、终端、汽车及系统
JP7182895B2 (ja) 情報処理装置、プログラム、および情報処理方法
US10262533B2 (en) Moving object and driving support system for moving object
CN110164135B (zh) 一种定位方法、定位装置及定位系统
US10162357B2 (en) Distributed computing among vehicles
JP7438928B2 (ja) ロケーションを提供する装置及び方法
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
US20230109909A1 (en) Object detection using radar and lidar fusion
US11724718B2 (en) Auction-based cooperative perception for autonomous and semi-autonomous driving systems
US20220281459A1 (en) Autonomous driving collaborative sensing
CN110775054B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
CN113771845A (zh) 预测车辆轨迹的方法、装置、车辆和存储介质
CN110794822A (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
JP7412390B2 (ja) 車両のデータアクセス能力を向上するための方法とシステム
CN110775055B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
WO2020241273A1 (ja) 車両用通信システム、車載機、制御方法及びコンピュータプログラム
JP7241582B2 (ja) 移動体位置検出方法及び移動体位置検出システム
US20230169780A1 (en) Automatically detecting traffic signals using sensor data
WO2023146801A1 (en) Correcting multi-zone motion blur
CN115707930A (zh) 基于v2x的车辆预警系统和方法
CN116569233A (zh) 道路监测系统和方法
Tekeli Vehicle tracking by fusing monocular camera and vehicle to vehicle comunication on a real time basis

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230417

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230425

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7438928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150