JP5543696B2 - 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション - Google Patents

明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション Download PDF

Info

Publication number
JP5543696B2
JP5543696B2 JP2008105165A JP2008105165A JP5543696B2 JP 5543696 B2 JP5543696 B2 JP 5543696B2 JP 2008105165 A JP2008105165 A JP 2008105165A JP 2008105165 A JP2008105165 A JP 2008105165A JP 5543696 B2 JP5543696 B2 JP 5543696B2
Authority
JP
Japan
Prior art keywords
beacon
optical
vehicle
data
image frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008105165A
Other languages
English (en)
Other versions
JP2008268204A (ja
Inventor
ラロン ファーウェル マーク
Original Assignee
エクセリス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エクセリス インコーポレイテッド filed Critical エクセリス インコーポレイテッド
Publication of JP2008268204A publication Critical patent/JP2008268204A/ja
Application granted granted Critical
Publication of JP5543696B2 publication Critical patent/JP5543696B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips

Description

本発明は、位置決定およびナビゲーションのシステムを対象としている。
位置決定およびナビゲーションのシステムが、広範囲の用途において使用されている。独自の課題を提示する1つの特定の用途は、ロボットまたは人員の配備されていない車両に関連する。現在、全地球位置把握システム(GPS)が、事実上、野外の用途におけるロボットの位置決定のために使用される唯一の技術である。この分野における開発は、GPSの精度と限界とに対処するように行われている。GPSの能力が、信号受信の障害により拒否されたときには、これらのデバイスは、慣性誘導装置(INS)技術に頼る。GPS/INS位置決定システムは高価であり、GPS衛星の明確なビューが存在するときにだけ、時々、正確なナビゲーションを達成する。さらに、車両と通信する無線送信局からの差分GPS補正データのソースを利用することがまだ必要である。さらに、INSシステムは、加速度センサを使用し、積分により位置の移動を計算するので、INSシステムは時間の関数としての誤差を自然に増加する。従って、GPS/INSを基にしたシステムが、充分に空を見ることができず、INSの誤差を相殺できないと、車両の位置の精度は悪くなり続ける。
推測航法は、絶対的位置決定システム(例えば、GPS)の「ブラックアウト」の期間、位置を更新するために使用される技術である。これは、車両が動くにつれて、車両の相対的な動きを感知することによって達成され得る。INS技術は相対的な動きを決定するために使用され得るが、走行距離測定法は、多くの場合に、推測航法に対するINSの代わりに使用される。走行距離測定法に関する誤差の原因は、任意の瞬間における動きの方向に関する不確実性と地面上の車両のタイヤの滑りとである。推測航法の誤差は、通常、移動距離に対する割合誤差として規定されており、2パーセントの推測航法の誤差は非常に良好であると考えられている。従って、非常に正確な位置決定を必要とする用途に対して、絶対的な位置決定システムにおけるブラックアウトを有することは、許容できない。
GPSを使用することなく、正確な可動ロボットの位置決定を提供することを試みる多数の位置決定システムのアプローチが公知である。これらのアプローチは、GPS擬似衛星(GPS−pseudolite)トランスミッタ、RFビーコン、超音波位置決定、アクティブビームスキャン(active beam scanning)、および目標ナビゲーション(landmark navigation)を含む。特に目標ナビゲーションシステムは、センサ、通常、カメラを使用して、人工のまたは自然の目標(landmark)に対する車両の位置および方向を決定する。人工的な目標は、既知の位置に配備され、これまでに公知の現在のシステムにおいては、高コントラストのバーコードまたはドットパターンの形式を取り得る。車両の位置を計算するために、2つの目標だけを見ることを必要とするように、センサデバイスは目標に対する方向と距離との両方を観察し得る。目標ナビゲーションシステムにおける課題は、雑然とした状況における目標を信頼可能に識別することである。位置計算の精度は、目標に対するカメラの方向を正確に決定することに依存する。また、充分な照明が、既存の目標ナビゲーションのソリューションに必要である。
しかしながら、精度、高い信頼性、低コスト、および開発の相対的な容易さに対する可能性により、目標ナビゲーションは魅力的である。従って、ロボットまたは人員を配備されていない車両に対する現在の位置決定システムのソリューションが達成し得ない信頼性と精度とを達成し得る改良された目標ナビゲーション位置決定システムに対する必要性がある。
手短に言うと、本発明は、これまでに公知であるシステムよりも非常に安価であり、配備するのが複雑ではない目標ナビゲーションのシステムおよび方法を対象としている。本発明に従って、光学的ビーコンが車両の動作領域全体の位置に配備されている。光学的ビーコンは、所定の明滅周波数において光学的信号を発するか、または反射する。光学的ビーコンの位置は、車両に分かっていることがあり得るか、または分かっていないこともあり得る。対の画像フレーム間の時間間隔が、光学的信号の明滅周期の.5倍に等しくなるように、動作領域内の画像、特に一対の画像フレームを捕獲するために、少なくとも1つの撮像デバイス、例えば、デジタルカメラが車両に存在する。撮像デバイスによって捕獲された2つの画像フレーム間の差分フレームを表すデータが生成される。差分フレームにおける光学的ビーコンの画素の位置が識別される。車両の位置および方向は、差分フレームにおける光学的ビーコンの画素の位置を表すデータから決定される。
1つ以上の光学的ビーコンの位置が分かっているときには、それらの位置を表すデータが車両に格納され、位置および方向の計算の目的で、実際の光学的ビーコンにビーコンの画素の位置を適合するか、または関連するように使用される。しかしながら、光学的ビーコンの位置は自動測量され得、それにより動作領域における様々な位置において車両によって捕獲された光学的ビーコンのビューに対する、時の経過と共に集められたデータを使用して、車両によって決定され得る。車両は、動作領域における位置または方向を決定するために使用し得る他の位置決定システムを有し得、従って、本発明の光学的ビーコン位置決定技術は、それらの他の位置決定システムを改良し得る。
本発明はさらに以下の手段を提供する。
(項目1)
車両の目標ナビゲーションの方法であって、
a.動作領域における複数の光学的ビーコンのそれぞれの位置を表すデータを車両内に格納することであって、光学的ビーコンは、所定の明滅周波数において光学的信号を発するか、または反射する、ことと、
b.位置更新サイクルの間に、
i.該車両における少なくとも1つの撮像デバイスを用いて、該動作領域における一対の画像フレームを捕獲することと、
ii.該一対の画像フレームにおける該2つの画像フレームの間の差分フレームを表すデータを生成することと、
iii.該差分フレームにおける光学的ビーコン画素の位置を識別することと、
iv.該差分フレームにおける光学的ビーコン画素の位置を表すデータと、該動作領域における該光学的ビーコンのそれぞれの該位置を表す該格納されたデータとから該車両の位置および方向を導き出すことと
を包含する、方法。
(項目2)
光学的ビーコンを照明するために、上記所定の明滅周波数において上記車両における光源から光を発することをさらに包含し、上記捕獲することは、一対の画像フレームを捕獲することを包含し、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、項目1に記載の方法。
(項目3)
上記捕獲することは、上記対における上記画像フレームの該捕獲を分離している時間間隔が上記光源の明滅周期の.5倍と等しくなるように上記一対の画像フレームを捕獲することを包含する、項目2に記載の方法。
(項目4)
上記光学的ビーコンのうちの1つ以上が、上記所定の明滅周波数において光学的信号を発する光源を備えており、上記捕獲することは、上記対における上記画像フレームの該捕獲を分離している時間間隔が該光学的信号の明滅周期の.5倍と等しくなるように該一対の画像フレームを捕獲することを包含する、項目1に記載の方法。
(項目5)
上記(iv)の導き出すことは、最初の位置更新サイクルの間の最初の差分フレームに対して、該差分フレームにおける光学的ビーコン画素の位置を、該光学的ビーコンのそれぞれの上記位置を表す上記格納されたデータからの実際の光学的ビーコンに適合させることを包含する、項目1に記載の方法。
(項目6)
上記適合させることは、上記最初の位置更新サイクルより後の位置更新サイクルにおける、上記最初の差分フレームより後の差分フレームに対して、前の位置更新サイクルにおける差分フレームから決定された最も近い適合されたビーコン画素の位置に関するデータに基づいて、該差分フレームにおける光学的ビーコン画素の位置を実際の光学的ビーコンに関連付けることと、ビーコンを表す第1のビーコン適合データを生成することとを包含する、項目5に記載の方法。
(項目7)
上記(iv)の導き出すことは、上記最初の位置更新サイクルより後の位置更新サイクルについて、前の位置更新サイクルにおける上記差分フレームから、実際の光学的ビーコンに適合させることができない、該差分フレームでの光学的ビーコン画素の位置に対して、該光学的ビーコンのそれぞれの上記位置を表す上記格納されたデータからの実際の光学的ビーコンに対する適合を決定し、ビーコンを表す第2のビーコン適合データを生成することとを包含する、項目6に記載の方法。
(項目8)
上記第2のビーコン適合データを生成することは、最新の位置更新サイクルでの上記車両の位置と、該車両における上記撮像デバイスの方向と、上記光学的ビーコンのそれぞれの位置を表す上記格納されたデータとに基づいて、ビーコン光線交差に対する3次元画素を計算することを包含する、項目7に記載の方法。
(項目9)
上記(iv)の導き出すことは、上記第1のビーコン適合データと上記第2のビーコン適合データとに基づいて、位置更新サイクルの上記車両の位置と方向とを計算することを包含する、項目7に記載の方法。
(項目10)
上記車両の位置と方向とを計算することは、上記光学的ビーコンの上記位置に関する上記第2の適合データによって表された、ビーコン光線交差に対する3次元画素に対する誤差の合計を最小化することを包含し、該ビーコン光線に対する画素は、該光学的ビーコンの位置の上記格納されたデータにおける該光学的ビーコンの該位置に適合される、項目9に記載の方法。
(項目11)
ビーコン画素が、上記格納されたデータにおける実際の光学的ビーコンに適合されることができないときには、複数の位置更新サイクルにわたり、上記車両の異なる位置において識別されたビーコン画素に対する3次元光線に対するデータを格納することと、時の経過と共に集められた、3次元光線に対するデータを解析し、いくつかの3次元光線が、空間において同じ位置に向くときを決定し、その位置における新たな光学的ビーコンに対するデータを格納することとをさらに包含する、項目7に記載の方法。
(項目12)
上記捕獲することは、上記画像フレームの該捕獲を分離している時間間隔が上記光学的ビーコンの明滅周期の.5倍と等しくなるように上記一対の画像フレームを捕獲することを包含する、項目1に記載の方法。
(項目13)
車両のための目標ナビゲーションシステムであって、
a.動作領域における複数の光学的ビーコンのそれぞれの位置を表すデータを格納するデータ格納デバイスであって、光学的ビーコンは、所定の明滅周波数において光学的信号を発するか、または反射する、データ格納デバイスと、
b.該動作領域において該車両からの視野における画像を捕獲する少なくとも1つの撮像デバイスと、
c.該格納デバイスと該少なくとも1つの撮像デバイスとに接続されたコントローラであって、複数の位置更新サイクルのそれぞれに対し、該コントローラは、一対の画像フレームを捕獲するために該少なくとも1つの撮像デバイスを制御し、該一対の画像フレームにおける該2つの画像フレーム間の差分フレームを生成するために画像データを処理し、そして、該動作領域における該光学的ビーコンのそれぞれの該位置を表す該格納されたデータに基づいて、該車両の位置と方向とを導き出すために該差分フレームを解析する、コントローラと
を備えている、車両のための目標ナビゲーションシステム。
(項目14)
光学的ビーコンを照明するために、上記所定の明滅周波数において光を発する、上記車両における光源をさらに備えており、上記撮像デバイスは、一対の画像フレームを捕獲し、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、項目13に記載のシステム。
(項目15)
上記撮像デバイスは、上記対における上記画像フレームの該捕獲を分離している時間間隔が上記光源の明滅周期の.5倍と等しくなるように上記一対の画像フレームを捕獲する、項目14に記載の方法。
(項目16)
複数の撮像デバイスを備えており、各撮像デバイスは、複数の光源のうちの対応する光源に関連付けられている、項目14に記載のシステム。
(項目17)
上記光学的ビーコンのうちの1つ以上が、上記所定の明滅周波数において光学的信号を発する光源を備えており、上記撮像デバイスは、上記対における上記画像フレームの該捕獲を分離している時間間隔が該光学的信号の明滅周期の.5倍と等しくなるように上記一対の画像フレームを捕獲する、項目13に記載のシステム。
(項目18)
上記コントローラは、最初の位置更新サイクルにおける最初の差分フレームを解析し、該差分フレームにおける光学的ビーコン画素の位置を上記光学的ビーコンのそれぞれの上記位置を表す上記格納されたデータからの実際の画素の位置に適合させる、項目13に記載のシステム。
(項目19)
上記コントローラは、上記最初の位置更新サイクルより後の位置更新サイクルにおける、上記最初の差分フレームより後の差分フレームを解析し、前の位置更新サイクルにおける差分フレームから決定された最も近い適合されたビーコン画素の位置に関するデータに基づいて、該差分フレームにおける光学的ビーコン画素の位置を実際の光学的ビーコンに関連付け、ビーコンを表す第1のビーコン適合データを生成する、項目18に記載のシステム。
(項目20)
上記最初の位置更新サイクルより後の位置更新サイクルについて、前の位置更新サイクルにおける上記差分フレームから、実際の光学的ビーコンに適合させることができない、該差分フレームでの光学的ビーコン画素の位置に対して、上記コントローラが、該光学的ビーコンのそれぞれの上記位置を表す上記格納されたデータからの実際の光学的ビーコンに対する適合を決定し、ビーコンを表す第2のビーコン適合データを生成する、項目19に記載のシステム。
(項目21)
ビーコン画素が、上記格納されたデータにおける実際の光学的ビーコンに適合されることができないときには、上記コントローラは、上記車両の異なる位置における複数の位置更新サイクルにわたり識別されたビーコン画素に対する3次元光線に対するデータを格納し、時の経過と共に集められた3次元光線に対する該データを解析し、いくつかの3次元光線が空間における同じ位置を指しているときを決定し、その位置における新たな光学的ビーコンに対するデータを格納することとを包含する、項目20に記載のシステム。
(項目22)
車両の動作領域において位置された複数の光学的ビーコンのそれぞれによって発せられたか、または反射された、所定の明滅周波数を有する光学的信号に基づいて該車両の位置を決定する方法であって、
a.2つの画像フレームの捕獲を分離している時間間隔が、該光学的ビーコンの明滅周期の.5倍と等しくなるように該車両から捕獲された該2つの画像フレーム間の差分フレームを表すデータを生成することと、
b.該差分フレームにおける光学的ビーコン画素の位置を識別することと、
c.該差分フレームにおける光学的ビーコン画素の位置を表すデータから、該車両の位置および方向を計算することと
を包含する、方法。
(項目23)
上記動作領域における1つ以上の上記光学的ビーコンの上記実際の位置を表すデータを上記車両に格納することをさらに包含し、上記(c)の計算することは、該格納されたデータにさらに基づいている、項目22に記載の方法。
(項目24)
光学的ビーコンを照明するために、上記所定の明滅周波数において、上記車両における光源から光を発することと、上記2つの画像フレームを捕獲することであって、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、こととをさらに包含する、項目22に記載の方法。
(項目25)
1つ以上の上記光学的ビーコンは、上記所定の明滅周波数において光学的信号を発する光源を備えており、上記車両における撮像デバイスを用いて上記2つの画像フレームを捕獲することをさらに包含する、項目22に記載の方法。
(項目26)
コンピュータによって実行されたときに、車両の動作領域に位置決定された複数の光学的ビーコンのそれぞれによって発せられたか、または反射された、所定の明滅周波数を有する光学的信号に基づいて、該車両の位置を該コンピュータに決定させる命令を格納するコンピュータで読み取り可能な媒体であって、
a.2つの画像フレームの捕獲を分離する時間間隔が、該光学的ビーコンの明滅周期の.5倍と等しくなるように該車両から捕獲された該2つの画像フレーム間の差分フレームを表すデータを生成することと、
b.該差分フレームにおける光学的ビーコンの画素の位置を識別することと、
c.該差分フレームにおける光学的ビーコンの画素の位置を表すデータから、該車両の位置および方向を計算することと
を含む、コンピュータで読み取り可能な媒体。
(摘要)
車両の動作領域全体の位置に配備された光学的ビーコンを利用する目標ナビゲーションのためのシステムおよび方法。光学的ビーコンは、所定の明滅周波数において光学的信号を発するか、または反射する。光学的ビーコンの位置は、車両に分かり得るか、または分からないこともあり得る。車両における少なくとも1つの撮像デバイス、例えば、デジタルカメラは、一対の画像フレームの間の時間間隔が、光学的信号の明滅周期の.5倍に等しくなるように、動作領域における画像、特に、一対の画像フレームを捕獲する。撮像デバイスによって捕獲された2つの画像フレームの間の差分フレームを表すデータが生成される。差分フレームにおける光学的ビーコン画素の位置が識別される。車両の位置および方向が、差分フレームにおける光学的ビーコン画素の位置を表すデータから決定される。
まず、図1を参照すると、参照番号20で示された動作領域の範囲内で動く車両が、参照番号10で示されている。車両は、ロボットの自動制御の車両、もしくは遠隔制御の車両、またはナビゲーション能力を有することが所望されるその他任意の車両であり得る。動作領域20は、建物の内側の部屋、建物全体、街または都市などの野外の領域などであり得る。動作領域20全体に位置されるものは、光学的ビーコン30(1)〜30(N)である。一実施形態において、光学的ビーコン30(1)〜30(N)の位置または場所は、経験的に知られているか、または動作領域における車両10の配備に先立ち決定される。別の実施形態において、車両10は、以下で記述される自動測量技術によって、光学的ビーコンの位置を決定する。光学的ビーコンは、室内の用途に対しては、部屋もしくは建物の天井または垂直な構造(例えば、壁)に位置され得る。野外の用途に対しては、光学的ビーコンは、ビルの外壁などの垂直な構造または他の垂直な構造に位置され得る。光学的ビーコン30(1)〜30(N)は、図3を参照して以下でさらに詳細に記述されるように、所定の明滅の周波数で光を発するか、または反射するかのいずれかである。
図1を続けて参照しながら図2を参照すると、車両据付のシステムは、少なくとも1つの撮像サブシステム(例えば、カメラ)110と、画像取得サブシステム120と、位置決定サブシステム130と、ナビゲーションサブシステム140とを備えている。さらに、システム100は、150で示されている他の位置決定機器またはコンポーネント、例えば、全地球位置把握システム(GPS)のレシーバ、慣性誘導装置(INS)の位置決定デバイス、光検出と測距(LIDAR)センサなどを備え得る。データ格納メモリユニット122および132が、画像取得サブシステムおよび位置決定サブシステムのそれぞれによる使用のために提供される。画像取得サブシステム120と位置決定サブシステム130とは、別個のユニットであり得、それぞれが、コンピュータ、マイクロプロセッサ、アプリケーション固有の集積回路などのデータ処理コンポーネントを備えており、該データ処理コンポーネントは、コンピュータで読み取り可能な媒体に格納されたコンピュータプログラムの命令によって具体化されるか、または状況によってはファームウェアによって具体化される信号処理アルゴリズムを実行する。メモリ122は、撮像サブシステム110によって取得された画像データを格納するためのものであり、かつ、画像取得サブシステム120の処理機能に対するワーキングメモリとしてのものである。同様に、メモリ132は、複数の光学的ビーコン30(1)〜30(N)に対する位置データを格納し、かつ、光学的ビーコンの明滅の周波数(または周期)に関するデータを格納するためのものである。メモリ132は、以下で記述される位置計算において使用されるデータを格納するワーキングメモリとしても使用される。
画像サブシステム120と位置決定サブシステム130の機能は、単一のデータの計算、処理、またはコントローラのユニットによって行われ得るということが理解されるべきである。同様に、メモリ122および132は、画像データと、ビーコンの光源の位置データと、以下で記述される位置計算に関する他のワーキングデータとを格納する単一のメモリユニットであり得る。
撮像サブシステム110は、1つ以上の撮像デバイス、例えば、デジタルカメラ112(1)〜112(M)を備えている。カメラ112(1)〜112(M)は、車両において一定の方向に据え付けられ得るか、または能動的に回転する構造に据え付けられ得る。位置決定サブシステム130は、車両に対するカメラ112(1)〜112(M)の方向をプログラミングされている。能動的に回転するカメラに関して、位置決定サブシステム130は、カメラの動きの範囲をプログラミングされ、回転メカニズムから信号を供給され、位置決定サブシステム130が、画像フレームが獲得される瞬間における、車両に対する各カメラの方向を追跡することを可能にする。回転カメラを使用するときには、フレーム獲得間隔の間、回転メカニズムが停止することが望ましい。
より多くの光学的ビーコンに対するデータが画像フレームにおいて獲得されたときに、より良好な位置計算が行われ得るので、カメラ112(1)〜112(M)の視野は、任意の瞬間においてできるだけ多くの光学的ビーコンを見るように整列されている。例えば、動作領域が屋内であり、光学的ビーコンが屋内の構造の天井に位置されているということが分かっているときには、上に向けられた、比較的広い視野(例えば、60度)のレンズを有する1つ以上の従来のデジタルカメラで充分である。光学的ビーコンが(屋内または野外の用途において)垂直な構造に位置されているときには、それぞれが60度の視野を有する6台のカメラが、全ての光学的ビーコンを捕獲するように、全360度の視野を提供する。あるいは、それぞれが180度の視野を有する3台のカメラでやはり充分である。さらに別の代替案は、360度のパノラマレンズを有する単一のカメラを使用することであり、画像取得サブシステム120内のソフトウェアは、パノラマレンズのゆがみを精密にマップに示すために提供される。例えば、Sony Corporationは、360°の全周レンズを使用し、かつ、ビルトインのパノラマ膨張処理機能を有するカメラモジュールを開発した。
各カメラが、光学的ビーコンによって発せられたか、または反射された光の明滅周期の正確に.5倍である時間間隔だけ、互いから時間が離れた一対の画像フレームを捕獲するように、画像取得サブシステム120は撮像サブシステム110による画像取得のタイミングを制御する。画像取得サブシステム120は、一対の画像フレームに対するデジタルデータを格納し、以下で記述されるように、光学的ビーコンに対応するデータ画素をデジタル画素から識別するために、各対におけるフレーム間の差分画像を計算する。差分フレームにおける識別された光学的ビーコンに対する画素データが、以下で記述される位置計算における使用のために、位置決定サブシステム130に供給される。
位置決定サブシステム130は、差分フレームにおける識別された光学的ビーコンに対する画素データに基づいて、各位置更新サイクルにおける車両の位置および方向を計算する。位置決定サブシステム130は、位置データをナビゲーションシステム140に供給し、該ナビゲーションサブシステム140は、位置情報を使用して、車両のモータおよびステアリングのメカニズムに対する速度および方向の制御を生成する。
図3を参照すると、光学的ビーコンがさらに詳細に記述されている。図3は、2つの光学的ビーコン30(1)および30(2)と、それらによって発せられた光のタイミングとを示す。光学的ビーコン30(1)および30(2)は、車両上のカメラによって検出される光を発する光源を含むので、光学的ビーコン30(1)および30(2)は能動的なビーコンである。一実施形態において、各光学的ビーコンは、50%のデューティサイクルを有する同じ周波数(f=1/T、ここで、Tは明滅する周期)で明滅する光源を備えている。光学的ビーコン全体の光源は、図3に示されるように、同期される必要もないし、光学的ビーコンの光源の電力を較正する必要もない。一例において、光学的ビーコンの光源の周波数fは、10Hzである。光源は、制御された周波数において明滅するように動作され得る任意の光源であり得る。ビーコン源によって生成される光は、撮像サブシステムにおいて使用されるカメラによって検出可能であることが必要である。限定するものではないが、例えば、光源は、人間の裸眼では見ることができない赤外線を作り出す赤外線発光ダイオード(LED)であり得る。光学的ビーコンの光源に対する電力は、バッテリ、ソーラパネル、および蓄電池、または建物もしくは構造物から獲得される従来の壁の電源からのものであり得る。
ビーコン30(1)は、座標(xa、ya、za)によって定義される既知の位置にあり、ビーコン30(2)は、座標(xb、yb、zb)によって定義される既知の位置にある。上に述べられたように、動作領域における光学的ビーコンのそれぞれの位置を記述するデータは、本明細書においてはビーコンデータベースと呼ばれる車両内に格納される。
別の実施形態において、光学的ビーコンは受動的ビーコンであり、1つ以上の光源が車両自体に据え付けられて、光学的なビーコンを照明する。ここで、この実施形態は、図4に関連して記述されている。40(1)〜40(N)で示されている受動的光学的ビーコンが、図1に示された能動的に明滅する光学的ビーコン30(1)〜30(N)の代わりに、光学的ビーコンとして配備されている。この場合、車両は、レフレクタビーコンを照明する(人間にとって可視または不可視である)明滅する光源を有する。例えば、各カメラ112(1)〜112(M)は、専用の光源114(1)〜114(M)を有し得る。各光源は、対応するカメラの視野に適合する照明パターンを有し得る。しかしながら、これは必要とされてはおらず、複数のカメラが同じ光源に対して動作し得る。上に記述されたシステムおよび方法に関する全ての他のコンポーネントおよび機能は同じである。
各車両に基づいた光源114(1)〜114(M)は、一定の周波数で明滅し、図3に示されているように、50%のデューティサイクルを有する。光源114(1)〜114(M)は、動作領域に明滅する光を継続的に発するか、または光源114(1)〜114(M)は、必要とされたときに少しだけ、かつ、位置更新サイクルを通して作動され得る。受動的光学的ビーコンは、標準的な受動「コーナー」レフレクタ技術を利用し得る。当該分野においては公知であるように、(「コーナーキューブ」としても公知の)コーナーレフレクタは、(入射角に関わらず光源に光を戻す)リトロレフレクタであり、該リトロレフレクタは、光源に向けて電磁波を戻すように反射する3つの互いに直交して交差する平面から成る。この代替案の有利な点は、ビーコンが、電源または電子機器を必要としない単なる機械的な構造であるということである。さらに、動作領域における一部の構造が、本来的なレフレクタデバイスとして作用し得るので、(位置が知られているか、または容易に決定され得る)それらの既存の構造をレフレクタビーコンとして使用することが可能であり得る。
図5を参照すると、ここで、(車両の上または中にある、図2に示されたコンポーネントによって行われる)車両の位置を導き出すプロセス300が記述される。プロセス300は、能動的光学的ビーコン、もしくは受動的光学的ビーコン、または組み合わせが使用されても同じである。プロセス300は、各位置更新サイクルにおいて行われ、302で始まる。310において、各カメラは、一対の画像フレームを獲得するために制御され、画像フレームは、明滅周期Tの正確に.5倍である、画像フレームを分離した時間間隔で捕獲される。これは、(能動的光学的ビーコンの、または受動的光学的ビーコンに入射する車両の)所与の光源がオンである間に、一方のフレームが取得され、所与の光源がオフである間に、他方のフレームが取得されるということを確実にする。さらに、複数のカメラが使用される場合には、全てのカメラが画像を捕獲するために駆動される時に関し、全てのカメラが同期される。312において、(一対の画像フレームにおける)各画像フレームが、各カメラによって取得される時刻の瞬間が、画像取得サブシステムによって、自身の時計に従って記録される。図6Aおよび図6Bは、カメラによって取得され、明滅周期Tの正確に.5倍だけ時間が離れた、2つの例示的な画像を例示しており、いくつかのビーコンの光源が対の各画像フレームにおいて捕獲される。例えば、図6Aにおける画像フレームは、ビーコンの光源30(1)、30(3)、および30(N)を捕獲し、図6Bにおける画像フレームは、光源30(2)および30(4)を捕獲する。
次に、320において、画像取得サブシステムは、1つの画像フレームから他の画像フレームを減算し、「差分」フレームを生成し、それによって(背景のノイズを計算に入れたある閾値を上回る)光学的ビーコンにだけ対応する画素を含む画像フレームを作り出す。さらに、一対の2つの画像フレームの間に生じる可能な動きを計算に入れるために、画像のデシメーションが、画素のグループを最大値に設定するために利用され得る。このような技術は、画像内のより明るいビーコンでない特徴が、重なり、つまり、2つのフレームの減算の間に、消去されるということを確実にすることによって、2つの画像のわずかな位置合わせの誤りを克服することを助け得る。あるいは、車両が静止しているときに、撮像は行われ得る。さらに別の代替案は、非常に速い明滅周波数を使用すること、または車両の動きの軸に沿って撮像を行うことである。光源の光学的周波数に同調された、カメラのレンズにおける光学的周波数フィルタは、動きの縁効果を減少するさらなる利益を有し得る。
322において、当該分野においては周知の二進閾値化のような画像の閾値化を使用して、差分フレームが解析され、(能動的または受動的)光学的ビーコン画素の位置を識別する。図7は、図6Aおよび図6Bに示された画像フレームのうちの1つを他の画像フレームから減算した結果から導き出された二進閾値の画像を例示する。図7に示されているドット324は、図6Aおよび図6Bに示される視野における光源30(1)〜30(N)に対応するビーコンの画像画素である。複数のカメラが車両において使用される場合には、結果として生じた差分フレームのそれぞれにおけるビーコン画素の位置が識別される。
図8は、車両に据え付けられた2つのカメラ、すなわち、カメラAおよびカメラBによって捕獲された画像から導き出された画素データの意味を例示する。カメラAは角度のある視野(FOV)−Aを有し、カメラBは角度のあるFOV−Bを有する。光学的ビーコン30(2)はカメラAのFOVの範囲内にあり、結果として、カメラAが画像を捕獲するために駆動されたときには、光学的ビーコン30(2)は、カメラAに対する画像面(IP)−Aにおいて画像画素を作り出す。同様に、光学的ビーコン30(1)は、カメラBのFOVの範囲内にあり、カメラBが画像を捕獲するために駆動されたときには、光学的ビーコン30(1)は、カメラBに対する画像面IP−Bにおいて画像画素を作り出す。
図5に戻って参照すると、次に、330において、差分フレームから導き出されたビーコン画素の位置が、前の「差分フレーム」の最も近い(追跡された)ビーコンに従って、ビーコンデータベース内の実際のビーコンに関連付けられるか、または適合される。つまり、前の差分フレームからのビーコン画素の位置は、既に、ビーコンデータベース内の実際のビーコンと関連付けられている。330において、第1のビーコン適合データが生成され、該第1のビーコン適合データは、前の位置更新サイクルにおける差分フレームから最も近いビーコンに基づいて作成され得る関連を表す。図9は、図7に示された差分フレームにおける各ビーコン画素に関連付けられるか、または割り当てられる数字の識別子を例示する。現在の位置更新サイクルのビーコン画素が、前の更新サイクルのビーコン画素の位置とほんのわずかに異なる位置である限りにおいては、前の更新サイクルにおいて作成されたビーコンとの関連によって、実際のビーコンに容易に関連付けられ得る。しかしながら、最初の差分フレームが解析されるときには、前の更新サイクルに基づいて、実際のビーコンにビーコン画素を関連付けることは可能ではない。
ビーコン画素の位置が、前の更新サイクルにおいて作成された関連から実際のビーコン画素と関連付けられ得ないとき(ビーコン画素の位置が前の更新サイクルにおけるビーコン画素の位置からあまりにも遠いか、またはそれが最初の位置更新サイクルであるので)には、340において、3次元光線交差技術が使用され、ビーコンデータベース内のビーコンとビーコン画素の位置を関連付ける。ここで、340における計算の例示に対して、図10に参照が行われる。この場合、関連付けられないビーコン画素が、カメラのIPに作り出されている。(前の更新サイクルからの、またはナビゲーションサブシステムからの)おおよその車両の位置と、カメラの方向と、ビーコンデータベース内のビーコン30(i)の位置とが与えられると、ビーコンの画像画素は、画像面における計算された理論上の位置に近いと判断されるので、関連付けられないビーコン画素の位置に基づいて、関連付けられないビーコンの画像画素が、ビーコンデータベース内のビーコンの光源30(i)に関連付けられる。340において、第2のビーコン適合データが生成され、該第2のビーコン適合データは、それらの画素の位置に対して作成された関連が、ビーコン光線交差技術に3次元の画素を使用して適合されたということを表す。
図5に戻って参照すると、次に、350において、現在の位置更新サイクルの車両の位置と方向とが計算される。車両の位置と方向とに対する各カメラの位置と方向とが分かっているので、車両の位置と方向とに対する単一の解は、(a)(ビーコン画素の位置から導き出された)観察された画像画素光線と(b)ビーコンデータベース内に格納されたビーコンの位置に対する計算されたカメラの位置および方向から導き出された理論上の光線との間の誤差の合計と関連付けられる。従って、この誤差を最小化することによって、車両の推定の位置および方向を計算することが可能である。例えば、最小自乗適合な解が、光線の偏差(あるいは、画像面における画素の位置の偏差)の最小自乗合計に従って、この誤差を最小化する。ビーコンデータベースに格納されたビーコンの実際に測量された位置と観察されたビーコンの方向との関連が、標準的な三角測量を介して車両の位置が計算されることと、推測誤差がゼロにリセットされることとを可能にする。従って、本質的に、車両の位置と方向とが、(330において作り出される)第1のビーコン適合データと(340において作り出される)第2のビーコン適合データとから導き出される。2つのビーコンだけが、車両の位置を三角測量するために、識別される必要があるが、さらなるビーコンの観察は、計算の精度を増加させる。
360において、350において行われた位置の計算と、前の位置更新サイクルにおける位置と、位置更新サイクルの持続時間とに基づいて、現在の速度が計算される。速度は、対地速度および方向によって計算される。速度は、車両の最新の位置の変化全体の平均によって、GPS計算と同様に「平準化」され得る。
370において、更新された車両の位置と速度とが、位置更新サイクルのフレームの対の時間と共に車両内のナビゲーションサブシステムに送信される。
380において、オプションの自動測量機能が行われ得る。ここで、参照が図11に対しても行われる。デバイスが既に配備された後に、ビーコンが動作領域に位置され得、その結果、1つ以上のビーコンに関する情報が車両内に格納されたビーコンデータベースに含まれないことがあり得る。この場合、ビーコン画素は、識別されるが、前の位置更新サイクルの差分フレームに対するビーコン画素データとは適合され得ないか、または関連付けられ得ず(330において)、かつ、ビーコンデータベースにおけるデータに適合され得ない(340)ときに、このような全く関連付けられないビーコン画素に対するデータが格納される。全く関連付けられないビーコン画素が、更新サイクルの位置および方向において見つけられた後は、交差光線が計算され、格納される。時の経過によって、すなわち、複数の位置更新サイクルにわたって集められた、車両の複数の様々な位置および方向において捕獲された画像から導き出された複数の関連付けられないビーコン光線に対するデータが、互いに比較され、空間におけるその位置がビーコンデータベース内のビーコンと適合しなかったとしても、明らかに異なる視角から記録された複数のビーコン光線の三角測量に従って、いくつかのビーコン光線が空間における同じ位置を指しているか否かを決定する。いくつかのビーコン光線が空間における同じ位置を指している場合には、関連付けられないビーコン光線が計算されて格納されるときに、関連付けられないビーコン光線と、車両の位置および方向とから導き出された位置からの任意の新たな自動測量されたビーコンに対するデータが、ビーコンデータベースに加えられる。この方法で、新たなビーコンは車両によって自動測量され得る。
従って、380において示された自動測量機能が利用される場合には、ビーコンの位置を測量することは必要ではない。すなわち、車両は、任意の開始の位置に、または他の手段(例えば、GPS)によって決定された位置に、動作領域において初期化され得、動作領域内のビーコンが、その後に自動測量され得る。車両が動き回ると、新たなビーコンが車両の視野に入って来て、次に、それらのビーコンが同様に自動測量され得る。従って、新たなビーコンが急速に配備され得、次に、車両が動作領域に入った後で、動作領域に「投下」される他のビーコンを、車両が自動的に測量し得る。例えば、車両(ロボット)が、敵地、つまりアクセス不能な領域に空中投下され、最初の位置決定のためにGPSを使用し、次に、GPS衛星の受信範囲の外側における正確なナビゲーションのために直近に投下されたビーコンを使用し得る。
302〜370(任意的に380)において示された機能は、各位置更新サイクルにおいて繰り返される。
本発明のシステムおよび方法は、屋内および野外の用途に対する安価なナビゲーションシステムを提供する。車両が完全に自律的であり得るように、位置決定システムが車両のナビゲーションサブシステムに統合される必要はない。
上に示されたように、システムおよび方法は、システムの位置データをGPSの位置データと融合することによって、GPSのような他のナビゲーションシステムと共に働き得る。推測航法は、走行距離測定法、慣性誘導装置、または相対的な動きを計算し得るその他任意の技術を使用して、目標観察の間に達成され得る。場所位置感知および障害物の回避が、例えば、機械視覚およびLIDARセンサを使用して同時に実装され得る。
本発明に従ったシステムおよび方法に対する用途は、限定するものではないが、一連のオフィスまたは病院の配達ロボット、お年寄りまたは身体障害者に対する在宅補助、景観の維持、農業、鉱業、建築、および軍事の用途を含む、ロボットのような車両が使用される任意の用途である。本明細書において記述された技術を使用する車両は、屋内、都市における野外、森林、構造物の近く、部分的に囲まれた球場の中、洞窟、およびGPSに基づいた解決策が効果的ではない他の状況において6インチを下回る位置決定精度を要求する任務を行い得る。
さらに別の例は、洞窟のナビゲーションを含む。洞窟のナビゲーションにおいて、ロボットの車両が洞窟の中を動き、次に、ロボットの車両がビーコンから離れるように動くと、ビーコンを測量するように、ロボットの車両が本明細書において記述されたタイプの目標ビーコンを配備し得る。あるいは、連繋して働く2つのロボットの車両が、長いトンネルシステムを通って進むとき、ビーコンを再利用し得る。1つのロボットの車両が光ビーコンを所持し、もう1つのロボットの車両が、ビデオを基にした測量システムを所持し得、2つのロボットは同時には動かない。暗い洞窟において、画像フレーム減算方法が必要となり得ないように、可視の明滅しない光ビーコンが使用され得る。
さらに別のバリエーションは、さらに正確な三角測量の位置計算のために、LIDARセンサのようなセンサを用いて目標ビーコンの距離(および位置)を決定することである。各ビーコンに対する方向が決定されると、距離センサが目標ビーコンに向けられ得る。ビーコンの目標は、反射性の標的と一体にされ、LIDARのような距離技術を容易にし得る。
本明細書において記述されたシステムおよび方法は、本発明の精神または本質的な特性を逸脱することなく他の特定の形式で具体化され得る。従って、上記の実施形態は、あらゆる局面において例示と考えられ、限定することを意味されていない。
図1は、本発明の実施形態に従った目標ナビゲーションのために、光学的ビーコンが設置される動作領域の範囲内の車両を示す図である。 図2は、本発明の実施形態に従った目標ナビゲーション技術を行う車両におけるコンポーネントの構成図である。 図3は、本発明の実施形態に従って、光学的ビーコンによって発せられたか、または反射された光学的信号のタイミングを例示する。 図4は、受動的光学的ビーコンを含む、本発明の実施形態に従った車両コンポーネントの構成図である。 図5は、本発明の実施形態に従った位置方法の流れ図である。 図6Aおよび図6Bは、車両における撮像デバイスによって捕獲され、かつ、本発明のナビゲーション方法の動作の説明の目的で提供された画像フレームである。 図6Aおよび図6Bは、車両における撮像デバイスによって捕獲され、かつ、本発明のナビゲーション方法の動作の説明の目的で提供された画像フレームである。 図7は、図6Aおよび図6Bにおいて示された画像フレームから生成された差分フレームから導き出され、かつ、車両における撮像デバイスによって捕獲された光学的ビーコンに対応する画素を示している画像フレームである。 図8は、本発明に従った、図7に示された画素の意味を例示する概略図である。 図9は、本発明の技術に従った、図7に示されたビーコン画素に割り当てられた関連または適合を例示する。 図10は、ビーコンの位置が、連続する位置更新サイクルにわたって追跡され得る方法を例示する概略図である。 図11は、本発明のさらに別の実施形態に従った、新しいか、または車両に格納されたデータによって表されないビーコンに対する自動測量特徴を例示する概略図である。
10 車両
20 動作領域
30(1)〜30(N) 光学的ビーコン
100 システム
110 撮像サブシステム
120 画像取得サブシステム
130 位置決定サブシステム
140 ナビゲーションサブシステム

Claims (23)

  1. 車両の目標ナビゲーションの方法であって、
    a.動作領域における複数の光学的ビーコンのそれぞれの位置を表すデータを車両内に格納することであって、光学的ビーコンは、所定の明滅周波数において50%のデューティサイクルで光学的信号を発するか、または反射し、その結果、該複数の光学的ビーコンは、同期されない、ことと、
    b.位置更新サイクルの間に、
    i.該車両における少なくとも1つの撮像デバイスを用いて、該動作領域における一対の画像フレームを捕獲することであって、捕獲することは、該一対の画像フレームにおける該画像フレームの該捕獲を分離している時間間隔が、該光学的ビーコンの該所定の明滅周波数に対応する明滅周期の0.5倍と等しくなるように該一対の画像フレームを捕獲することを含み、該一対の画像フレームにおける各画像フレームに対する捕獲時間は、異なる組の光学的ビーコンによる発射または反射に一致する、ことと、
    ii.該一対の画像フレームにおけ2つの画像フレームの間の差分フレームを表すデータを生成することと、
    iii.該差分フレームにおける光学的ビーコン画素の位置を識別することと、
    iv.該差分フレームにおける光学的ビーコン画素の位置を表すデータと、該動作領域における該光学的ビーコンのそれぞれの該位置を表す該格納されたデータとから該車両の位置および方向を導き出すことと
    を包含する、方法。
  2. 光学的ビーコンを照明するために、前記所定の明滅周波数において前記車両における光源から光を発することをさらに包含し、前記捕獲することは、一対の画像フレームを捕獲することを包含し、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、請求項1に記載の方法。
  3. 前記光学的ビーコンのうちの1つ以上が、前記所定の明滅周波数において光学的信号を発する光源を備えている、請求項1に記載の方法。
  4. 前記(iv)の導き出すことは、最初の位置更新サイクルの間の最初の差分フレームに対して、該差分フレームにおける光学的ビーコン画素の位置を前記格納されたデータから光学的ビーコンの地理的位置に適合させることを包含する、請求項1に記載の方法。
  5. 前記適合させることは、前記最初の位置更新サイクルより後の位置更新サイクルの間の、前記最初の差分フレームより後の差分フレームに対して、前の位置更新サイクルにおける差分フレームから決定された最も近い適合されたビーコン画素の位置に関するデータに基づいて、該差分フレームにおける光学的ビーコン画素の位置光学的ビーコンの地理的位置に関連付けることと、該差分フレームにおける該関連付けられた該光学的ビーコン画素の位置および該光学的ビーコンの地理的位置を表す第1のビーコン適合データを生成することとを包含する、請求項に記載の方法。
  6. 前記(iv)の導き出すことは、前記最初の位置更新サイクルより後の位置更新サイクルの間に、前の位置更新サイクルにおける前記差分フレームから光学的ビーコンの地理的位置に適合させることができない、該差分フレームでの光学的ビーコン画素の位置に対して、該光学的ビーコンのそれぞれの前記位置を表す前記格納されたデータから光学的ビーコンの地理的位置に対する適合を決定し、該決定された適合を表す第2のビーコン適合データを生成することとを包含する、請求項に記載の方法。
  7. 前記第2のビーコン適合データを生成することは、最新の位置更新サイクルでの前記車両の位置と、該車両における前記撮像デバイスの方向と、前記光学的ビーコンのそれぞれの位置を表す前記格納されたデータとに基づいて3次元画素とビーコン光線との交差を計算することを包含する、請求項に記載の方法。
  8. 前記(iv)の導き出すことは、前記第1のビーコン適合データと前記第2のビーコン適合データとに基づいて、位置更新サイクルの前記車両の位置と方向とを計算することを包含する、請求項に記載の方法。
  9. 前記車両の位置と方向とを計算することは、前記光学的ビーコンの前記位置に関する前記第2の適合データによって表された3次元画素とビーコン光線との交差に対する誤差の合計を最小化することを包含し、該ビーコン光線に対する画素は、該光学的ビーコンの位置の前記格納されたデーに適合される、請求項に記載の方法。
  10. ビーコン画素が、前記格納されたデータにおけ光学的ビーコンの地理的位置に適合されることができないときには、複数の位置更新サイクルにわたり、前記車両の異なる位置において識別されたビーコン画素に対する3次元光線に対するデータを格納することと、時の経過と共に集められた、3次元光線に対するデータを解析し、いくつかの3次元光線が、空間において同じ位置に向くときを決定し、その位置における新たな光学的ビーコンに対するデータを格納することとをさらに包含する、請求項に記載の方法。
  11. 車両のための目標ナビゲーションシステムであって、
    a.動作領域における複数の光学的ビーコンのそれぞれの位置を表すデータを格納するデータ格納デバイスであって、光学的ビーコンは、所定の明滅周波数において50%のデューティサイクルで光学的信号を発するか、または反射し、その結果、該複数の光学的ビーコンは、同期されない、データ格納デバイスと、
    b.該動作領域において該車両からの視野における画像を捕獲する少なくとも1つの撮像デバイスと、
    c.該格納デバイスと該少なくとも1つの撮像デバイスとに接続されたコントローラであって、複数の位置更新サイクルのそれぞれに対し、該コントローラは、一対の画像フレームにおける画像フレームの捕獲を分離している時間間隔が、該光学的ビーコンの該所定の明滅周波数に対応する明滅周期の0.5倍と等しくなるように、一対の画像フレームを捕獲するために該少なくとも1つの撮像デバイスを制御し、該一対の画像フレームにおける各画像フレームに対する捕獲時間は、異なる組の光学的ビーコンによる発射または反射に一致し、該コントローラは、該一対の画像フレームに対し、該一対の画像フレームにおける画像フレーム間の差分フレームを生成するために画像データを処理し、そして、該動作領域における該光学的ビーコンのそれぞれの該位置を表す該格納されたデータに基づいて、該車両の位置と方向とを導き出すために該差分フレームを解析する、コントローラと
    を備えている、車両のための目標ナビゲーションシステム。
  12. 記所定の明滅周波数において光を発する、前記車両における光源をさらに備えており、前記撮像デバイスは、一対の画像フレームを捕獲し、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、請求項11に記載のシステム。
  13. 複数の撮像デバイスを備えており、各撮像デバイスは、複数の光源のうちの対応する光源に関連付けられている、請求項12に記載のシステム。
  14. 前記光学的ビーコンのうちの1つ以上が、前記所定の明滅周波数において光学的信号を発する光源を備えている、請求項11に記載のシステム。
  15. 前記コントローラは、最初の位置更新サイクルの間の最初の差分フレームを解析し、該差分フレームにおける光学的ビーコン画素の位置前記格納されたデータからの光学的ビーコンの地理的位置に適合させる、請求項11に記載のシステム。
  16. 前記コントローラは、前記最初の位置更新サイクルより後の位置更新サイクルの間の、前記最初の差分フレームより後の差分フレームを解析し、前の位置更新サイクルにおける差分フレームから決定された最も近い適合されたビーコン画素の位置に関するデータに基づいて、該差分フレームにおける光学的ビーコン画素の位置光学的ビーコンの地理的位置に関連付け、該差分フレームにおける該関連付けられた該光学的ビーコン画素の位置および該光学的ビーコンの地理的位置を表す第1のビーコン適合データを生成する、請求項15に記載のシステム。
  17. 前記最初の位置更新サイクルより後の位置更新サイクルの間に、前の位置更新サイクルにおける前記差分フレームから光学的ビーコンの地理的位置に適合させることができない、該差分フレームでの光学的ビーコン画素の位置に対して、前記コントローラが、該光学的ビーコンのそれぞれの前記位置を表す前記格納されたデータからの実際の光学的ビーコンに対する適合を決定し、該決定された適合を表す第2のビーコン適合データを生成する、請求項16に記載のシステム。
  18. ビーコン画素が、前記格納されたデータにおけ光学的ビーコンの地理的位置に適合されることができないときには、前記コントローラは、前記車両の異なる位置における複数の位置更新サイクルにわたり識別されたビーコン画素に対する3次元光線に対するデータを格納し、時の経過と共に集められた3次元光線に対する該データを解析し、いくつかの3次元光線が空間における同じ位置を指しているときを決定し、その位置における新たな光学的ビーコンに対するデータを格納する請求項17に記載のシステム。
  19. 車両の動作領域において位置決定された複数の光学的ビーコンのそれぞれによって50%のデューティサイクルで射させられたか、または反射され、その結果、該複数の光学的ビーコンが、同期されない、所定の明滅周波数を有する光学的信号に基づいて該車両の位置を決定する方法であって、
    a.2つの画像フレームの捕獲を分離している時間間隔が、該光学的ビーコンの該所定の明滅周波数に対応する該光学的信号の明滅周期の.5倍と等しくなるように該車両から捕獲された該2つの画像フレーム間の差分フレームを表すデータを生成することであって、該2つの画像フレームにおける各画像フレームに対する捕獲時間は、異なる組の光学的ビーコンによる発射または反射に一致する、ことと、
    b.該差分フレームにおける光学的ビーコン画素の位置を識別することと、
    c.該差分フレームにおける光学的ビーコン画素の位置を表すデータから、該車両の位置および方向を計算することと
    を包含する、方法。
  20. 前記動作領域における1つ以上の前記光学的ビーコンの地理的位置を表すデータを前記車両に格納することをさらに包含し、前記(c)の計算することは、該格納されたデータにさらに基づいている、請求項19に記載の方法。
  21. 光学的ビーコンを照明するために、前記所定の明滅周波数において、前記車両における光源から光を発することと、前記2つの画像フレームを捕獲することであって、該画像フレームのうちの1つは、該光源からの光が入射する光学的ビーコンによって反射された光を含む、こととをさらに包含する、請求項19に記載の方法。
  22. 1つ以上の前記光学的ビーコンは、前記所定の明滅周波数において光学的信号を発する光源を備えており、前記車両における撮像デバイスを用いて前記2つの画像フレームを捕獲することをさらに包含する、請求項19に記載の方法。
  23. コンピュータによって実行されたときに、車両の動作領域に位置決定された複数の光学的ビーコンのそれぞれによって50%のデューティサイクルで射させられたか、または反射され、その結果、該複数の光学的ビーコンが、同期されない、所定の明滅周波数を有する光学的信号に基づいて、該車両の位置を該コンピュータに決定させる命令を格納するコンピュータで読み取り可能な媒体であって、
    a.2つの画像フレームの捕獲を分離する時間間隔が、該光学的ビーコンの該所定の明滅周波数に対応する該光学的信号の明滅周期の.5倍と等しくなるように該車両から捕獲された該2つの画像フレーム間の差分フレームを表すデータを生成することであって、該2つの画像フレームにおける各画像フレームに対する捕獲時間は、異なる組の光学的ビーコンによる発射または反射に一致する、ことと、
    b.該差分フレームにおける光学的ビーコンの画素の位置を識別することと、
    c.該差分フレームにおける光学的ビーコンの画素の位置を表すデータから、該車両の位置および方向を計算することと
    を含む、コンピュータで読み取り可能な媒体。
JP2008105165A 2007-04-17 2008-04-14 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション Expired - Fee Related JP5543696B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/736,042 2007-04-17
US11/736,042 US7739034B2 (en) 2007-04-17 2007-04-17 Landmark navigation for vehicles using blinking optical beacons

Publications (2)

Publication Number Publication Date
JP2008268204A JP2008268204A (ja) 2008-11-06
JP5543696B2 true JP5543696B2 (ja) 2014-07-09

Family

ID=39705029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008105165A Expired - Fee Related JP5543696B2 (ja) 2007-04-17 2008-04-14 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション

Country Status (4)

Country Link
US (1) US7739034B2 (ja)
EP (1) EP1983397B1 (ja)
JP (1) JP5543696B2 (ja)
CA (1) CA2628657C (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285475B2 (en) * 2007-03-02 2012-10-09 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Combined beacon and scene navigation system
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
US20090140926A1 (en) * 2007-12-04 2009-06-04 Elden Douglas Traster System and method for localization utilizing dynamically deployable beacons
WO2009074654A1 (en) * 2007-12-11 2009-06-18 Nemerix Sa Gnss method and receiver with camera aid
US8175332B2 (en) * 2008-05-22 2012-05-08 International Business Machines Corporation Upper troposphere and lower stratosphere wind direction, speed, and turbidity monitoring using digital imaging and motion tracking
US8301326B2 (en) 2008-12-19 2012-10-30 Reconrobotics, Inc. System and method for autonomous vehicle control
US20100268466A1 (en) * 2009-04-15 2010-10-21 Velayutham Kadal Amutham Anti-collision system for railways
US8679260B2 (en) * 2009-11-11 2014-03-25 Intellibot Robotics Llc Methods and systems for movement of an automatic cleaning device using video signal
US8406465B1 (en) * 2009-12-09 2013-03-26 The Boeing Company Aircraft contrail detection
US9311539B1 (en) 2009-12-09 2016-04-12 The Boeing Company Aircraft contrail detection
US8224516B2 (en) 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
US8635015B2 (en) * 2009-12-17 2014-01-21 Deere & Company Enhanced visual landmark for localization
US20110153338A1 (en) * 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
GB2484316A (en) * 2010-10-06 2012-04-11 St Microelectronics Res & Dev Self navigation of mobile devices
MY158671A (en) 2011-04-21 2016-10-31 Konecranes Global Corp Techniques for positioning a vehicle
US9471063B2 (en) * 2011-08-11 2016-10-18 Chien Ouyang Robotic lawn mower with network sensors
US11048268B2 (en) * 2011-08-11 2021-06-29 Chien Ouyang Mapping and tracking system for robots
ES2428771B1 (es) * 2012-05-07 2014-09-02 Jose Serrat Alcay Sistema de control de vehículos
WO2014020547A1 (en) 2012-07-31 2014-02-06 Indoorgo Navigation Systems Ltd. Navigation method and device
WO2014036367A2 (en) * 2012-08-31 2014-03-06 Autonomous Tractor Corporation Navigation system and method
JP5803868B2 (ja) * 2012-09-20 2015-11-04 カシオ計算機株式会社 動画処理装置、動画処理方法及びプログラム
US8712690B1 (en) 2013-01-11 2014-04-29 Intermec Ip Corp. Systems, methods, and apparatus to determine physical location and routing within a field of low power beacons
KR101490170B1 (ko) * 2013-03-05 2015-02-05 엘지전자 주식회사 로봇 청소기
CN104181920B (zh) * 2013-05-21 2017-03-08 成都四威高科技产业园有限公司 一种基于视觉的agv定位方法
US10378897B2 (en) 2013-06-21 2019-08-13 Qualcomm Incorporated Determination of positioning information of a mobile device using modulated light signals
US10725478B2 (en) * 2013-07-02 2020-07-28 The Boeing Company Robotic-mounted monument system for metrology systems
US10791319B1 (en) * 2013-08-28 2020-09-29 Outward, Inc. Multi-camera 3D content creation
JP2015055534A (ja) * 2013-09-11 2015-03-23 株式会社リコー 情報処理装置、情報処理装置の制御プログラム及び情報処理装置の制御方法
US10185034B2 (en) * 2013-09-20 2019-01-22 Caterpillar Inc. Positioning system using radio frequency signals
US9336506B2 (en) 2014-05-02 2016-05-10 Google Inc. Machine-readable delivery platform for automated package delivery
US9824324B2 (en) 2014-05-13 2017-11-21 Google Llc Automated package relocation from an unmanned kiosk
FR3022358A1 (fr) * 2014-06-12 2015-12-18 Terabee Sas Systeme de reperage dynamique et procede de guidage automatique
JP6688747B2 (ja) 2014-06-19 2020-04-28 ハスクバーナ・アーベー 自動的なビーコン位置判定
US9244147B1 (en) * 2014-10-22 2016-01-26 Google Inc. Automated package delivery to a delivery receptacle
US9798995B1 (en) 2014-10-22 2017-10-24 Google Inc. Mobile delivery receptacle
NL2013724B1 (en) * 2014-10-31 2016-10-04 Fugro N V Underwater positioning system.
CN105716579B (zh) * 2014-12-05 2017-12-15 北京蚁视科技有限公司 一种基于信标的视觉定位系统及方法
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
US9800791B2 (en) 2015-12-30 2017-10-24 Surefire Llc Graphical user interface systems and methods for optical narrowcasting
WO2017120595A2 (en) * 2016-01-08 2017-07-13 Intelligent Technologies International, Inc. Vehicular component control using maps
DE102016205277B4 (de) * 2016-03-31 2017-11-23 Ford Global Technologies, Llc Verfahren und System zur Bestimmung der Genauigkeit eines satellitengestützten Navigationssystems
US11828859B2 (en) 2016-05-07 2023-11-28 Canyon Navigation, LLC Navigation using self-describing fiducials
US11036946B2 (en) 2016-05-07 2021-06-15 Canyon Navigation, LLC Navigation using self-describing fiducials
US10417469B2 (en) 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
TWI599787B (zh) * 2016-08-01 2017-09-21 明泰科技股份有限公司 載具導航方法及系統
RU2017106412A (ru) * 2017-02-27 2018-08-27 Михаил Дмитриевич Косткин Сигнальное устройство и маяк
WO2018176358A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Autonomous tunnel navigation with a robotic system
US10761541B2 (en) * 2017-04-21 2020-09-01 X Development Llc Localization with negative mapping
US11493930B2 (en) 2018-09-28 2022-11-08 Intrinsic Innovation Llc Determining changes in marker setups for robot localization
US9853740B1 (en) 2017-06-06 2017-12-26 Surefire Llc Adaptive communications focal plane array
NL2019224B1 (en) 2017-07-11 2019-01-25 Fugro Tech Bv Underwater Wireless Optical Communication Unit and System
US10831199B2 (en) 2017-09-29 2020-11-10 Deere & Company Using unmanned aerial vehicles to provide ground control points for aerial survey
US11234312B2 (en) * 2017-10-16 2022-01-25 Signify Holding B.V. Method and controller for controlling a plurality of lighting devices
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
GB201800751D0 (en) * 2018-01-17 2018-02-28 Mo Sys Engineering Ltd Bulk Handling
NL2020304B1 (en) 2018-01-22 2019-07-29 Fugro N V Method of and apparatus for monitoring positions on an object
EP3743681A1 (en) 2018-01-22 2020-12-02 Fnv Ip B.V. Surveying instrument for and surveying method of surveying reference points
CN110471402A (zh) * 2018-05-09 2019-11-19 陕西外号信息技术有限公司 对能够自主移动的机器进行导引的系统和方法
US20210209791A1 (en) * 2018-05-20 2021-07-08 Avular B.V. Estimating a pose of a spatially movable platform
JP7110727B2 (ja) * 2018-05-24 2022-08-02 凸版印刷株式会社 ビーコン発信機位置抽出システム及びビーコン発信機位置抽出方法
US11551552B2 (en) * 2018-07-30 2023-01-10 GM Global Technology Operations LLC Distributing processing resources across local and cloud-based systems with respect to autonomous navigation
US10824160B2 (en) 2018-09-28 2020-11-03 X Development Llc Robot localization with co-located markers
US10852740B2 (en) 2018-09-28 2020-12-01 X Development Llc Determining the orientation of flat reflectors during robot mapping
CA3144544A1 (en) * 2019-06-28 2020-12-30 Advanced Intelligent Systems Inc. System and method for optical localization
US11830219B2 (en) * 2021-12-29 2023-11-28 Midea Group Co., Ltd. Joint visual localization and orientation detection method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4424943A (en) * 1981-05-04 1984-01-10 Hughes Aircraft Company Tracking system
US4786167A (en) * 1985-10-03 1988-11-22 Rothbone Richard R Optical navigation system
US5396243A (en) * 1992-12-23 1995-03-07 The United States Of America As Represented By The Secretary Of The Air Force Infrared laser battlefield identification beacon
JPH07140225A (ja) * 1993-11-16 1995-06-02 Sanyo Electric Co Ltd 位置測定装置および該装置を用いた移動体制御装置
JP3404151B2 (ja) * 1994-10-04 2003-05-06 株式会社山武 位置認識システム
US5920394A (en) * 1995-09-01 1999-07-06 Research Corporation Technologies, Inc. Optical coordinate measuring machine
US5974348A (en) * 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
FR2770672B1 (fr) * 1997-11-04 2000-01-21 Inst Nat Rech Inf Automat Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
US6859729B2 (en) 2002-10-21 2005-02-22 Bae Systems Integrated Defense Solutions Inc. Navigation of remote controlled vehicles
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
US7599789B2 (en) * 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation

Also Published As

Publication number Publication date
CA2628657C (en) 2013-07-16
JP2008268204A (ja) 2008-11-06
EP1983397A2 (en) 2008-10-22
CA2628657A1 (en) 2008-10-17
EP1983397B1 (en) 2012-12-12
US20080262718A1 (en) 2008-10-23
US7739034B2 (en) 2010-06-15
EP1983397A3 (en) 2011-06-29

Similar Documents

Publication Publication Date Title
JP5543696B2 (ja) 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション
CN104217439B (zh) 一种室内视觉定位系统及方法
US10187567B2 (en) Method and handheld distance measurement device for indirect distance measurement by means of image-assisted angle determination function
US8958911B2 (en) Mobile robot
ES2693785T3 (es) Procedimiento y disposición para desarrollar un modelo tridimensional de un entorno
CN101922894B (zh) 反狙击激光主动探测系统及方法
US20140293266A1 (en) Local Alignment and Positioning Device and Method
TW201337306A (zh) 用於建築工地之資訊擷取
KR100901311B1 (ko) 자율이동 플랫폼
US20210276441A1 (en) A computerized system for guiding a mobile robot to a docking station and a method of using same
GB2527207A (en) Mobile human interface robot
JP2016177640A (ja) 映像監視システム
EP3353492B1 (en) Device and method to locate a measurement point with an image capture device
JP4056777B2 (ja) 自律移動体巡回システムおよび自律移動体の位置補正方法
US11009887B2 (en) Systems and methods for remote visual inspection of a closed space
CN115540849A (zh) 高空作业平台激光视觉与惯导融合定位与建图装置及方法
JP2009031206A (ja) 位置測定装置
Ruotsalainen et al. Monocular visual SLAM for tactical situational awareness
Rydell et al. Chameleon v2: Improved imaging-inertial indoor navigation
CN112859880A (zh) 一种移动机器人室内自动定位及智能避障系统及方法
Cassinis et al. AMIRoLoS an active marker internet-based robot localization system
CN201740468U (zh) 反狙击激光主动探测系统
US20230035873A1 (en) Alignment of independent visual navigation systems and methods
Kim et al. Detection of multi-active markers and pose for formation control
US20220392091A1 (en) Automated update of geometrical digital representation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140509

R150 Certificate of patent or registration of utility model

Ref document number: 5543696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees