JP7331769B2 - 位置推定システム、及び位置推定方法 - Google Patents

位置推定システム、及び位置推定方法 Download PDF

Info

Publication number
JP7331769B2
JP7331769B2 JP2020080021A JP2020080021A JP7331769B2 JP 7331769 B2 JP7331769 B2 JP 7331769B2 JP 2020080021 A JP2020080021 A JP 2020080021A JP 2020080021 A JP2020080021 A JP 2020080021A JP 7331769 B2 JP7331769 B2 JP 7331769B2
Authority
JP
Japan
Prior art keywords
position estimation
feature amount
processing
amount extraction
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020080021A
Other languages
English (en)
Other versions
JP2021174424A (ja
Inventor
喜幸 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020080021A priority Critical patent/JP7331769B2/ja
Priority to US17/228,930 priority patent/US11763484B2/en
Priority to CN202110441201.5A priority patent/CN113592943B/zh
Publication of JP2021174424A publication Critical patent/JP2021174424A/ja
Application granted granted Critical
Publication of JP7331769B2 publication Critical patent/JP7331769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Description

本発明は、位置推定システム、及び位置推定方法に関する。
自己位置の推定と地図の作成とを同時に行う技術として、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）という技術がある。ＶＳＬＡＭは、カメラで取得した画像の各フレームに対して特徴量抽出処理を行い、この抽出された特徴量を経時的に追跡することで、自己（カメラ）の３次元空間における位置及び姿勢の推定と地図の作成とを同時に行う技術である。
特許文献１には、限られたリソースでリアルタイム処理により位置推定を行うことのできる情報処理装置に関する技術が開示されている。
特許第６４４１５８６号公報
位置推定システムでは、入力画像から特徴量を抽出する処理と、抽出された特徴量を用いて自己位置を推定する処理と、を繰り返すことで、経時的に変化する自己位置を推定している。
しかしながら、入力画像から特徴量を抽出する処理、及び抽出された特徴量を用いて自己位置を推定する処理の各々は、処理に所定の時間を要する。このため、位置推定システムでは、取得される位置情報の更新頻度が低くなるという問題がある。
上記課題に鑑み本発明の目的は、位置情報の更新頻度を高くすることが可能な位置推定システム、及び位置推定方法を提供することである。
本発明の一態様にかかる位置推定システムは、入力画像から特徴量を抽出する特徴量抽出処理を行う特徴量抽出処理部と、前記抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う位置推定処理部と、を備える。前記特徴量抽出処理部は、前記位置推定処理部が所定のタイミングの入力画像に対応する位置推定処理を実施している間に、前記所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行う。
本発明では、特徴量抽出処理部は、位置推定処理部が所定のタイミングの入力画像に対応する位置推定処理を実施している間に、所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行っている。換言すると、特徴量抽出処理部は、位置推定処理部の位置推定処理と並列して、次の入力画像に対して特徴量抽出処理を実施している。したがって、入力画像に対する特徴量抽出処理の頻度を高くすることができるので、位置推定処理部における位置推定処理の頻度を高めることができる。したがって、位置推定システムの位置情報の更新頻度を高くすることができる。
上述の位置推定システムにおいて、前記特徴量抽出処理部は、各々異なるタイミングにおける入力画像に対して前記特徴量抽出処理を複数のスレッドを用いて並列で実施可能に構成されていてもよい。このように複数のスレッドを用いることで、特徴量抽出処理部の処理時間を短縮することができ、結果として、位置情報の更新頻度を高くすることができる。
上述の位置推定システムにおいて、前記特徴量抽出処理部は、前記位置推定処理部における前記位置推定処理の状況に応じて前記スレッドの数を変更可能に構成されていてもよい。このような構成とすることで、特徴量抽出処理部のスレッドの数を柔軟に変更することができる。
上述の位置推定システムにおいて、前記特徴量抽出処理の単位処理時間が前記位置推定処理の単位処理時間よりも長い場合、前記特徴量抽出処理部は複数のスレッドを用いて前記特徴量抽出処理を実施してもよい。このように複数のスレッドを用いることで、特徴量抽出処理部の処理時間を短縮することができ、結果として、位置情報の更新頻度を高くすることができる。
上述の位置推定システムにおいて、前記特徴量抽出処理部は、入力される前記入力画像の量に応じて前記スレッドの数を変更可能に構成されていてもよい。このような構成とすることで、特徴量抽出処理部のスレッドの数を柔軟に変更することができる。
上述の位置推定システムにおいて、前記位置推定処理部は、前記特徴量抽出処理の処理結果のうち最新の処理結果を用いて前記位置推定処理を行うように構成されていてもよい。このように最新の処理結果に対して位置推定処理を実施することで、最新の入力画像に対する位置情報を出力することができる。よって、位置情報のリアルタイム性を向上させることができる。
上述の位置推定システムにおいて、前記位置推定処理部は、前記特徴量抽出処理の最新の処理結果が生成されるタイミングまで所定の期間待機し、当該所定の期間待機した後の最新の処理結果を用いて前記位置推定処理を行うように構成されていてもよい。このように、位置推定処理部１３が所定の期間待機した後の最新の処理結果を用いることで、より最新の入力画像に対する位置情報を出力することができる。よって、位置情報のリアルタイム性を向上させることができる。
上述の位置推定システムにおいて、前記入力画像は、予め取得されて蓄積されていた画像、または撮像手段を用いてリアルタイムに取得された画像であってもよい。
上述の位置推定システムにおいて、前記特徴量抽出処理部は、ローカルな装置に設けられていてもよく、前記位置推定処理部は、サーバに設けられていてもよい。このように特徴量抽出処理部と位置推定処理部とを分散して設けることで、処理負荷が１つの装置に集中することを軽減することができる。
本発明の一態様にかかる位置推定方法は、入力画像から特徴量を抽出する特徴量抽出処理を行う特徴量抽出ステップと、前記抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う位置推定ステップと、を備える。前記特徴量抽出ステップは、前記位置推定ステップにおいて所定のタイミングの入力画像に対応する位置推定処理が実施されている間に、前記所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行う。
本発明では、特徴量抽出ステップは、位置推定ステップにおいて所定のタイミングの入力画像に対応する位置推定処理が実施されている間に、所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行っている。換言すると、特徴量抽出処理と位置推定処理とを並列して実施している。したがって、入力画像に対する特徴量抽出処理の頻度を高くすることができるので、位置推定ステップにおける位置推定処理の頻度を高めることができる。したがって、位置情報の更新頻度を高くすることができる。
本発明により、位置情報の更新頻度を高くすることが可能な位置推定システム、及び位置推定方法を提供することができる。
実施の形態にかかる位置推定システムを説明するためのブロック図である。 実施の形態にかかる位置推定システムにおける特徴量抽出処理、及び位置推定処理のタイミングを説明するための表である。 関連技術にかかる位置推定システムにおける特徴量抽出処理、及び位置推定処理のタイミングを説明するための表である。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。 実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。
以下、図面を参照して本発明の実施の形態について説明する。
図１は、実施の形態にかかる位置推定システムを説明するためのブロック図である。図１に示すように、本実施の形態にかかる位置推定システム１は、画像入力部１１、特徴量抽出処理部１２、位置推定処理部１３、及び処理制御部１４を備える。特徴量抽出処理部１２は、特徴量抽出部２１とバッファ部２２とを備える。位置推定処理部１３は、特徴量照合部３１、地図情報格納部３２、及び自己位置推定部３３を備える。
画像入力部１１は、位置推定システムの周囲の画像（映像）を経時的に取得する。例えば、画像入力部１１は、撮像素子を備えるカメラ（デジタルカメラやビデオカメラ）である。カメラは単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラの場合は、左右の画像の両方を取得する。また、本実施の形態において画像入力部１１は、予め撮影された画像データ（映像データ）を外部から取得してもよい。すなわち、画像入力部１１から特徴量抽出処理部１２に供給される入力画像は、予め取得されて蓄積されていた画像、または撮像手段を用いてリアルタイムに取得された画像である。
特徴量抽出処理部１２は、画像入力部１１から供給された入力画像から特徴量を抽出する特徴量抽出処理を行う。具体的には、特徴量抽出処理部１２は、特徴量抽出部２１とバッファ部２２とを備える。特徴量抽出部２１は、画像入力部１１から入力画像を入力する。そして、この入力した入力画像に対して特徴量抽出処理を行う。例えば、入力画像が所定のフレームレートで撮影された動画である場合、特徴量抽出処理部１２は、所定のタイミングにおける画像（フレーム）に対して特徴量抽出処理を行う。このため特徴量抽出処理はフレーム処理とも表現することができる。
バッファ部２２は、特徴量抽出部２１から出力された処理結果、つまり入力画像から抽出された特徴量に関する情報を一時的に格納する。そしてバッファ部２２は、格納されている特徴量抽出部２１の処理結果を、所定のタイミング（処理制御部１４から指示されたタイミング）で順次、位置推定処理部１３に出力する。
ここで特徴量抽出処理とは、入力画像に含まれる特徴量を抽出する処理であり、例えば所定のフィルタモデルを用いて、入力画像から特徴量を抽出する処理である。フィルタモデルは、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）等を用いることができる。なお、本実施の形態において特徴量抽出処理はこれらに限定されることはなく、入力画像から特徴量を抽出する処理であれば、どのような処理を用いてもよい。
位置推定処理部１３は、特徴量抽出処理部１２で抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う。具体的には、位置推定処理部１３は、特徴量照合部３１、地図情報格納部３２、及び自己位置推定部３３を備える。地図情報格納部３２には、位置推定システム１を使用する場所の周辺の地図情報が予め格納されている。特徴量照合部３１は、特徴量抽出処理部１２で抽出された特徴量と、地図情報格納部３２に格納されている地図情報と、を照合する。特徴量照合部３１の処理結果（照合結果）は、自己位置推定部３３に出力される。自己位置推定部３３は、特徴量照合部３１から供給された照合結果に基づいて自己位置を推定する。
つまり、自己位置推定部３３は、特徴量照合部３１から供給された照合結果に基づいて、地図情報中における自己位置の座標を推定する。例えば、入力画像から抽出された特徴量と地図情報中の特徴量とが一致する点を特定し、この特定した点の地図情報中における座標を求める。そして、このようにして特定した複数の点の座標を用いることで、自己位置の座標を推定することができる。なお、本実施の形態において位置推定処理は上述した処理に限定されることはなく、抽出された特徴量から自己位置を推定することができる処理であれば、どのような処理を用いてもよい。また、位置推定処理は、連続的に変化する自己位置を追跡する（トラッキングする）処理であるので、トラック処理とも表現することができる。
処理制御部１４は、本実施の形態にかかる位置推定システムにおける自己位置推定のための各処理を制御する。具体的には、処理制御部１４は、画像入力部１１が特徴量抽出処理部１２に入力画像を供給するタイミングを制御する。また、処理制御部１４は、特徴量抽出処理部１２における特徴量抽出処理のタイミングを制御する。また、処理制御部１４は、位置推定処理部１３における位置推定処理のタイミングを制御する。例えば、処理制御部１４は、バッファ部２２に格納されている特徴量抽出処理の処理結果を位置推定処理部１３（特徴量照合部３１）に出力するタイミングを制御することで、位置推定処理部１３における位置推定処理のタイミングを制御することができる。
次に、本実施の形態にかかる位置推定システムの動作について説明する。なお、以下で説明する位置推定システムの動作は、処理制御部１４が画像入力部１１、特徴量抽出処理部１２、及び位置推定処理部１３を制御することで実現することができる。
図２は、本実施の形態にかかる位置推定システムにおける特徴量抽出処理、及び位置推定処理のタイミングを説明するための表である。図２に示す例では、ｔ１～ｔ６のそれぞれのタイミングにおいて、入力画像Ｐ（ｔ１）～Ｐ（ｔ６）が特徴量抽出処理部１２に供給される。
タイミングｔ１において、特徴量抽出処理部１２は、入力画像Ｐ（ｔ１）に対して特徴量抽出処理Ｆ（ｔ１）を行う。その後、タイミングｔ２において、位置推定処理部１３は、特徴量抽出処理Ｆ（ｔ１）の処理結果に対して位置推定処理Ｌ（ｔ１）を行う。これにより、タイミングｔ２において自己位置情報Ｓ（ｔ１）が生成される。なお、Ｆ（ｔ１）、Ｌ（ｔ１）、Ｓ（ｔ１）のそれぞれにおいて、括弧内のｔ１は、タイミングｔ１における入力画像に対する処理結果であることを意味している。タイミングｔ２以降についても同様である。
また、本実施の形態では、タイミングｔ２において位置推定処理部１３が位置推定処理Ｌ（ｔ１）を実施している間に、特徴量抽出処理部１２が次の入力画像Ｐ（ｔ２）に対して特徴量抽出処理Ｆ（ｔ２）を行う。
その後、タイミングｔ３において、位置推定処理部１３は、特徴量抽出処理Ｆ（ｔ２）の処理結果に対して位置推定処理Ｌ（ｔ２）を行う。これにより、タイミングｔ３において自己位置情報Ｓ（ｔ２）が生成される。この場合も、特徴量抽出処理部１２は、タイミングｔ３において位置推定処理部１３が位置推定処理Ｌ（ｔ２）を行っている間に、次の入力画像Ｐ（ｔ３）に対して特徴量抽出処理Ｆ（ｔ３）を行う。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
このように、本実施の形態にかかる位置推定システムにおいて、特徴量抽出処理部１２は、位置推定処理部１３が所定のタイミングの入力画像に対応する位置推定処理を実施している間に、所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行っている。換言すると、特徴量抽出処理部１２は、位置推定処理部１３の位置推定処理と並列して、次の入力画像に対して特徴量抽出処理を実施している。したがって、入力画像Ｐに対する特徴量抽出処理Ｆの頻度を高くすることができるので、位置推定処理部１３における位置推定処理Ｌの頻度を高めることができる。よって、位置推定システム１の位置情報の更新頻度を高くすることができる。
図３は、関連技術にかかる位置推定システムにおける特徴量抽出処理、及び位置推定処理のタイミングを説明するための表である。図３に示す関連技術においても、ｔ１～ｔ６のそれぞれのタイミングにおいて、入力画像Ｐ（ｔ１）～Ｐ（ｔ６）が生成される。
関連技術では、タイミングｔ１において、入力画像Ｐ（ｔ１）に対して特徴量抽出処理Ｆ（ｔ１）を実施している。その後、タイミングｔ２において、特徴量抽出処理Ｆ（ｔ１）の処理結果に対して位置推定処理Ｌ（ｔ１）を実施している。これにより、タイミングｔ２において自己位置情報Ｓ（ｔ１）が生成される。
しかしながら関連技術では、タイミングｔ２において位置推定処理Ｌ（ｔ１）を実施している間に、次の入力画像Ｐ（ｔ２）に対して特徴量抽出処理を実施するのではなく、タイミングｔ３において、入力画像Ｐ（ｔ３）に対して特徴量抽出処理Ｆ（ｔ３）を実施している。そして、タイミングｔ４において、特徴量抽出処理Ｆ（ｔ３）の処理結果に対して位置推定処理Ｌ（ｔ３）を実施して自己位置情報Ｓ（ｔ３）を生成している。このため、タイミングｔ２の次に自己位置情報を取得できるのは、タイミングｔ４となる（タイミングｔ３では、自己位置情報を取得できない）。
このように、関連技術では、特徴量抽出処理と位置推定処理とを交互に実施しているので、出力される自己位置情報Ｓの頻度が少なくなる。
これに対して本実施の形態では、特徴量抽出処理部１２は、位置推定処理部１３の位置推定処理と並列して、次の入力画像に対して特徴量抽出処理を実施している。したがって、入力画像Ｐに対する特徴量抽出処理Ｆの頻度を高くすることができるので、位置推定処理部１３における位置推定処理Ｌの頻度を高めることができる。よって、位置推定システム１の位置情報の更新頻度を高くすることができる。
次に、本実施の形態にかかる位置推定システムの他の処理例について説明する。図４は、本実施の形態にかかる位置推定システムの特徴量抽出処理、及び位置推定処理のタイミングを説明するためのタイミングチャートである。図４では、特徴量抽出処理の単位処理時間、及び位置推定処理の単位処理時間をそれぞれ矢印の長さで示している（以降のタイミングチャートにおいて同様である）。図４では、特徴量抽出処理の単位処理時間（ｔＦ）が位置推定処理の単位処理時間（ｔＬ）よりも短い（ｔＦ＜ｔＬ）場合の処理例を示している。
図４に示すように、タイミングｔ１において、特徴量抽出処理部１２に入力画像Ｐ１が供給されると、特徴量抽出処理部１２は、入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施する。特徴量抽出処理Ｆ１が終了した後のタイミングｔ２において、位置推定処理部１３は、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を行う。これにより、タイミングｔ３において自己位置情報Ｓ１が生成される。
また、タイミングｔ２において特徴量抽出処理部１２に入力画像Ｐ２が供給されると、特徴量抽出処理部１２は、入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。このときの特徴量抽出処理Ｆ２は、位置推定処理Ｌ１と並列して行われる。
位置推定処理Ｌ１が終了した後のタイミングｔ３において、位置推定処理部１３は、特徴量抽出処理Ｆ２の処理結果に対して位置推定処理Ｌ２を行う。これにより、タイミングｔ４において自己位置情報Ｓ２が生成される。このとき、特徴量抽出処理Ｆ２の処理結果は、バッファ部２２に一時的に格納される。そして、位置推定処理部１３が位置推定処理Ｌ２を開始するタイミングｔ３において、バッファ部２２から位置推定処理部１３に特徴量抽出処理Ｆ２の処理結果が供給される。以降の処理において同様である。
また、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３が供給されると、特徴量抽出処理部１２は、入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施する。このときの特徴量抽出処理Ｆ３は、位置推定処理Ｌ２と並列して行われる。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図４に示す場合も、特徴量抽出処理部１２は、位置推定処理部１３の位置推定処理と並列して、次の入力画像に対して特徴量抽出処理を実施している。したがって、入力画像Ｐに対する特徴量抽出処理Ｆの頻度を高くすることができるので、位置推定処理部１３における位置推定処理Ｌの頻度を高めることができる。したがって、位置推定システム１の位置情報の更新頻度を高くすることができる。
図５を用いて、本実施の形態にかかる位置推定システムの他の処理例について更に説明する。図５では、位置推定処理の単位処理時間（ｔＬ）が特徴量抽出処理の単位処理時間（ｔＦ）の２倍（ｔＬ＝ｔＦ×２）である場合の処理例を示している。
図５に示すように、タイミングｔ１において特徴量抽出処理部１２に入力画像Ｐ１が供給されると、特徴量抽出処理部１２は、入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施する。特徴量抽出処理Ｆ１が終了した後のタイミングｔ２において、位置推定処理部１３は、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を行う。また、タイミングｔ２において特徴量抽出処理部１２に入力画像Ｐ２が供給されると、特徴量抽出処理部１２は、入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。このときの特徴量抽出処理Ｆ２は、位置推定処理Ｌ１と並列して行われる。その後、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３が供給されると、特徴量抽出処理部１２は、入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施する。このときの特徴量抽出処理Ｆ３も、位置推定処理Ｌ１と並列して行われる。なお、特徴量抽出処理Ｆ２、Ｆ３の処理結果は、バッファ部２２に一時的に格納される。
その後、タイミングｔ４において位置推定処理Ｌ１が終了すると、位置推定処理部１３から自己位置情報Ｓ１が出力される。また、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理Ｆ２、Ｆ３の処理結果のうち、最新の処理結果である特徴量抽出処理Ｆ３の処理結果に対して、位置推定処理Ｌ３を行う。なお、特徴量抽出処理Ｆ２の処理結果は使用されないので破棄される。
また、タイミングｔ４において特徴量抽出処理部１２に入力画像Ｐ４が供給されると、特徴量抽出処理部１２は、入力画像Ｐ４に対して特徴量抽出処理Ｆ４を実施する。このときの特徴量抽出処理Ｆ４は、位置推定処理Ｌ３と並列して行われる。その後、タイミングｔ５において特徴量抽出処理部１２に入力画像Ｐ５が供給されると、特徴量抽出処理部１２は、入力画像Ｐ５に対して特徴量抽出処理Ｆ５を実施する。このときの特徴量抽出処理Ｆ５も、位置推定処理Ｌ３と並列して行われる。特徴量抽出処理Ｆ４、Ｆ５の処理結果は、バッファ部２２に一時的に格納される。
その後、タイミングｔ６において位置推定処理Ｌ３が終了すると、位置推定処理部１３から自己位置情報Ｓ３が出力される。また、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理Ｆ４、Ｆ５の処理結果のうち、最新の処理結果である特徴量抽出処理Ｆ５の処理結果に対して、位置推定処理Ｌ５を行う。なお、特徴量抽出処理Ｆ４の処理結果は使用されないので破棄される。
また、タイミングｔ６において特徴量抽出処理部１２に入力画像Ｐ６が供給されると、特徴量抽出処理部１２は、入力画像Ｐ６に対して特徴量抽出処理Ｆ６を実施する。このときの特徴量抽出処理Ｆ６は、位置推定処理Ｌ５と並列して行われる。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図５に示す処理例では、位置推定処理の単位処理時間（ｔＬ）が特徴量抽出処理の単位処理時間（ｔＦ）の２倍である（ｔＬ＝ｔＦ×２）。この場合は、特徴量抽出処理の方が位置推定処理よりも速く進むため、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理の処理結果のうち、最新の処理結果に対して位置推定処理を行う。これにより、最新の入力画像に対応する自己位置情報を生成することができる。
なお、位置推定処理の単位処理時間（ｔＬ）と特徴量抽出処理の単位処理時間（ｔＦ）とが「ｔＬ＞ｔＦ×２」の条件を満たす場合も同様に、バッファ部２２に格納されている特徴量抽出処理の処理結果のうち、最新の処理結果を用いて位置推定処理を行うことで、最新の入力画像に対応する自己位置情報を生成することができる。
次に、特徴量抽出処理部１２が複数のスレッドを用いて特徴量抽出処理を実施する場合について、図６～図９を用いて説明する。
図６では、特徴量抽出処理部１２が２つのスレッドＡ、Ｂを用いて特徴量抽出処理を実施している例を示している。また、図６では、画像入力部１１が予め撮影された画像データ（映像データ）に対して自己位置推定を行っている例を示している（オフライン処理）。また、図６では、特徴量抽出処理の単位処理時間（ｔＦ）を位置推定処理の単位処理時間（ｔＬ）の２倍（ｔＦ＝ｔＬ×２）としている。
図６に示すように、タイミングｔ１において特徴量抽出処理部１２に入力画像Ｐ１、Ｐ２が供給されると、特徴量抽出処理部１２は、入力画像Ｐ１、Ｐ２に対して特徴量抽出処理Ｆ１、Ｆ２を実施する。具体的には、特徴量抽出処理部１２は、スレッドＡで入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施し、スレッドＢで入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。
特徴量抽出処理Ｆ１、Ｆ２が終了した後のタイミングｔ３において、位置推定処理部１３は、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を行う。このとき特徴量抽出処理Ｆ２の処理結果は、バッファ部２２に一時的に格納される。
また、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３、Ｐ４が供給されると、特徴量抽出処理部１２は、入力画像Ｐ３、Ｐ４に対して特徴量抽出処理Ｆ３、Ｆ４を実施する。具体的には、特徴量抽出処理部１２は、スレッドＡで入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施し、スレッドＢで入力画像Ｐ４に対して特徴量抽出処理Ｆ４を実施する。このときの特徴量抽出処理Ｆ３、Ｆ４は、位置推定処理Ｌ１、Ｌ２と並列して行われる。
その後、タイミングｔ４において位置推定処理Ｌ１が終了すると、位置推定処理部１３から自己位置情報Ｓ１が出力される。また、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理Ｆ２の処理結果に対して、位置推定処理Ｌ２を行う。
その後、タイミングｔ５において位置推定処理Ｌ２が終了すると、位置推定処理部１３から自己位置情報Ｓ２が出力される。また、位置推定処理部１３は、特徴量抽出処理Ｆ３の処理結果に対して位置推定処理Ｌ３を行う。
更に、タイミングｔ５において特徴量抽出処理部１２に入力画像Ｐ５、Ｐ６が供給されると、特徴量抽出処理部１２は、入力画像Ｐ５、Ｐ６に対して特徴量抽出処理Ｆ５、Ｆ６を実施する。具体的には、特徴量抽出処理部１２は、スレッドＡで入力画像Ｐ５に対して特徴量抽出処理Ｆ５を実施し、スレッドＢで入力画像Ｐ６に対して特徴量抽出処理Ｆ６を実施する。このときの特徴量抽出処理Ｆ５、Ｆ６は、位置推定処理Ｌ３、Ｌ４と並列して行われる。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図６に示す処理例では、特徴量抽出処理の単位処理時間（ｔＦ）の方が位置推定処理の単位処理時間（ｔＬ）よりも長い。このため、特徴量抽出処理部１２が２つのスレッドＡ、Ｂを用いて特徴量抽出処理を行うことで、特徴量抽出処理部１２の処理時間を短縮することができ、結果として、位置情報の更新頻度を高くすることができる。
また、図６に示す処理例においても、特徴量抽出処理部１２は、位置推定処理部１３の位置推定処理と並列して特徴量抽出処理を実施している。したがって、入力画像Ｐに対する特徴量抽出処理Ｆの頻度を高くすることができるので、位置推定処理部１３における位置推定処理Ｌの頻度を高めることができる。したがって、位置推定システム１の位置情報の更新頻度を高くすることができる。
次に、図７に示す処理例について説明する。図７では、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を実施している例を示している。また、図７では、画像入力部１１がリアルタイムに画像データ（映像データ）を取得し、この画像データに対して自己位置推定を行っている例を示している（オンライン処理）。また、図７では、特徴量抽出処理の単位処理時間（ｔＦ）を位置推定処理の単位処理時間（ｔＬ）の２倍（ｔＦ＝ｔＬ×２）としている。
図７に示すように、タイミングｔ１において特徴量抽出処理部１２に入力画像Ｐ１が供給されると、特徴量抽出処理部１２のスレッドＡは入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施する。その後、タイミングｔ２において特徴量抽出処理部１２に入力画像Ｐ２が供給されると、特徴量抽出処理部１２のスレッドＢは入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。
また、タイミングｔ３において特徴量抽出処理Ｆ１が終了するので、位置推定処理部１３は、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を行う。また、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３が供給されると、特徴量抽出処理部１２のスレッドＣは入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施する。このときの特徴量抽出処理Ｆ３は、位置推定処理Ｌ１、Ｌ２と並列して行われる。
その後、タイミングｔ４において位置推定処理Ｌ１が終了すると、位置推定処理部１３から自己位置情報Ｓ１が出力される。また、タイミングｔ４において特徴量抽出処理Ｆ２が終了するので、位置推定処理部１３は、特徴量抽出処理Ｆ２の処理結果に対して位置推定処理Ｌ２を行う。
更に、タイミングｔ４において特徴量抽出処理部１２に入力画像Ｐ４が供給されると、特徴量抽出処理部１２のスレッドＡは、入力画像Ｐ４に対して特徴量抽出処理Ｆ４を実施する。このときの特徴量抽出処理Ｆ４は、位置推定処理Ｌ２、Ｌ３と並列して行われる。
その後、タイミングｔ５において位置推定処理Ｌ２が終了すると、位置推定処理部１３から自己位置情報Ｓ２が出力される。また、タイミングｔ５において特徴量抽出処理Ｆ３が終了するので、位置推定処理部１３は、特徴量抽出処理Ｆ３の処理結果に対して位置推定処理Ｌ３を行う。
更に、タイミングｔ５において特徴量抽出処理部１２に入力画像Ｐ５が供給されると、特徴量抽出処理部１２のスレッドＢは、入力画像Ｐ５に対して特徴量抽出処理Ｆ５を実施する。このときの特徴量抽出処理Ｆ５は、位置推定処理Ｌ３、Ｌ４と並列して行われる。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図７に示す処理例では、特徴量抽出処理の単位処理時間（ｔＦ）の方が位置推定処理の単位処理時間（ｔＬ）よりも長い。このため、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を行うことで、特徴量抽出処理部１２の処理時間を短縮することができ、結果として、位置情報の更新頻度を高くすることができる。
また、図７に示す処理例においても、特徴量抽出処理部１２は、位置推定処理部１３の位置推定処理と並列して特徴量抽出処理を実施している。したがって、入力画像Ｐに対する特徴量抽出処理Ｆの頻度を高くすることができるので、位置推定処理部１３における位置推定処理Ｌの頻度を高めることができる。したがって、位置推定システム１の位置情報の更新頻度を高くすることができる。
次に、図８に示す処理例について説明する。図８では、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を実施している例を示している。また、図８では、画像入力部１１がリアルタイムに画像データ（映像データ）を取得し、この画像データに対して自己位置推定を行っている例を示している（オンライン処理）。また、図８に示す例では、特徴量抽出処理の単位処理時間（ｔＦ）と位置推定処理の単位処理時間（ｔＬ）とを略同一としている。
図８に示すように、タイミングｔ１において特徴量抽出処理部１２に入力画像Ｐ１が供給されると、特徴量抽出処理部１２のスレッドＡは入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施する。また、タイミングｔ２において特徴量抽出処理部１２に入力画像Ｐ２が供給されると、特徴量抽出処理部１２のスレッドＢは入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。また、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３が供給されると、特徴量抽出処理部１２のスレッドＣは入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施する。各々の特徴量抽出処理の処理結果は、バッファ部２２に一時的に格納される。また、タイミングｔ４以降についても同様に、特徴量抽出処理部１２に入力画像Ｐ４～Ｐ６が供給されると、特徴量抽出処理部１２のスレッドＡ～Ｃは入力画像Ｐ４～Ｐ６に対して特徴量抽出処理Ｆ４～Ｆ６を実施する。
位置推定処理部１３は、特徴量抽出処理部１２のスレッドＡにおいて特徴量抽出処理Ｆ１が終了すると、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を開始する。そして、位置推定処理Ｌ１が終了すると、位置推定処理部１３は、自己位置情報Ｓ１を出力する。次に、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理の処理結果のうち、最新の処理結果Ｆ２に対して位置推定処理Ｌ２を開始する。
そして、位置推定処理Ｌ２が終了すると、位置推定処理部１３は、自己位置情報Ｓ２を出力する。次に、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理の処理結果のうち、最新の処理結果Ｆ４に対して位置推定処理Ｌ４を開始する。すなわち、タイミングｔ６において、バッファ部２２には特徴量抽出処理の処理結果として、処理結果Ｆ３、Ｆ４が格納されている。ここで、処理結果Ｆ４の方が最新の処理結果であるので、位置推定処理部１３は、最新の処理結果Ｆ４に対して位置推定処理Ｌ４を開始する。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図８に示す処理例では、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を行っているので、特徴量抽出処理部１２の処理時間を短縮することができる。よって、位置情報の更新頻度を高くすることができる。また、位置推定処理部１３は、バッファ部２２に格納されている特徴量抽出処理の処理結果のうち、最新の処理結果に対して位置推定処理を実施している。したがって、最新の入力画像に対する自己位置情報を出力することができるので、自己位置情報のリアルタイム性を向上させることができる。
次に、図９に示す処理例について説明する。図９では、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を実施している例を示している。また、図９では、画像入力部１１がリアルタイムに画像データ（映像データ）を取得し、この画像データに対して自己位置推定を行っている例を示している（オンライン処理）。また、図９では、特徴量抽出処理の単位処理時間（ｔＦ）と位置推定処理の単位処理時間（ｔＬ）とを略同一としている。
図９に示すように、タイミングｔ１において特徴量抽出処理部１２に入力画像Ｐ１が供給されると、特徴量抽出処理部１２のスレッドＡは入力画像Ｐ１に対して特徴量抽出処理Ｆ１を実施する。また、タイミングｔ２において特徴量抽出処理部１２に入力画像Ｐ２が供給されると、特徴量抽出処理部１２のスレッドＢは入力画像Ｐ２に対して特徴量抽出処理Ｆ２を実施する。また、タイミングｔ３において特徴量抽出処理部１２に入力画像Ｐ３が供給されると、特徴量抽出処理部１２のスレッドＣは入力画像Ｐ３に対して特徴量抽出処理Ｆ３を実施する。各々の特徴量抽出処理の処理結果は、バッファ部２２に一時的に格納される。また、タイミングｔ４以降についても同様に、特徴量抽出処理部１２に入力画像Ｐ４～Ｐ６が供給されると、特徴量抽出処理部１２のスレッドＡ～Ｃは入力画像Ｐ４～Ｐ６に対して特徴量抽出処理Ｆ４～Ｆ６を実施する。
位置推定処理部１３は、特徴量抽出処理部１２のスレッドＡにおいて特徴量抽出処理Ｆ１が終了すると、特徴量抽出処理Ｆ１の処理結果に対して位置推定処理Ｌ１を開始する。そして、位置推定処理Ｌ１が終了すると、位置推定処理部１３は、自己位置情報Ｓ１を出力する。
その後、位置推定処理部１３は、特徴量抽出処理の最新の処理結果に対して位置推定処理を開始する。このとき、図９に示す処理例では、位置推定処理部１３は、特徴量抽出処理の最新の処理結果が生成されるタイミングまで所定の期間待機し、当該所定の期間待機した後の最新の処理結果を用いて位置推定処理を行う。
具体的に説明すると、位置推定処理部１３は、位置推定処理Ｌ１が終了した後、既に処理結果が出ている特徴量抽出処理Ｆ２の処理結果に対して位置推定処理を開始するのではなく、所定の期間Ｗ１待機し、当該所定の期間Ｗ１待機した後の最新の処理結果である、特徴量抽出処理Ｆ３の処理結果に対して位置推定処理を行う。換言すると、位置推定処理部１３は、特徴量抽出処理Ｆ３が終了するまで、期間Ｗ１待機し、最新の特徴量抽出処理の処理結果Ｆ３に対して位置推定処理を行う。
以降、同様の動作を繰り返すことで、入力画像Ｐに対応する自己位置情報Ｓが順次生成される。
図９に示す処理例では、特徴量抽出処理部１２が３つのスレッドＡ、Ｂ、Ｃを用いて特徴量抽出処理を行っているので、特徴量抽出処理部１２の処理時間を短縮することができる。よって、位置情報の更新頻度を高くすることができる。また、位置推定処理部１３は、特徴量抽出処理の最新の処理結果が生成されるタイミングまで所定の期間待機し、当該所定の期間待機した後の最新の処理結果を用いて位置推定処理を行っている。したがって、より最新の入力画像に対する自己位置情報を出力することができるので、自己位置情報のリアルタイム性を向上させることができる。
以上、本実施の形態にかかる位置推定システムの処理例について説明したが、本発明は上記処理例に限定されることはない。例えば、本実施の形態にかかる位置推定システムでは、特徴量抽出処理の単位処理時間（ｔＦ）、位置推定処理の単位処理時間（ｔＬ）、特徴量抽出処理のタイミング、位置推定処理のタイミング、スレッドの数などについて任意に決定することができる。
例えば、本実施の形態において処理制御部１４は、位置推定処理部１３における位置推定処理の状況（例えば、処理スピード）に応じて、特徴量抽出処理部１２のスレッドの数を変更してもよい（フィードバック制御）。例えば、位置推定処理のスピードが速く、特徴量抽出処理の処理結果の供給が追いつかない場合は、特徴量抽出処理部１２のスレッドの数を増やして、特徴量抽出処理の処理スピードを速くする。一方、特徴量抽出処理の処理結果の供給が多すぎる場合は、特徴量抽出処理部１２のスレッドの数を減らしてもよい。このような構成とすることで、特徴量抽出処理部１２のスレッドの数を柔軟に変更することができる。
また、本実施の形態において処理制御部１４は、入力される入力画像の量に応じて、特徴量抽出処理部１２のスレッドの数を変更してもよい。例えば、入力される入力画像の量が多い場合は、特徴量抽出処理部１２のスレッドの数を増やして、特徴量抽出処理の処理能力を高くする。一方、特徴量抽出処理の処理スピードが速すぎる場合は、特徴量抽出処理部１２のスレッドの数を減らしてもよい。このような構成とすることで、特徴量抽出処理部１２のスレッドの数を柔軟に変更することができる。
また、特徴量抽出処理部１２は、入力画像に含まれる特徴量の数に応じてスレッドの数を変更するようにしてもよい。例えば、入力画像に含まれる特徴量の数が多い場合は処理負荷が大きいので、特徴量抽出処理部１２のスレッドの数を増やして、特徴量抽出処理の処理能力を高くする。一方、入力画像に含まれる特徴量の数が少ない場合は処理負荷が小さいので、特徴量抽出処理部１２のスレッドの数を減らしてもよい。このような構成とすることで、特徴量抽出処理部１２のスレッドの数を柔軟に変更することができる。
また、図１に示した本実施の形態にかかる位置推定システムは、例えば、演算処理等と行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。
また、本実施の形態にかかる位置推定方法は、例えば、上述のコンピュータにおいてプログラムを実行することで行うことができる。
本実施の形態にかかる位置推定方法は、
（１）入力画像から特徴量を抽出する特徴量抽出処理を行う特徴量抽出ステップと、
（２）抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う位置推定ステップと、を備える。
このとき特徴量抽出ステップは、位置推定ステップにおいて所定のタイミングの入力画像に対応する位置推定処理が実施されている間に、所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行う。
本実施の形態にかかる位置推定システムにおいて、特徴量抽出処理部１２と位置推定処理部１３は別々の場所に設けてもよい。例えば、特徴量抽出処理部１２は、ローカルな装置に設けてもよく、位置推定処理部１３は、サーバに設けてもよい。
例えば、本実施の形態にかかる位置推定システムをロボットシステムに適用した場合は、特徴量抽出処理部１２をロボットに搭載し、位置推定処理部１３をロボットの管理サーバに設けてもよい。例えば、ロボットの管理サーバは、ロボットから離れた場所に設けられているクラウドサーバである。このような構成とした場合は、ロボットのカメラでリアルタイムの画像データを取得し、この画像データ（入力画像）に対してロボットの特徴量抽出処理部１２が特徴量抽出処理を実施する。そして、ロボットは特徴量抽出処理の処理結果を管理サーバに送信する。管理サーバに設けられている位置推定処理部１３は、送信された特徴量抽出処理の処理結果に対して位置推定処理を実施する。そして、管理サーバは、位置推定処理の結果をロボットに送信する。これによりロボットは、自己位置をリアルタイムに把握することができる。また、特徴量抽出処理部１２と位置推定処理部１３とをロボットと管理サーバに分散しているので、ロボットの処理負荷を軽減することができる。
また、本実施の形態にかかる位置推定システムは、ＶＳＬＡＭに好適に用いることができる。つまり、本実施の形態にかかる位置推定システムにおいて、自己位置の推定と地図情報の作成（環境地図の作成）とを同時に行うようにしてもよい。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
１ 位置推定システム
１１ 画像入力部
１２ 特徴量抽出処理部
１３ 位置推定処理部
１４ 処理制御部
２１ 特徴量抽出部
２２ バッファ部
３１ 特徴量照合部
３２ 地図情報格納部
３３ 自己位置推定部

Claims (8)

  1. 入力画像から特徴量を抽出する特徴量抽出処理を行う特徴量抽出処理部と、
    前記抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う位置推定処理部と、を備え、
    前記特徴量抽出処理部は、各々異なるタイミングにおける入力画像に対して前記特徴量抽出処理を複数のスレッドを用いて並列で実施可能に構成されており、前記位置推定処理部が所定のタイミングの入力画像に対応する位置推定処理を実施している間に、前記所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行い、
    前記特徴量抽出処理の単位処理時間が前記位置推定処理の単位処理時間よりも長い場合、前記特徴量抽出処理部は前記複数のスレッドを用いて前記特徴量抽出処理を実施する、
    位置推定システム。
  2. 前記特徴量抽出処理部は、前記位置推定処理部における前記位置推定処理の状況に応じて前記スレッドの数を変更可能に構成されている、請求項１に記載の位置推定システム。
  3. 前記特徴量抽出処理部は、入力される前記入力画像の量に応じて前記スレッドの数を変更可能に構成されている、請求項１または２に記載の位置推定システム。
  4. 前記位置推定処理部は、前記特徴量抽出処理の処理結果のうち最新の処理結果を用いて前記位置推定処理を行うように構成されている、請求項１～３のいずれか一項に記載の位置推定システム。
  5. 前記位置推定処理部は、前記特徴量抽出処理の最新の処理結果が生成されるタイミングまで所定の期間待機し、当該所定の期間待機した後の最新の処理結果を用いて前記位置推定処理を行うように構成されている、請求項１～３のいずれか一項に記載の位置推定システム。
  6. 前記入力画像は、予め取得されて蓄積されていた画像、または撮像手段を用いてリアルタイムに取得された画像である、請求項１～５のいずれか一項に記載の位置推定システム。
  7. 前記特徴量抽出処理部は、ローカルな装置に設けられており、
    前記位置推定処理部は、サーバに設けられている、
    請求項１～６のいずれか一項に記載の位置推定システム。
  8. 入力画像から特徴量を抽出する特徴量抽出処理を行う特徴量抽出ステップと、
    前記抽出された特徴量と地図情報とを照合し、当該照合結果に基づいて自己位置を推定する位置推定処理を行う位置推定ステップと、を備え、
    前記特徴量抽出ステップは、各々異なるタイミングにおける入力画像に対して前記特徴量抽出処理を複数のスレッドを用いて並列で実施可能であり、前記位置推定ステップにおいて所定のタイミングの入力画像に対応する位置推定処理が実施されている間に、前記所定のタイミングよりも後に入力された入力画像に対して特徴量抽出処理を行い、
    前記特徴量抽出処理の単位処理時間が前記位置推定処理の単位処理時間よりも長い場合、前記特徴量抽出ステップにおいて前記複数のスレッドを用いて前記特徴量抽出処理を実施する、
    位置推定方法。
JP2020080021A 2020-04-30 2020-04-30 位置推定システム、及び位置推定方法 Active JP7331769B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020080021A JP7331769B2 (ja) 2020-04-30 2020-04-30 位置推定システム、及び位置推定方法
US17/228,930 US11763484B2 (en) 2020-04-30 2021-04-13 Location estimation system and location estimation method
CN202110441201.5A CN113592943B (zh) 2020-04-30 2021-04-23 位置推定系统及位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080021A JP7331769B2 (ja) 2020-04-30 2020-04-30 位置推定システム、及び位置推定方法

Publications (2)

Publication Number Publication Date
JP2021174424A JP2021174424A (ja) 2021-11-01
JP7331769B2 true JP7331769B2 (ja) 2023-08-23

Family

ID=78243088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080021A Active JP7331769B2 (ja) 2020-04-30 2020-04-30 位置推定システム、及び位置推定方法

Country Status (3)

Country Link
US (1) US11763484B2 (ja)
JP (1) JP7331769B2 (ja)
CN (1) CN113592943B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210677A (ja) 2014-04-25 2015-11-24 国立大学法人 東京大学 情報処理装置および情報処理方法
JP2019132664A (ja) 2018-01-30 2019-08-08 株式会社豊田中央研究所 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044166A (en) * 1995-01-17 2000-03-28 Sarnoff Corporation Parallel-pipelined image processing system
JP4626158B2 (ja) * 2004-03-01 2011-02-02 ソニー株式会社 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2010061375A (ja) * 2008-09-03 2010-03-18 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
JP4878054B2 (ja) * 2009-03-03 2012-02-15 日本電信電話株式会社 映像解析装置，映像解析方法および映像解析プログラム
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
JP5858897B2 (ja) * 2012-10-09 2016-02-10 株式会社京三製作所 位置検出システム及び位置検出方法
JP2015090579A (ja) * 2013-11-06 2015-05-11 株式会社日立ソリューションズ 行動分析システム
CN103646544B (zh) * 2013-11-15 2016-03-09 天津天地伟业数码科技有限公司 基于云台和相机设备的车辆行为分析识别方法
JP6027554B2 (ja) * 2014-01-21 2016-11-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、ブロックシステム、および情報処理方法
CN104036275B (zh) * 2014-05-22 2017-11-28 东软集团股份有限公司 一种车辆盲区内目标对象的检测方法及其装置
CN106446784A (zh) * 2016-08-30 2017-02-22 东软集团股份有限公司 一种图像检测方法及装置
KR101827167B1 (ko) * 2016-11-01 2018-02-08 고려대학교 세종산학협력단 Sift 병렬 처리를 이용한 고속 영상 스티칭 방법 및 장치
US10157441B2 (en) * 2016-12-27 2018-12-18 Automotive Research & Testing Center Hierarchical system for detecting object with parallel architecture and hierarchical method thereof
CN108965687B (zh) * 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
CN109977978B (zh) * 2017-12-28 2023-07-18 中兴通讯股份有限公司 一种多目标检测方法、装置及存储介质
DE102019100885A1 (de) * 2018-01-16 2019-07-18 Aisin Seiki Kabushiki Kaisha Eigenpositionsabschätzvorrichtung
CN108509912B (zh) * 2018-04-03 2021-09-28 深圳市智绘科技有限公司 多路网络视频流车牌识别方法及系统
CN108830166B (zh) * 2018-05-24 2021-06-29 天津通卡智能网络科技股份有限公司 一种公交车客流量实时统计方法
US10902279B2 (en) * 2018-09-25 2021-01-26 Honda Motor Co., Ltd. Training saliency
CN109741628B (zh) * 2019-02-28 2020-08-11 上海天诚比集科技有限公司 一种智能停车路线规划方法
CN111079771B (zh) * 2019-12-16 2023-05-09 广东小天才科技有限公司 点读图像的特征提取方法、系统、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210677A (ja) 2014-04-25 2015-11-24 国立大学法人 東京大学 情報処理装置および情報処理方法
JP2019132664A (ja) 2018-01-30 2019-08-08 株式会社豊田中央研究所 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム

Also Published As

Publication number Publication date
CN113592943A (zh) 2021-11-02
JP2021174424A (ja) 2021-11-01
US11763484B2 (en) 2023-09-19
US20210343038A1 (en) 2021-11-04
CN113592943B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Liu et al. Detach and adapt: Learning cross-domain disentangled deep representation
JP6393058B2 (ja) 情報処理装置、情報処理方法
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
EP3502958B1 (en) Object recognition processing apparatus, object recognition processing method, and program
EP3812107A1 (en) Robot control device, and method and program for controlling the same
CN110838122B (zh) 点云的分割方法、装置及计算机存储介质
CN111338695A (zh) 基于流水线技术的数据处理方法及相关产品
JP6195342B2 (ja) 情報処理装置およびメモリアクセス制御方法
US20180137676A1 (en) Identifying primitives in input index stream
JP7402623B2 (ja) フィルタ処理装置及びその制御方法
WO2020019117A1 (zh) 一种定位方法及装置、电子设备和可读存储介质
JP7331769B2 (ja) 位置推定システム、及び位置推定方法
US20200043227A1 (en) Optimizing images for three-dimensional model construction
US10049487B2 (en) Identifying duplicate indices in an input index stream
JP6815743B2 (ja) 画像処理装置及びその方法、プログラム
CN110502975B (zh) 一种行人重识别的批量处理系统
JP4082051B2 (ja) 画像処理装置および画像処理方法
WO2021069084A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
JP2018055570A (ja) 演算処理装置、演算処理方法及びプログラム
Harry Zhang et al. Dex-Net AR: distributed deep grasp planning using an augmented reality application and a smartphone camera
CN112348843A (zh) 调整深度图像预测模型的方法、装置和电子设备
US11393124B2 (en) Information processing apparatus, information processing method, and program
KR102653972B1 (ko) 그래디언트 부스팅 네트워크를 이용한 단안 영상 기반 깊이 추정 방법 및 장치
JP2018200175A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R151 Written notification of patent or utility model registration

Ref document number: 7331769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151