JP7484658B2 - 位置特定システム - Google Patents

位置特定システム Download PDF

Info

Publication number
JP7484658B2
JP7484658B2 JP2020178398A JP2020178398A JP7484658B2 JP 7484658 B2 JP7484658 B2 JP 7484658B2 JP 2020178398 A JP2020178398 A JP 2020178398A JP 2020178398 A JP2020178398 A JP 2020178398A JP 7484658 B2 JP7484658 B2 JP 7484658B2
Authority
JP
Japan
Prior art keywords
image
current position
images
unit
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020178398A
Other languages
English (en)
Other versions
JP2022069295A (ja
Inventor
隆宏 岡野
孝明 柳橋
博章 清上
亨 高島
謙太 宮原
洋平 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020178398A priority Critical patent/JP7484658B2/ja
Priority to CN202111128537.2A priority patent/CN114485605A/zh
Priority to US17/503,365 priority patent/US20220130054A1/en
Publication of JP2022069295A publication Critical patent/JP2022069295A/ja
Application granted granted Critical
Publication of JP7484658B2 publication Critical patent/JP7484658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、移動体の現在位置を特定する位置特定方法及び位置特定システムに関する。
下記特許文献1には、工場内などで自律的に移動する移動装置が開示されている。この移動装置は、床面に描かれたガイドラインの位置を含んだ地図情報を記憶する記憶部と、カメラにより撮像した撮像画像を処理する撮像画像分析部とを含む制御部を備えている。この移動装置は、ガイドラインの撮像画像と地図情報とにおけるそれぞれの位置をマッチングさせ、地図情報における動作領域の自己の位置を把握しつつ移動する。
特開2010-282393号公報
上記の先行技術では、床面にガイドラインが描かれていることが必要となるため、当該技術を使用可能な場所が限られる。このため、汎用性を高める観点で改善の余地がある。
本発明は上記事実を考慮し、汎用性を高めることができる位置特定方法及び位置特定システムを得ることを目的とする。
本発明の第1の態様の位置特定方法は、移動体の移動経路の多数箇所において、当該多数箇所の各画像を撮像する事前撮像ステップと、前記多数箇所の各画像を、前記多数箇所の各位置情報と紐付ける紐付けステップと、前記各位置情報と紐付けられた前記各画像を記憶媒体に記憶させる記憶ステップと、前記移動体が前記移動経路を移動する際に、前記移動体の現在位置の画像を前記移動体から撮像する移動時撮像ステップと、前記記憶媒体に記憶されている前記各画像と前記現在位置の画像との間で画像マッチングを行い、前記各画像の中から前記現在位置の画像とマッチする一の画像を探索するマッチングステップと、前記一の画像に紐付けられた位置情報から前記移動体の現在位置を特定する位置特定ステップと、を有している。
第1の態様の位置特定方法によれば、事前撮像ステップでは、移動体の移動経路の多数箇所において、当該多数箇所の各画像を撮像する。紐付けステップでは、前記多数箇所の各画像を、前記多数箇所の各位置情報と紐付ける。記憶ステップでは、前記各位置情報と紐付けられた前記各画像を記憶媒体に記憶させる。移動時撮像ステップでは、移動体が上記移動経路を移動する際に、移動体の現在位置の画像を移動体から撮像する。マッチングステップでは、記憶媒体に記憶されている前記多数箇所の各画像と前記現在位置の画像との間で画像マッチングを行い、上記各画像の中から現在位置の画像とマッチする一の画像を探索する。位置特定ステップでは、上記一の画像に紐付けられた位置情報から移動体の現在位置を特定する。この位置特定方法では、床面にガイドラインが描かれていることが必要ではないため、ガイドラインを用いて位置を特定する方法と比較して汎用性が高くなる。なお、請求項1に記載の「多数箇所」は、例えば10箇所以上である。
本発明の第2の態様の位置特定方法は、第1の態様において、前記移動経路は、屋内に設けられた屋内移動経路であり、前記屋内移動経路は、屋外に設けられた屋外移動経路と繋がっており、前記移動体が前記屋外移動経路を移動する際には、前記移動体に搭載されたGPS装置を用いて前記移動体の現在位置を特定する。
第2の態様の位置特定方法によれば、移動体が屋内移動経路を移動する際には、前述した画像マッチングの結果から移動体の現在位置を特定する。移動体が屋外移動経路を移動する際には、移動体に搭載されたGPS(Global Positioning System)装置を用いて移動体の現在位置を特定する。屋内では、GPS衛星からの信号を受信し難い反面、気象状態や時間帯で景色の変化が少ないため、画像マッチングの精度を確保し易い。このため、上記のように現在位置の特定方法を切り替えることが好ましい。
本発明の第3の態様の位置特定方法は、第1の態様又は第2の態様において、前記移動体は、歩行ロボットである。
第3の態様の位置特定方法によれば、歩行ロボットが移動経路を移動する際に、前述した画像マッチングの結果から歩行ロボットの現在位置を特定する。歩行ロボットは、車両と比較して低速で移動するため、例えば画像マッチングの処理時間に余裕を持たせることができる。
本発明の第4の態様の位置特定方法は、第1の態様~第3の態様の何れか1つの態様において、前記多数箇所に対してそれぞれ識別子を付す識別子付与ステップを有し、前記紐付けステップでは、各前記識別子によって前記各画像と前記各位置情報とを紐付ける。
第4の態様の位置特定方法によれば、識別子付与ステップでは、移動体の移動経路の多数箇所に対してそれぞれ識別子(例えば番号、記号、名称)を付す。紐付けステップでは、それらの識別子によって前記多数箇所の各画像と各位置情報とを紐付ける。上記のような識別子を用いることにより、上記各画像と各位置情報との紐付けが簡易になる。
本発明の第5の態様の位置特定システムは、移動体の移動経路の多数箇所で撮像され且つ前記多数箇所の各位置情報と紐付けられた前記多数箇所の各画像を記憶媒体に記憶する記憶部と、前記移動体に搭載され、前記移動体が前記移動経路を移動する際に、前記移動体の現在位置の画像を撮像する移動時撮像部と、前記記憶媒体に記憶されている前記各画像と前記現在位置の画像との間で画像マッチングを行い、前記各画像の中から前記現在位置の画像とマッチする一の画像を探索するマッチング部と、前記一の画像に紐付けられた位置情報から前記移動体の現在位置を特定する位置特定部と、を有している。
第5の態様の位置特定システムによれば、記憶部は、移動体の移動経路の多数箇所で撮像され且つ前記多数箇所の各位置情報と紐付けられた前記多数箇所の各画像を記憶媒体に記憶する。移動時撮像部は、移動体に搭載され、移動体が上記移動経路を移動する際に、移動体の現在位置の画像を撮像する。マッチング部は、記憶部の記憶媒体に記憶されている前記多数箇所の各画像と前記現在位置の画像との間で画像マッチングを行い、前記各画像の中から現在位置の画像とマッチする一の画像を探索する。位置特定部は、前記一の画像に紐付けられた位置情報から移動体の現在位置を特定する。この位置特定システムでは、床面にガイドラインが描かれていることが必要ではないため、ガイドラインを用いて位置を特定する構成と比較して汎用性が高くなる。
本発明の第6の態様の位置特定システムは、第5の態様において、前記移動経路は、屋内に設けられた屋内移動経路であり、前記屋内移動経路は、屋外に設けられた屋外移動経路と繋がっており、前記移動体が前記屋外移動経路を移動する際には、前記移動体に搭載されたGPS装置を用いて前記移動体の現在位置が特定される。
第6の態様の位置特定システムによれば、移動体が屋内移動経路を移動する際には、位置特定部が前述した画像マッチングの結果から移動体の現在位置を特定する。移動体が屋外移動経路を移動する際には、移動体に搭載されたGPS装置を用いて移動体の現在位置が特定される。屋内では、GPS衛星からの信号を受信し難い反面、気象状態や時間帯で景色の変化が少ないため、画像マッチングの精度を確保し易い。このため、上記のように現在位置の特定方法を切り替えることが好ましい。
本発明の第7の態様の位置特定システムは、第5の態様又は第6の態様において、前記移動体は、歩行ロボットである。
第7の態様の位置特定システムによれば、歩行ロボットが移動経路を移動する際に、前述した画像マッチングの結果から歩行ロボットの現在位置を特定する。歩行ロボットは、車両と比較して低速で移動するため、例えば画像マッチングの処理時間に余裕を持たせることができる。
本発明の第8の態様の位置特定システムは、第5の態様~第7の態様の何れか1つの態様において、前記記憶部は、前記多数箇所に対してそれぞれ付された識別子によって前記各位置情報と紐付けられた前記各画像を前記記憶媒体に記憶する。
第8の態様の位置特定システムによれば、記憶部は、移動体の移動経路の多数箇所に対してそれぞれ付された識別子(例えば番号、記号、名称)によって前記多数箇所の各位置情報と紐付けられた前記多数箇所の各画像を記憶媒体に記憶する。上記のような識別子を用いることにより、上記各画像と各位置情報との紐付けが簡易になる。
以上説明したように、本発明に係る位置特定方法及び位置特定システムでは、汎用性を高めることができる。
本発明の実施の形態に係る位置特定システムの概略構成を示す概念図である。 同実施形態における部品運搬車両のハードウェア構成を示すブロック図である。 部品運搬車両に搭載されたナビゲーション装置の機能構成の一部を示すブロック図である。 同実施形態における歩行ロボットのハードウェア構成を示すブロック図である。 歩行ロボットに搭載されたロボット制御装置の機能構成の一部を示すブロック図である。 同実施形態における事前撮像車両のハードウェア構成を示すブロック図である。 事前撮像車両に搭載された事前撮像装置の機能構成の一部を示すブロック図である。 同実施形態における管制センターのハードウェア構成を示すブロック図である。 管制センターに設けられた位置特定装置の機能構成の一部を示すブロック図である。 同実施形態における移動体の移動経路を示す平断面図である。 移動体から撮像された屋内移動経路の画像の一例を示す図である。 位置特定装置によって実施される制御処理の流れの一例を示すフローチャートである。
以下、図1~図12を用いて本発明の実施の形態に係る位置特定方法及び位置特定システム10について説明する。本実施形態に係る位置特定方法は、一例として工場の敷地内(以下、単に「工場内」と称する)で移動する移動体の位置を特定するための方法であり、本実施形態に係る位置特定システム10によって実施される。この位置特定システム10は、一例として、部品運搬車両20と、歩行ロボット40と、事前撮像車両60と、管制センター80とによって構成されている。
部品運搬車両20及び歩行ロボット40は、本発明における「移動体」に相当する。部品運搬車両20は、工場内を走行する車両の一例であり、工場内での部品の運搬に使用される。歩行ロボット40は、工場内の管理等に使用されるロボットの一例であり、二足歩行が可能とされている。事前撮像車両60は、上記工場の建屋(図10に示される建屋100参照)内において、部品運搬車両20及び歩行ロボット40等の移動体の移動経路を隈なく撮像するための車両である。管制センター80は、工場内での移動体の移動を管理するセンターであり、工場内に設けられている。
部品運搬車両20には、ナビゲーション装置22が搭載されている。歩行ロボット40には、ロボット制御装置42が搭載されている。事前撮像車両60には、事前撮像装置62が搭載されている。管制センター80には、位置特定装置82が設けられている。事前撮像装置62と、ナビゲーション装置22と、ロボット制御装置42と、位置特定装置82とは、ネットワークNを介して相互に通信可能に接続されている。このネットワークNは、一例としてインターネット等の公衆回線を用いた有線及び無線の通信網である。
(部品運搬車両の構成)
部品運搬車両20は、一例として手動運転の車両とされている。図2には、部品運搬車両20に搭載されたナビゲーション装置22のハードウェア構成がブロック図にて示されている。ナビゲーション装置22は、制御部24、GPS(Global Positioning System)装置26、車外カメラ28及びユーザI/F(Inter Face)30を含んでいる。
制御部24は、CPU(Central Processing Unit;プロセッサ)24A、ROM(Read Only Memory)24B、RAM(Random Access Memory)24C、ストレージ24D、通信I/F24E及び入出力I/F24Fを含んで構成されている。CPU24A、ROM24B、RAM24C、ストレージ24D、通信I/F24E及び入出力I/F24Fは、バス24Gを介して相互に通信可能に接続されている。
CPU24Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU24Aは、ROM24Bからプログラムを読み出し、RAM24Cを作業領域としてプログラムを実行する。本実施形態では、ROM24Bにプログラムが記憶されている。CPU24Aがプログラムを実行することで、ナビゲーション装置22の制御部24は、図3に示す移動時撮像部32、通信部34及び表示部36として機能する。
ROM24Bは、各種プログラム及び各種データを記憶している。RAM24Cは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ24Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラムと、地図データベース等を記憶している。通信I/F24Eは、管制センター80の位置特定装置82と通信すべく、ネットワークNに接続するためのインタフェースを含む。当該インタフェースとしては、例えば、LTE、Wi-Fi(登録商標)等の通信規格が用いられる。
入出力I/F24Fは、部品運搬車両20に搭載される各装置と通信するためのインタフェースである。本実施形態のナビゲーション装置22には、入出力I/F24Fを介してGPS装置26、車外カメラ28及びユーザI/F30が接続されている。なお、GPS装置26、車外カメラ28及びユーザI/F30は、バス24Gに対して直接接続されていてもよい。
GPS装置26は、GPS衛星からの信号を受信するアンテナ(図示省略)を含んでおり、部品運搬車両20の現在位置を測定する。車外カメラ28は、部品運搬車両20の周辺を撮像するカメラである。この車外カメラ28は、一例として部品運搬車両20の前方を撮像する単眼カメラとされている。なお、車外カメラ28は、ステレオカメラや360度カメラであってもよい。ユーザI/F30は、例えば表示部であるディスプレイ、及び音声出力部であるスピーカ(何れも図示省略)を含んでいる。ディスプレイは、例えば静電容量式のタッチパネルを構成している。
ナビゲーション装置22は、前述したように、機能構成として図3に示される移動時撮像部32、通信部34及び表示部36を有している。これらの機能構成は、CPU24AがROM24Bに記憶されたプログラムを読み出し、これを実行することによって実現される。
移動時撮像部32は、本発明における「移動時撮像ステップ」を実施する機能を有している。具体的には、移動時撮像部32は、例えば部品運搬車両20が工場の建屋外から建屋内に入ることにより、GPS装置26がGPS衛星からの信号を受信できなくなった場合に、車外カメラ28を用いて部品運搬車両20の前方を撮像する機能を有している。この撮像は、例えば一定時間おきに行われる。この撮像により得られた画像は、本発明における「現在位置の画像」に相当する。以下、この現在位置の画像を「現在位置画像」と称する。
通信部34は、ネットワークNを介して管制センター80の位置特定装置82と通信する機能を有している。この通信部34は、位置特定装置82に対して車体カメラ28による撮像画像のデータを送信し、位置特定装置82から部品運搬車両20の現在位置の情報を受信する。表示部36は、通信部34が受信した現在位置の情報を、ユーザI/F30のディスプレイに表示させる機能を有している。
(歩行ロボットの構成)
図4には、歩行ロボット40のハードウェア構成がブロック図にて示されている。歩行ロボット40は、ロボット制御装置42、GPS装置44、外部センサ46、内部センサ48及びアクチュエータ50を含んでいる。
ロボット制御装置42は、CPU42A、ROM42B、RAM42C、ストレージ42D、通信I/F42E及び入出力I/F42Fを含んで構成されている。CPU42A、ROM42B、RAM42C、ストレージ42D、通信I/F42E及び入出力I/F42Fは、バス42Gを介して相互に通信可能に接続されている。CPU42A、ROM42B、RAM42C、ストレージ42D、通信I/F42E及び入出力I/F42Fの機能は、前述した部品運搬車両20の制御部24のCPU24A、ROM24B、RAM24C、ストレージ24D、通信I/F24E及び入出力I/F24Fの機能と同じである。
CPU42Aは、ストレージ42Dからプログラムを読み出し、RAM42Cを作業領域としてプログラムを実行する。これにより、ロボット制御装置42は、歩行ロボット40を動作させるための動作計画を生成する。この動作計画には、歩行ロボット40を歩行させるための歩行計画が含まれる。この歩行計画は、ストレージ42Dに記憶された地図データベース等を用いて生成される。このロボット制御装置42の入出力I/F42Fには、GPS装置44、外部センサ46、内部センサ48及びアクチュエータ50が接続されている。なお、GPS装置44、外部センサ46、内部センサ48及びアクチュエータ50は、バス42Gに対して直接接続されていてもよい。
GPS装置44の機能は、部品運搬車両20のGPS装置26と同じであり、GPS衛星からの信号を用いて歩行ロボット40の現在位置を測定する。外部センサ46は歩行ロボット40の周辺の周辺情報を検出するセンサ群である。この外部センサ46は、歩行ロボット40の周辺を撮像するカメラ(図示省略)を含んでいる。このカメラは、単眼カメラ、ステレオカメラ及び360度カメラのうち少なくとも何れかを含んでいる。なお、この外部センサ46は、歩行ロボット40の周辺の所定範囲に探査波を送信し、反射波を受信するミリ波レーダや、上記所定範囲をスキャンするライダ(Laser Imaging Detection and Ranging)等を含んでいてもよい。内部センサ48は、歩行ロボット40の各部の状態を検出するセンサ群である。アクチュエータ50は、歩行ロボット40の各部を駆動する複数の電動アクチュエータを含んでいる。
図5は、ロボット制御装置42の機能構成の一部を示すブロック図である。図5に示されるように、ロボット制御装置42は、機能構成として、移動時撮像部52及び通信部54を有している。これらの機能構成は、CPU42AがROM42Bに記憶されたプログラムを読み出し、これを実行することによって実現される。
移動時撮像部52は、本発明における「移動時撮像ステップ」を実施する機能を有している。具体的には、移動時撮像部52は、例えば歩行ロボット40が工場の建屋外から建屋内に入ることにより、GPS装置44がGPS衛星からの信号を受信できなくなった場合に、外部センサ46のカメラを用いて歩行ロボット40の周辺を撮像する機能を有している。この撮像は、例えば一定時間おきに行われる。この撮像により得られた画像は、本発明における「現在位置の画像」に相当する。以下、この現在位置の画像を「現在位置画像」と称する。
通信部54は、ネットワークNを介して管制センター80の位置特定装置82と通信する機能を有している。この通信部54は、位置特定装置82に対して外部センサ46による撮像画像のデータを送信し、位置特定装置82から歩行ロボット40の現在位置の情報を受信する。
(事前撮像車両の構成)
事前撮像車両60は、一例として手動運転の車両とされている。図6には、事前撮像車両60に搭載された事前撮像装置62のハードウェア構成がブロック図にて示されている。事前撮像装置62は、撮像制御部64、車外カメラ66及びユーザI/F68を含んでいる。
撮像制御部64は、CPU64A、ROM64B、RAM64C、ストレージ64D、通信I/F64E及び入出力I/F64Fを含んで構成されている。CPU64A、ROM64B、RAM64C、ストレージ64D、通信I/F64E及び入出力I/F64Fは、バス64Gを介して相互に通信可能に接続されている。CPU64A、ROM64B、RAM64C、ストレージ64D、通信I/F64E及び入出力I/F64Fの機能は、前述した部品運搬車両20の制御部24のCPU24A、ROM24B、RAM24C、ストレージ24D、通信I/F24E及び入出力I/F24Fの機能と同じである。
CPU64Aは、ストレージ64Dからプログラムを読み出し、RAM64Cを作業領域としてプログラムを実行する。入出力I/F64Fには、車外カメラ66及びユーザI/F68が接続されている。なお、車外カメラ66及びユーザI/F68は、バス64Gに対して直接接続されていてもよい。車外カメラ66は、一例として事前撮像車両60の前方を撮像する単眼カメラとされている。なお、車外カメラ66は、ステレオカメラや360度カメラであってもよい。ユーザI/F68は、例えば表示部であるディスプレイ、及び音声出力部であるスピーカ(何れも図示省略)を含んでいる。ディスプレイは、例えば静電容量式のタッチパネルを構成している。
図7は、撮像制御部64の機能構成の一部を示すブロック図である。図7に示されるように、撮像制御部64は、機能構成として、事前撮像部70及び通信部72を有している。これらの機能構成は、CPU64AがROM64Bに記憶されたプログラムを読み出し、これを実行することによって実現される。
事前撮像部70は、工場の建屋内に設けられた屋内移動経路の多数箇所において、当該多数箇所の各画像を車外カメラ66で撮像する機能を有している。この撮像は、例えば事前撮像部70が事前撮像車両60の乗員からユーザI/F68を介して指示を受けることにより行われる。この撮像は、本発明における「事前撮像ステップ」の実施に相当する。撮像された各画像は、ストレージ64Dに記憶される。この事前撮像ステップで撮像された上記各画像は、紐付けステップにおいて、上記多数箇所の各位置情報とそれぞれ紐付け(すなわち一意的に関連付け)られる。この紐付けステップ及び上記の事前撮像ステップの前には、識別子付与ステップが実施される。
識別子付与ステップでは、移動体の移動経路の多数箇所に対してそれぞれ識別子(例えば番号、記号、名称等)が付される。この識別子付与ステップは、例えば工場の作業者によって実施される。上記の識別子の情報は、部品運搬車両20の部品運搬装置22が有する地図データベースと、歩行ロボット40のロボット制御装置42が有する地図データベースとにそれぞれ格納される。
上記の識別子付与ステップが実施された後、事前撮像車両60の乗員によって上記多数箇所の各画像が撮像される。事前撮像車両60の乗員は、例えば上記各画像を撮像した後に、ユーザI/F68を用いて上記各画像のデータにそれぞれ識別子を付す。各々に識別子が付された上記各画像のデータは、ストレージ68に記憶される。以下、上記各識別子が付された上記各画像を「多数の事前撮像画像」と称する場合がある。
なお、本実施形態では、上記の識別子付与ステップ、事前撮像ステップ及び紐付けステップが工場の作業者によって実施される構成にしているが、これに限らず、例えば人口知能を備えた歩行ロボット等によって実施される構成にしてもよい。その場合、上記の識別子付与ステップ、事前撮像ステップ及び紐付けステップが同時又は略同時に実施されてもよい。
通信部72は、ネットワークNを介して管制センター80の位置特定装置82と通信する機能を有している。この通信部72は、ストレージ64Dに記憶された多数の事前撮像画像のデータを位置特定装置82に対して送信する。
(管制センターの構成)
図8には、管制センター80に設けられた位置特定装置82のハードウェア構成がブロック図にて示されている。位置特定装置82は、CPU82A、ROM82B、RAM82C、ストレージ82D及び通信I/F82Eを含んで構成されている。CPU82A、ROM82B、RAM82C、ストレージ82D及び通信I/F82Eは、バス82Gを介して相互に通信可能に接続されている。CPU82A、ROM82B、RAM82C、ストレージ82D及び通信I/F82Eの機能は、前述した部品運搬車両20の制御部24のCPU24A、ROM24B、RAM24C、ストレージ24D及び通信I/F24Eの機能と同じである。
CPU82Aは、ストレージ82Dからプログラムを読み出し、RAM82Cを作業領域としてプログラムを実行する。このプログラムの実行により、位置特性装置82は、図9に示す通信部84、記憶部86、マッチング部88及び位置特定部90として機能する。
通信部84は、ネットワークNを介して部品運搬車両20のナビゲーション装置22、歩行ロボット40のロボット制御装置42及び事前撮像車両60の事前撮像装置62と通信する機能を有している。この通信部84は、事前撮像装置62から多数の事前撮像画像のデータを受信すると共に、ナビゲーション装置22やロボット制御装置42から現在位置画像のデータを受信する。
記憶部86は、本発明における「記憶ステップ」を実施する機能を有している。具体的には、記憶部86は、通信部84が事前撮像装置62から受信した多数の事前撮像画像のデータをストレージ82Dに記憶させる。このストレージ82Dは、本発明における「記憶媒体」に相当する。
マッチング部88は、本発明における「マッチングステップ」を実施する機能を有している。このマッチング部88は、多数の事前撮像画像と現在位置画像との間で画像マッチングを行う。この画像マッチングは、例えば領域ベースマッチング(テンプレートマッチング)又は特徴ベースマッチングとされている。領域ベースマッチングは、画像データをそのまま重ね合わせる手法である。領域ベースマッチングでは、対象物のパターンを画像(所謂テンプレート画像)として表現し、このテンプレート画像を探索範囲内で動かして最も良く合った場所を探索する。特徴ベースマッチングは、画像の構造、すなわち画像から抽出された特徴点の位置関係のレベルで重ね合わせを行う手法である。特徴ベースマッチングでは、先ず画像からエッジや特徴点を抽出し、それらの形や空間的位置関係を線図形として表現する。その後、線図形間の構造の類似性に基づいて重ね合わせを行う。マッチング部88は、上記の画像マッチングにより、現在位置画像とマッチする一の事前撮像画像を探索する。
位置特定部90は、本発明における「位置特定ステップ」を実施する機能を有している。この位置特定部90は、マッチング部88によって実施された画像マッチングの結果から、部品運搬車両20又は歩行ロボット40の現在位置を特定(同定)する。具体的には、位置特定部90は、マッチング部88によって探索された上記一の事前撮像画像に付された識別子(すなわち位置情報)から、部品運搬車両20又は歩行ロボット40の現在位置を特定する。部品運搬車両20又は歩行ロボット40の現在位置を特定した位置特定部90は、特定した現在位置の情報を、通信部84を介してナビゲーション装置22又はロボット制御装置42に送信する。
(移動体の移動経路について)
図10には、部品運搬車両20及び歩行ロボット40が使用される工場の一例が平断面図にて示されている。この例では、工場の建屋100内(すなわち屋内)に格子状の屋内移動経路IRが設けられている。また、建屋100の周りの屋外には、屋外移動経路ORが設けられている。
屋内移動経路IRは、本発明における「移動経路」に相当する。この屋内移動経路IRは、各々が東西に延び且つ互いに南北に並ぶ一対の経路IR1、IR2と、各々が南北に延び且つ互いに東西に並ぶ一対の通路IR3、IR4とによって構成されている。これらの経路IR1~IR4は互いに交わっている。これらの経路IR1~IR4によって建屋100内が複数のブロックB1~B9に分けられている。
屋外移動経路ORは、建屋100の北側及び南側でそれぞれ東西に延びる一対の経路OR1、OR2と、建屋の東側及び西側でそれぞれ南北に延びる一対の経路OR3、OR4とを有している。経路OR1、OR2は、屋内移動経路IRの経路IR3、IR4に繋がっており、経路OR3、OR4は、屋内移動経路IRの経路IR1、IR2に繋がっている。
本実施形態では、前述した識別子付与ステップにおいて、上記の屋内移動経路IRの多数箇所に対してそれぞれ識別子が付与される。図10に示される例では、屋内移動経路IRの経路IR1~IR4の多数箇所に対して識別子である番号N1~N24が付与されている。これらの番号N1~N24の情報は、地図データベースに格納される。
上記の番号N1~N24は、前述したように、例えば事前撮像車両60の乗員によって撮像される上記多数箇所の各画像に対してそれぞれ付与される。N1~N24を付与された上記各画像は、多数の事前撮像画像として管制センター80の位置特定装置82へ送信され、当該位置特定装置82の記憶部86に記憶される。
部品運搬車両20及び歩行ロボット40(以下、「移動体20、40」と称する場合がある)は、上記の屋内移動経路IR及び屋外移動経路ORで移動する。移動体20、40が屋外移動経路ORで移動する際には、ナビゲーション装置22及びロボット制御装置42がGPS装置26及びGPS装置44を用いて移動体20、40の現在位置を特定する。一方、移動体20、40が屋外移動経路ORで移動する際には、ナビゲーション装置22及びロボット制御装置42は、管制センター80の位置特定装置82によって行われる画像マッチングの結果から各々の現在位置を把握する。つまり、ナビゲーション装置22及びロボット制御装置42は、屋外移動経路ORの移動時と屋内移動経路IRの移動時とで現在位置を特定するための制御を上記のように切り替えるように構成されている。なお、図11には、移動体20、40から撮像された現在位置画像の一例が示されている。この現在位置画像は、図10において番号N1~N24が付された位置から東側を向いて撮像された画像である。図11において、M1~M6は、例えば建屋100内のブロックB1~B6に設置された工作機械等である。
(制御の流れ)
以下、図12を用いて、位置特定装置82で実施される制御処理の流れについて説明する。この制御処理は、位置特定装置82のストレージ82Dに多数の事前撮像画像が記憶された状態で実施される。この制御処理では、先ず図12のステップS1において、位置特定装置82のCPU82Aは、事前撮像車両60の事前撮像装置62から新たに事前撮像画像のデータが送信されたか否かを判断する。この判断が肯定された場合、ステップS2に移行し、この判断が否定された場合、ステップS3に移行する。
ステップS2に移行した場合、CPU82Aは、記憶部86の機能により、新たに送信された事前撮像画像のデータをストレージ82Dに記憶させる。このステップでの処理が完了すると、次のステップS3に移行する。
ステップS3では、CPU82Aは、部品運搬車両20のナビゲーション装置22又は歩行ロボット40のロボット制御装置42から現在位置画像のデータが送信されたか否かを判断する。この判断が肯定された場合、ステップS4に移行し、この判断が否定された場合、前述したステップS1に戻る。
ステップS4に移行した場合、CPU82Aは、マッチング部88の機能により、記憶部86に記憶されている多数の事前撮像画像と現在位置画像との間で画像マッチングを行う。これにより、CPU82Aは、現在位置画像とマッチする一の事前撮像画像を探索する。このステップS4での処理が完了すると、次のステップS5に移行する。
ステップS5では、CPU82Aは、位置特定部90の機能により、マッチング部88によって探索された上記一の事前撮像画像に付された識別子から、部品運搬車両20又は歩行ロボット40の現在位置を特定する。このステップS5での処理が完了すると、次のステップS6に移行する。
ステップS6では、CPU82Aは、通信部84の機能により、ステップS5で特定した現在位置の情報を、ナビゲーション装置22又はロボット制御装置42に送信する。このステップS6での処理が完了すると、本ルーチンが終了される。
(本実施形態のまとめ)
本実施形態に係る位置特定システム10では、建屋100内に設けられた屋内移動経路IRの多数箇所において、当該多数箇所の各画像である多数の事前撮像画像が撮像される。多数の事前撮像画像は、上記多数箇所の各位置情報と紐付けられ、管制センター80に設けられた位置特定装置82のストレージ82Dに記憶される。そして、部品運搬車両20及び歩行ロボット40が建屋100内の屋内移動経路IRで移動する際には、部品運搬車両20のナビゲーション装置22及び歩行ロボット40のロボット制御装置42によって、部品運搬車両20及び歩行ロボット40の現在位置の画像である現在位置画像が撮像される。撮像された現在位置画像のデータは、管制センター80の位置特定装置82に送信される。この位置特定装置82では、ストレージ82Dに記憶されている多数の事前撮像画像と現在位置画像との間で画像マッチングが行われ、この画像マッチングの結果から移動体の現在位置が特定される。この位置特定システム10では、床面にガイドラインが描かれていることが必要ではないため、ガイドラインを用いて現在位置を特定(把握)する構成と比較して汎用性が高くなる。
また、ガイドラインは摩耗により認識し難くなる場合や、ガイドライン付近に置かれる荷物などのレイアウトの変化によって認識し難くなる場合がある。例えば工場の建屋内では、ガイドライン付近に置かれる部品等のレイアウトが日々変化する場合がある。このため、ガイドラインを用いて現在位置を特定する構成システムでは、上記のような変化に柔軟に対応できず、位置特定の正確性に影響が及ぶ可能性がある。この点、本実施形態では、屋内移動経路IRの多数箇所で撮像した多数の事前撮像画像と、移動体20、40から撮像した現在位置画像との間で画像マッチングを行うため、ガイドライン付近でのレイアウトの変化による画像マッチングの精度の低下を低く抑えることができる。その結果、位置特定の正確性を高めることができる。
また、本実施形態では、部品運搬車両20及び歩行ロボット40が建屋100内の屋内移動経路IRを移動する際には、上述の画像マッチングの結果から部品運搬車両20及び歩行ロボット40の現在位置が特定される。一方、部品運搬車両20及び歩行ロボット40が建屋100外の屋外移動経路ORを移動する際には、部品運搬車両20及び歩行ロボット40に搭載されたGPS装置26、44を用いて部品運搬車両20及び歩行ロボット40の現在位置が特定される。建屋100内(屋内)では、GPS装置26、44がGPS衛星からの信号を受信し難い反面、気象状態や時間帯で景色の変化が少ないため、画像マッチングの精度を確保し易い。このため、上記のように現在位置の特定方法を切り替えることが好ましい。
なお、位置特定方法としては、カラービットや磁気マーカーなどいろいろな方法がある。しかしながら、例えば日々レイアウトが変化する工場に上記のような設備を設置することは得策ではない場合がある。この点、本実施形態では、例えば部品運搬車両20には、ナビゲーション装置22の他に、車外カメラ28を搭載すれば足りるため、カラービットや磁気マーカーなどと比較して設備がシンプルになる。また、上記のような日々のレイアウト変化に対しては、事前撮像車両60による事前撮像ステップの更新によって、位置特定装置82のストレージ82Dに記憶させる多数の事前撮像画像を更新(例えば上書き)すればよいため、柔軟かつ簡便に適応することができる。
また、本実施形態では、歩行ロボット40が屋内移動経路IRを移動する際に、上述の画像マッチングの結果から歩行ロボット40の現在位置が特定される。歩行ロボット40は、車両と比較して低速で移動するため、画像マッチングの処理時間に余裕を持たせることができる。
また、本実施形態では、位置特定装置82の記憶部86は、屋内移動経路IRの多数箇所に対してそれぞれ付された識別子(例えば番号、記号、名称)によって上記多数箇所の各位置情報と紐付けられた多数の事前撮像画像をストレージ82Dに記憶する。上記のような識別子を用いることにより、多数の事前撮像画像と上記各位置情報との紐付けが簡易になる。
(実施形態の補足説明)
上記実施形態では、事前撮像車両60に搭載された事前撮像装置62を用いて事前撮像ステップが実施される場合について説明したが、これに限るものではない。例えば工場の作業者が持ち運び可能な携帯端末(スマートフォン、タブレット端末など)を用いて事前撮像ステップが実施される構成にしてもよい。
また、上記実施形態では、移動体としての部品運搬車両20に搭載されたナビゲーション装置22によって移動時撮像ステップが実施される場合について説明したが、これに限るものではない。例えば移動体に対して持ち込み及び持ち出しが可能な携帯端末(スマートフォン、タブレット端末など)によって移動時撮像ステップが実施される構成にしてもよい。
また、上記実施形態では、管制センター80に設けられた位置特定装置82によって、記憶ステップ、マッチングステップ及び位置特定ステップが実施される構成にしたが、これに限るものではない。例えば部品運搬車両20に搭載されたナビゲーション装置22によって記憶ステップ、マッチングステップ及び位置特定ステップが実施される構成にしてもよい。その場合、ナビゲーション装置22のストレージ24Dに多数の事前撮像画像が記憶され、当該ナビゲーション装置22が記憶部、移動時撮像部、マッチング部及び位置特定部として機能する構成となるため、ナビゲーション装置の発明として捉えることができる。その場合、多数の事前撮像画像が事前撮像装置62からナビゲーション装置22に直接送信される構成にしてもよい。
また、上記実施形態では、移動体としての部品運搬車両20が手動運転の車両とされたが、これに限るものではない。自動運転が可能な車両が移動体とされた構成にしてもよい。
また、上記実施形態において、CPU24A、42A、64A、82Aがソフトウェア(プログラム)を読み込んで実行した各処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、位置特定装置82においてプログラムは、ストレージ82Dに予め記憶されている。しかしこれに限らず、プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
また、上記実施形態では、多数の事前撮像画像がストレージ82Dに記憶される構成にしたが、これに限るものではない。多数の事前撮像画像が上記のような非一時的記録媒体に記録される構成としてもよい。
上記実施形態で説明した制御処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
その他、本発明は、その要旨を逸脱しない範囲で種々変更して実施できる。また、本発明の権利範囲が上記実施形態に限定されないことは勿論である。
10 位置特定システム
20 部品運搬車両(移動体)
26 GPS装置
32 移動時撮像部
40 歩行ロボット(移動体)
44 GPS装置
52 移動時撮像部
86 記憶部
88 マッチング部
90 位置特定部
IR 屋内移動経路(移動経路)
OR 屋外移動経路
N1~N24 番号(識別子)

Claims (3)

  1. 移動体と通信可能な管制センターに設けられ、前記移動体の移動経路の多数箇所で撮像され且つ前記多数箇所の各位置情報と紐付けられた前記多数箇所の各画像を記憶媒体に記憶する記憶部と、
    前記移動体に搭載され、前記移動体が前記移動経路を移動する際に、前記移動体の現在位置の画像を撮像する移動時撮像部と、
    前記管制センターに設けられ、前記記憶媒体に記憶されている前記各画像と前記現在位置の画像との間で画像マッチングを行い、前記各画像の中から前記現在位置の画像とマッチする一の画像を探索するマッチング部と、
    前記管制センターに設けられ、前記一の画像に紐付けられた位置情報のみから前記移動体の現在位置を特定する位置特定部と、
    を有し、
    前記移動経路は、屋内に設けられた屋内移動経路であり、
    前記屋内移動経路は、屋外に設けられた屋外移動経路と繋がっており、
    前記移動体が前記屋外移動経路を移動する際には、前記移動体に搭載されたGPS装置を用いて前記移動体の現在位置が特定され、
    前記移動時撮像部は、前記移動体が前記屋外移動経路から前記屋内移動経路へ移動することにより、前記GPS装置がGPS衛星からの信号を受信できなくなった場合に、前記移動体の現在位置の画像を撮像する位置特定システム。
  2. 前記移動体は、歩行ロボットである請求項1に記載の位置特定システム。
  3. 前記記憶部は、前記多数箇所に対してそれぞれ付された識別子によって前記各位置情報と紐付けられた前記各画像を前記記憶媒体に記憶する請求項1又は請求項2に記載の位置特定システム。
JP2020178398A 2020-10-23 2020-10-23 位置特定システム Active JP7484658B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020178398A JP7484658B2 (ja) 2020-10-23 2020-10-23 位置特定システム
CN202111128537.2A CN114485605A (zh) 2020-10-23 2021-09-26 位置确定方法以及位置确定系统
US17/503,365 US20220130054A1 (en) 2020-10-23 2021-10-18 Position finding method and position finding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020178398A JP7484658B2 (ja) 2020-10-23 2020-10-23 位置特定システム

Publications (2)

Publication Number Publication Date
JP2022069295A JP2022069295A (ja) 2022-05-11
JP7484658B2 true JP7484658B2 (ja) 2024-05-16

Family

ID=81257490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178398A Active JP7484658B2 (ja) 2020-10-23 2020-10-23 位置特定システム

Country Status (3)

Country Link
US (1) US20220130054A1 (ja)
JP (1) JP7484658B2 (ja)
CN (1) CN114485605A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094743A (ja) 2005-09-28 2007-04-12 Zmp:Kk 自律移動型ロボットとそのシステム
JP2008083777A (ja) 2006-09-26 2008-04-10 Tamagawa Seiki Co Ltd 無人搬送車の誘導方法及び装置
WO2019130945A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
WO2019187816A1 (ja) 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム
JP2020034491A (ja) 2018-08-31 2020-03-05 株式会社日立産機システム 移動体の位置検出装置、及び、位置検出装置を備えた移動体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120070291A (ko) * 2010-12-21 2012-06-29 삼성전자주식회사 보행 로봇 및 그의 동시 위치 인식 및 지도 작성 방법
CN103424113B (zh) * 2013-08-01 2014-12-31 毛蔚青 移动终端基于图像识别技术的室内定位与导航方法
CN104112124A (zh) * 2014-07-15 2014-10-22 北京邮电大学 一种基于图像识别的室内定位方法与装置
CN107094319B (zh) * 2016-02-17 2021-06-04 王庆文 一种高精度室内外融合定位系统和方法
CN106595634A (zh) * 2016-11-30 2017-04-26 深圳市有光图像科技有限公司 通过对比图像识别移动机器人的位置的方法及移动机器人
CN107423786A (zh) * 2017-07-20 2017-12-01 北京邮电大学 一种基于二维码的定位导航方法、装置及设备
CN111201420A (zh) * 2017-10-10 2020-05-26 索尼公司 信息处理装置、自身位置推定方法、程序和移动体
CN111241875A (zh) * 2018-11-28 2020-06-05 驭势科技(北京)有限公司 基于视觉的自动化标志牌语义建图定位方法及系统
CN109827574B (zh) * 2018-12-28 2021-03-09 中国兵器工业计算机应用技术研究所 一种无人机室内外切换导航系统
CN111339976B (zh) * 2020-03-03 2023-08-11 Oppo广东移动通信有限公司 室内定位方法、装置、终端及存储介质
CN111723682A (zh) * 2020-05-28 2020-09-29 北京三快在线科技有限公司 提供位置服务的方法、装置、可读存储介质及电子设备
JP7424269B2 (ja) * 2020-10-23 2024-01-30 トヨタ自動車株式会社 位置把握システム、位置把握方法及び位置把握プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094743A (ja) 2005-09-28 2007-04-12 Zmp:Kk 自律移動型ロボットとそのシステム
JP2008083777A (ja) 2006-09-26 2008-04-10 Tamagawa Seiki Co Ltd 無人搬送車の誘導方法及び装置
WO2019130945A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
WO2019187816A1 (ja) 2018-03-30 2019-10-03 日本電産シンポ株式会社 移動体および移動体システム
JP2020034491A (ja) 2018-08-31 2020-03-05 株式会社日立産機システム 移動体の位置検出装置、及び、位置検出装置を備えた移動体

Also Published As

Publication number Publication date
CN114485605A (zh) 2022-05-13
JP2022069295A (ja) 2022-05-11
US20220130054A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
Zhang et al. Laser–visual–inertial odometry and mapping with high robustness and low drift
CN108827249B (zh) 一种地图构建方法和装置
JP5018458B2 (ja) 座標補正方法、座標補正プログラム、及び自律移動ロボット
CN107913039B (zh) 用于清洁机器人的区块选择方法、装置及机器人
US20160327946A1 (en) Information processing device, information processing method, terminal device, and setting method
US20200241573A1 (en) Route generation device, moving body, and program
JP2020503507A (ja) 測位方法、端末及びサーバー
WO2018131165A1 (ja) 情報処理プログラム、情報処理方法および情報処理装置
US20190263524A1 (en) Drone control system, method, and program
CN111380515B (zh) 定位方法及装置、存储介质、电子装置
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
JP7424269B2 (ja) 位置把握システム、位置把握方法及び位置把握プログラム
JP7484658B2 (ja) 位置特定システム
Zhang et al. Ntu4dradlm: 4d radar-centric multi-modal dataset for localization and mapping
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN110426038B (zh) 机器人导航控制方法、装置、计算设备及计算机存储介质
JP6651295B2 (ja) 移動体制御装置、プログラムおよび集積回路
CN110308978B (zh) 一种自动驾驶软件部署方法、装置、终端及服务器
JP2022034861A (ja) フォークリフト、位置推定方法、及びプログラム
Morioka et al. Simplified map representation and map learning system for autonomous navigation of mobile robots
CN116883504B (zh) 车辆朝向的校准方法、装置、计算机设备及存储介质
JP7285517B2 (ja) 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP7153747B2 (ja) 制御システム、制御方法、プログラムおよびシートセット
EP4367477A1 (en) Supporting localization and mapping using a heterogeneous map
JP2022146886A (ja) 表示装置、通信システム、表示制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150