JP7251638B2 - 位置推定方法、位置推定システム、及び位置推定装置 - Google Patents
位置推定方法、位置推定システム、及び位置推定装置 Download PDFInfo
- Publication number
- JP7251638B2 JP7251638B2 JP2021543865A JP2021543865A JP7251638B2 JP 7251638 B2 JP7251638 B2 JP 7251638B2 JP 2021543865 A JP2021543865 A JP 2021543865A JP 2021543865 A JP2021543865 A JP 2021543865A JP 7251638 B2 JP7251638 B2 JP 7251638B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- real space
- coordinates
- position estimation
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Description
本発明は、撮像画像から三次元空間の実空間座標を推定する位置推定方法、位置推定システム、及び位置推定装置に関する。
工場などの生産現場などでは、カメラにより撮像された撮像画像に基づいて、移動体の位置などを推定することが行われている。このような撮像画像に基づいた移動体の位置推定において生じるノイズを低減する手法として、例えば以下のような手法が挙げられる。
例えば撮像画像に指数平滑フィルタを適用して撮像画像の指数平滑移動平均を算出することにより、高周波ノイズを除去することができる。また、撮像画像上の任意の画像領域内に含まれる複数の画素に対応する測位結果を平均化することにより、測位結果の分散を小さくすることができる。
また、引用文献１には、実空間の座標情報における移動体の座標の変化とカメラで撮影された移動体の座標の変化とに基づいて速度を算出し、移動体の状態（例えば、停止、低速、又は高速）を認識することが記載されている。
しかしながら、上述した撮像画像に指数平滑フィルタを適用する手法では、過去の画像情報を用いるため、速度の変化への追従が遅くなるという問題がある。また、任意の画像領域内に含まれる複数の画素に対応する測位結果を平均化する手法では、例えば領域全体に亘ってノイズが含まれている場合などではノイズを効果的に除去することができないという問題がある。
さらに、引用文献１に記載された技術では、入力情報として実空間の座標情報がなければ移動体の位置および速度を算出することができないという問題がある。
本発明の目的は、撮像画像に基づいて移動体の位置を適切に推定することが可能な位置推定方法、位置推定システム、位置推定装置を提供することにある。
本発明の一つの態様によれば、位置推定方法は、撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得することと、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の前記画像座標を前記移動体の実空間座標に変換することと、を備える。
本発明の一つの態様によれば、位置推定システムは、移動体の移動を制御する制御装置と、上記移動体を撮像する撮像装置と、上記移動体の位置情報を推定する位置推定装置と、を含み、上記位置推定装置は、上記撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の上記画像座標を上記移動体の実空間座標に変換する変換部と、を有する、位置推定システム。
本発明の一つの態様によれば、位置推定装置は、撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の前記画像座標を上記移動体の実空間座標に変換する変換部と、を備える。
本発明の一つの態様によれば、撮像画像に基づいて移動体の位置を適切に推定することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
説明は、以下の順序で行われる。
１．本発明の実施形態の概要
２．システムの構成
３．第１の実施形態
３．１．位置推定装置１００の構成
３．２．動作例
４．第２の実施形態
４．１．位置推定装置１００の構成
４．２．動作例
５．他の実施形態
１．本発明の実施形態の概要
２．システムの構成
３．第１の実施形態
３．１．位置推定装置１００の構成
３．２．動作例
４．第２の実施形態
４．１．位置推定装置１００の構成
４．２．動作例
５．他の実施形態
＜＜１．本発明の実施形態の概要＞＞
まず、本発明の実施形態の概要を説明する。
まず、本発明の実施形態の概要を説明する。
（１）技術的課題
工場などの生産現場などでは、カメラにより撮像された撮像画像に基づいて、移動体の位置などを推定することが行われている。このような撮像画像に基づいた移動体の位置推定において生じるノイズを低減する手法として、例えば以下のような手法が挙げられる。
工場などの生産現場などでは、カメラにより撮像された撮像画像に基づいて、移動体の位置などを推定することが行われている。このような撮像画像に基づいた移動体の位置推定において生じるノイズを低減する手法として、例えば以下のような手法が挙げられる。
例えば撮像画像に指数平滑フィルタを適用して撮像画像の指数平滑移動平均を算出することにより、高周波ノイズを除去することができる。また、撮像画像上の任意の画像領域内に含まれる複数の画素に対応する測位結果を平均化することにより、測位結果の分散を小さくすることができる。
また、引用文献１には、実空間の座標情報における移動体の座標の変化とカメラで撮影された移動体の座標の変化とに基づいて速度を算出し、移動体の状態（例えば、停止、低速、又は高速）を認識することが記載されている。
しかしながら、上述した撮像画像に指数平滑フィルタを適用する手法では、過去の画像情報を用いるため、速度の変化への追従が遅くなるという問題がある。また、任意の画像領域内に含まれる複数の画素に対応する測位結果を平均化する手法では、例えば領域全体に亘ってノイズが含まれている場合などではノイズを効果的に除去することができないという問題がある。
さらに、引用文献１に記載された技術では、入力情報として実空間の座標情報がなければ移動体の位置および速度を算出することができないという問題がある。
そこで、本実施形態では、撮像画像に基づいて移動体の位置を適切に推定することを目的とする。
（２）動作例
本発明の実施形態では、例えば、撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得し、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の画像座標を、上記移動体の実空間座標に変換する。
本発明の実施形態では、例えば、撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得し、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の画像座標を、上記移動体の実空間座標に変換する。
これにより、例えば、撮像画像に基づいて移動体の位置を適切に推定することが可能になる。なお、上述した動作例は本発明の実施形態の具体的な一例であり、当然ながら、本発明の実施形態は上述した動作例に限定されない。
＜＜２．システムの構成＞＞
図１を参照して、本発明の実施形態に係る位置推定システム１の構成の例を説明する。図１は、本発明の実施形態に係る位置推定システム１の概略的な構成の一例を示す説明図である。
図１を参照して、本発明の実施形態に係る位置推定システム１の構成の例を説明する。図１は、本発明の実施形態に係る位置推定システム１の概略的な構成の一例を示す説明図である。
図１を参照すると、位置推定システム１は、位置推定装置１００と、複数の撮像装置２０１、２０２、２０３（区別する特段の理由がない場合には単に「撮像装置２００」と呼ぶ。）と、移動体３００と、制御装置４００と、を含む。
位置推定装置１００は、複数の撮像装置２００により撮像された撮像画像に関する情報を用いて、移動体３００の位置を推定する。位置推定装置１００の具体的な処理については後述する。
撮像装置２００は、移動体３００が移動可能なフィールド内を撮像する装置である。撮像装置２００は、例えば、デプスカメラ及び／又はステレオカメラを含んで構成される。デプスカメラは、画像の各画素値がカメラから対象物までの距離を示す深度画像を撮影できるカメラである。また、ステレオカメラは、基準カメラと参照カメラを用いて対象物を複数の異なる方向から撮影することで、対象物の奥行き方向に関する計測を可能とするカメラである。
各々の撮像装置２００は、位置推定装置１００と通信可能に接続されている。撮像装置２００は、所定の間隔（所定のサンプリング周期）でフィールド内を撮像し、画像データを位置推定装置１００に送信する。
移動体３００は、例えば、２つの搬送ロボット３０１、３０２と、物品３０３とを含む。搬送ロボット３０１は、他の搬送ロボット３０２と協調して物品３０３を搬送する、協調型搬送ロボットである。具体的には、搬送ロボット３０１、３０２は、相対する方向から物品３０３を挟み込み、挟み込んだ状態のまま移動することで物品３０３を搬送する。搬送ロボット３０１、３０２は、制御装置４００と通信可能に構成されており、制御装置４００からの制御コマンド（制御情報）に基づいて移動する。
制御装置４００は、例えば、位置推定装置１００により推定された移動体３００の位置情報に基づいて、移動体３００に含まれる搬送ロボット３０１、３０２に制御コマンドを送信する。
＜＜３．第１の実施形態＞＞
続いて、図２～図１１を参照して、第１の実施形態に係る位置推定装置１００を説明する。
続いて、図２～図１１を参照して、第１の実施形態に係る位置推定装置１００を説明する。
＜３．１．位置推定装置１００の構成＞
図２は、第１の実施形態に係る位置推定装置１００のハードウェア構成の例を示すブロック図である。図２を参照すると、位置推定装置１００は、通信インタフェース２１、入出力部２２、演算処理部２３、メインメモリ２４、及び記憶部２５を備える。
図２は、第１の実施形態に係る位置推定装置１００のハードウェア構成の例を示すブロック図である。図２を参照すると、位置推定装置１００は、通信インタフェース２１、入出力部２２、演算処理部２３、メインメモリ２４、及び記憶部２５を備える。
通信インタフェース２１は、外部の装置との間でデータを送受信する。例えば、通信インタフェース２１は、有線通信路または無線通信路を介して外部装置と通信する。
演算処理部２３は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等である。メインメモリ２４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等である。記憶部２５は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはメモリカード等である。また、記憶部２５は、ＲＡＭやＲＯＭ等のメモリであってもよい。
位置推定装置１００では、例えば記憶部２５に記憶された位置推定用プログラムをメインメモリ２４に読み出して演算処理部２３により実行することにより、図３に示すような機能部が実現される。これらのプログラムをメインメモリ２４上に読み出してから実行してもよいし、メインメモリ２４上に読み出さずに実行してもよい。また、メインメモリ２４や記憶部２５は、位置推定装置１００が備える構成要素が保持する情報やデータを記憶する役割も果たす。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-ROM）、ＣＤ－Ｒ（CD-Recordable）、ＣＤ－Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
表示装置２６は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、モニターのような、演算処理部２３により処理された描画データに対応する画面を表示する装置である。
図３は、第１の実施形態に係る位置推定システム１において、位置推定装置１００、撮像装置２００、及び制御装置４００により実現される構成の例を示すブロック図である。図３を参照すると、位置推定装置１００は、取得部１１０、パラメータ推定部１２０、変換部１３０、図形入力部１４０、スケール推定部１５０、パラメータ記憶部１６０、及び推定情報出力部１７０を備える。
＜３．２．動作例＞
次に、図４～図１１を参照して、第１の実施形態の動作例を説明する。
次に、図４～図１１を参照して、第１の実施形態の動作例を説明する。
第１の実施形態によれば、位置推定装置１００（取得部１１０）は、撮像装置２００により撮像された撮像画像において移動体３００の画像位置を表示する画像座標を取得する。また、位置推定装置１００（変換部１３０）は、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、移動体３００の上記画像座標を移動体３００の実空間座標に変換する。
ここで、実空間座標情報と画像座標情報との対応関係から得られた情報は、例えばパラメータ記憶部１６０に記憶されているパラメータである。つまり、位置推定装置１００（変換部１３０）は、パラメータ記憶部１６０に記憶されているパラメータに基づいて、移動体３００の上記画像座標を移動体３００の実空間座標に変換する。
また、第１の実施形態によれば、制御装置４００は、移動体３００の上記実空間座標に基づいて、移動体３００が移動する経路を特定し、特定した経路で移動する指示を、移動体３００に指示する。
（１）実空間座標情報
実空間座標情報は、実空間において所定の地点を示す座標である。実空間座標情報は、例えば、後述するような方法を用いて画像座標情報と対応付けられる。
実空間座標情報は、実空間において所定の地点を示す座標である。実空間座標情報は、例えば、後述するような方法を用いて画像座標情報と対応付けられる。
実空間座標情報は、所定の移動経路に沿って移動体３００が移動する複数の地点の実空間座標の情報である。所定の移動経路は、１以上の撮像装置２００により移動体３００を撮像可能な領域に存在する経路である。実空間座標情報は、例えば次のようにして、画像座標情報と対応付けられる。
－移動経路に基づいて特定される実空間座標情報
上記所定の移動経路に関する情報は、移動体３００を制御する制御装置４００から位置推定装置１００（図形入力部１４０）に入力される。一例として、円を描くように移動体が移動する経路である場合、制御装置４００は、位置推定装置１００に対して移動体３００が移動する円を描くような経路の実空間座標情報を入力する。より具体的には、制御装置４００は、移動体３００が移動する経路情報の実空間座標情報を入力する。移動体３００が、当該円を描く移動経路に沿って移動することによって、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、実空間座標情報と、画像座標情報との対応付けを行う。例えば、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、移動体３００が移動する経路として入力された実空間座標情報と、撮像装置２００が撮像した撮像画像における移動体の画像座標との対応付けを行う。
上記所定の移動経路に関する情報は、移動体３００を制御する制御装置４００から位置推定装置１００（図形入力部１４０）に入力される。一例として、円を描くように移動体が移動する経路である場合、制御装置４００は、位置推定装置１００に対して移動体３００が移動する円を描くような経路の実空間座標情報を入力する。より具体的には、制御装置４００は、移動体３００が移動する経路情報の実空間座標情報を入力する。移動体３００が、当該円を描く移動経路に沿って移動することによって、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、実空間座標情報と、画像座標情報との対応付けを行う。例えば、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、移動体３００が移動する経路として入力された実空間座標情報と、撮像装置２００が撮像した撮像画像における移動体の画像座標との対応付けを行う。
－位置検出装置の情報に基づいた実空間座標情報
実空間座標情報は、位置検出装置による上記移動体の位置検出に基づいた複数の実空間座標の情報であり、例えば次のようにして画像座標情報と対応付けられる。例えば、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、位置検出装置が特定した実空間座標情報と画像座標情報を比較することで、実空間座標情報と画像座標情報との対応付けを行う。位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）が実空間座標情報と画像座標情報との対応付けを行う方法については、後述する。
上記位置検出装置は、例えば、撮像装置２００に含まれるステレオカメラであってもよい。すなわち、上記実空間座標情報は、ステレオカメラにより撮像された距離画像において所定の地点を示す座標（距離画像座標）であってもよい。
なお、上記位置検出装置は、上述したステレオカメラに限定されず、上記三次元空間での実空間座標を検出可能な機能を有する任意の装置であってもよい。
実空間座標情報は、位置検出装置による上記移動体の位置検出に基づいた複数の実空間座標の情報であり、例えば次のようにして画像座標情報と対応付けられる。例えば、位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）は、位置検出装置が特定した実空間座標情報と画像座標情報を比較することで、実空間座標情報と画像座標情報との対応付けを行う。位置推定装置１００（例えば、パラメータ推定部１２０及びスケール推定部１５０）が実空間座標情報と画像座標情報との対応付けを行う方法については、後述する。
上記位置検出装置は、例えば、撮像装置２００に含まれるステレオカメラであってもよい。すなわち、上記実空間座標情報は、ステレオカメラにより撮像された距離画像において所定の地点を示す座標（距離画像座標）であってもよい。
なお、上記位置検出装置は、上述したステレオカメラに限定されず、上記三次元空間での実空間座標を検出可能な機能を有する任意の装置であってもよい。
（２）パラメータ
実空間座標情報と画像座標情報との対応関係から得られた上記情報（パラメータ記憶部１６０に記憶されているパラメータ）は、撮像画像を移動体３００が存在する平面画像に射影変換のための射影変換パラメータを含む。
実空間座標情報と画像座標情報との対応関係から得られた上記情報（パラメータ記憶部１６０に記憶されているパラメータ）は、撮像画像を移動体３００が存在する平面画像に射影変換のための射影変換パラメータを含む。
（２－１）射影変換
図４は、撮像装置２００が焦点距離ｆで撮像可能な平面３１から移動体３００が存在する平面３２への射影変換を説明するための説明図である。図４を参照すると、平面３１における画像座標３１１を（ｘ、ｙ、ｚ）とする。平面３２における画像座標３１２を（ｘ’、ｙ’、ｚ’）とする。ここで、便宜上ｆ＝１として平面３２のｚ座標がｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０で与えられると、画像座標３１１は、下記式で示す画像座標３１２に射影変換される。
図４は、撮像装置２００が焦点距離ｆで撮像可能な平面３１から移動体３００が存在する平面３２への射影変換を説明するための説明図である。図４を参照すると、平面３１における画像座標３１１を（ｘ、ｙ、ｚ）とする。平面３２における画像座標３１２を（ｘ’、ｙ’、ｚ’）とする。ここで、便宜上ｆ＝１として平面３２のｚ座標がｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０で与えられると、画像座標３１１は、下記式で示す画像座標３１２に射影変換される。
ここで、上記射影変換パラメータは、（ａ０、ｂ０、ｃ０）であり、例えば次のようにして決定される。第１の決定方法として、予め定められた３つの地点に移動体３００を移動させることにより、各々の地点での移動体３００の画像座標を用いて射影変換パラメータを決定することができる。また、最小二乗法などの最適化によって、各々の地点での移動体３００の画像座標を用いて射影変換パラメータを決定することができる。
図５は、撮像画像５１０と射影変換後の画像５２０との具体例を示す図である。図５を参照すると、撮像画像５１０では、例えばカメラが床面に対して斜めに設置されているため、点線で囲まれる領域５１１において各々の溝が平行に描画されない。これに対して、射影変換が行われた画像５２０では、床面に対して垂直な視点に変換されるため、点線で囲まれる領域５２１において各々の溝が平行に描画される。
図６は、移動体３００が正方形を描くように移動した場合において、撮像画像６１０と射影変換後の画像６２０との具体例を示す図である。図６を参照すると、撮像画像６１０では、例えばカメラが床面に対して斜めに設置されているため、移動体３００の移動経路がほぼ台形となる。これに対して、射影変換後の画像６２０では、移動体３００の移動経路が実際の動きに対応した正方形となる。
－射影変換パラメータの取得
射影変換パラメータは、例えば次に示すようにして取得される。
射影変換パラメータは、例えば次に示すようにして取得される。
まず、撮像装置２００が移動体３００を撮像して、撮像装置２００が備えるステレオカメラの基準カメラの撮像画像と、このステレオカメラの距離画像とを、位置推定装置１００に出力することを想定する。
この場合、位置推定装置１００は、撮像画像の画像座標（ｘ、ｙ）と、撮像画像に対応する距離画像の距離画像座標（Ｘ、Ｙ、Ｚ）とを用いて、（ｘ、ｙ、Ｚ）の組み合わせにより移動体３００が存在する平面の方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０を求める。このような方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０が、移動体３００が存在する３つの地点についてそれぞれ求めることにより、射影変換パラメータ（ａ０、ｂ０、ｃ０）を得ることができる。
なお、撮像装置２００がデプスカメラを含む場合、距離画像座標のＺ軸方向の値は、例えばデプスカメラにより得られる深度データであってもよい。
以上のようにして、位置推定装置１００は、画像座標（ｘ、ｙ）を上記移動体が存在する平面画像に射影変換のための射影変換パラメータである（ａ０、ｂ０、ｃ０）を得ることができる。
（２－２）スケール調整パラメータ
－シフト量の調整
上記対応関係から得られた上記情報は、上記射影変換が行われた画像上における移動体３００のスケールを、上記実空間における移動体３００のスケールに変換するためのスケール変換パラメータを更に含む。具体的には、上記スケール変換パラメータは、以下のようなシフト量調整パラメータとサイズ調整パラメータとを含む。
－シフト量の調整
上記対応関係から得られた上記情報は、上記射影変換が行われた画像上における移動体３００のスケールを、上記実空間における移動体３００のスケールに変換するためのスケール変換パラメータを更に含む。具体的には、上記スケール変換パラメータは、以下のようなシフト量調整パラメータとサイズ調整パラメータとを含む。
（シフト量調整パラメータ）
上記シフト量調整パラメータは、上記射影変換が行われた画像上における移動体３００のシフト量を上記実空間における移動体３００のシフト量に調整するためのパラメータである。上記シフト量調整パラメータが参照されることにより、例えば上記射影変換後の画像上での１ピクセル相当のシフト量を、上記実空間での実空間座標のシフト量（メートル単位）に調整することができる。
上記シフト量調整パラメータは、上記射影変換が行われた画像上における移動体３００のシフト量を上記実空間における移動体３００のシフト量に調整するためのパラメータである。上記シフト量調整パラメータが参照されることにより、例えば上記射影変換後の画像上での１ピクセル相当のシフト量を、上記実空間での実空間座標のシフト量（メートル単位）に調整することができる。
このようなシフト量の対応関係は、移動体３００が移動する平面を規定する２つの座標軸の各々について異なる。このため、上記対応関係から得られた上記情報は、移動体３００が移動する平面を規定する２つの座標軸の各々について上記シフト量調整パラメータを含んでもよい。
（サイズ調整パラメータ）
上記サイズ調整パラメータは、上記射影変換が行われた画像のサイズを実空間におけるサイズに調整するためのパラメータである。上記サイズ調整パラメータが参照されることにより、例えば上記射影変換後の画像の１ピクセル相当のサイズを、上記三次元空間での実空間座標のサイズ（メートル単位）に調整することができる。
上記サイズ調整パラメータは、上記射影変換が行われた画像のサイズを実空間におけるサイズに調整するためのパラメータである。上記サイズ調整パラメータが参照されることにより、例えば上記射影変換後の画像の１ピクセル相当のサイズを、上記三次元空間での実空間座標のサイズ（メートル単位）に調整することができる。
このようなサイズの対応関係は、移動体３００が移動する平面を規定する２つの座標軸の各々について異なる。このため、上記対応関係から得られた上記情報は、移動体３００が移動する平面を規定する２つの座標軸の各々について上記サイズ調整パラメータを含んでもよい。
（３）実空間座標情報と画像座標情報との対応付け方法
次に、実空間座標情報と画像座標情報との対応付け方法について、以下の通り説明する。
次に、実空間座標情報と画像座標情報との対応付け方法について、以下の通り説明する。
（第１の具体例）
第１の具体例では、上記所定の位置を示す上記実空間座標情報が、上記所定の移動経路に沿って移動体３００が移動する複数の地点の実空間座標を含む場合を想定する。ここで、上記所定の移動経路は、１以上の撮像装置２００により移動体３００を撮像可能な領域に存在する経路である。
第１の具体例では、上記所定の位置を示す上記実空間座標情報が、上記所定の移動経路に沿って移動体３００が移動する複数の地点の実空間座標を含む場合を想定する。ここで、上記所定の移動経路は、１以上の撮像装置２００により移動体３００を撮像可能な領域に存在する経路である。
図７は、第１の具体例に係る実空間座標情報と画像座標情報との対応付けを得るための処理を含む位置推定装置１００の動作の流れを示す図である。
図７を参照すると、移動体３００は、制御装置４００から指示される図形に関する情報に従って移動するものとする。また、撮像装置２００は、移動中の移動体３００を撮像するものとする。
ステップＳ７０１において、位置推定装置１００（取得部１１０）は、撮像装置２００から、上記画像座標及び上記距離画像座標を取得する。その後、ステップＳ７０５に進む。ここで、上記画像座標は、上述したように、例えば撮像装置２００に含まれるステレオカメラの基準カメラの撮像画像における座標である。また、上記距離画像座標は、上述したように、例えばステレオカメラ（撮像装置２００）の距離画像上の座標である。
ステップＳ７０３において、位置推定装置１００（図形入力部１４０）は、例えば制御装置４００から、移動体３００の移動経路を示す図形に関する情報が入力される。その後、ステップＳ７０９に進む。このような図形に関する情報の入力により、位置推定装置１００（スケール推定部１５０）は、図形が示す移動経路に沿って移動体３００が移動する複数の地点の実空間座標を取得することができる。
ステップＳ７０５において、位置推定装置１００（パラメータ推定部１２０）は、上記画像座標と上記距離画像座標とを用いて、上記画像座標を上記移動体３００が存在する平面画像上の画像座標に変換するための射影変換パラメータを推定する。具体的に、（ｘ、ｙ、Ｚ）の組み合わせにより移動体３００が存在する平面の方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０を求める。このような方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０が、移動体３００が存在する３つの地点についてそれぞれ求めることにより、射影変換パラメータ（ａ
０
、ｂ
０
、ｃ
０
）を得ることができる。その後、ステップＳ７０７に進む。
ステップＳ７０７において、位置推定装置１００（変換部１３０）は、推定された射影変換パラメータ（ａ０、ｂ０、ｃ０）を用いて、上記画像座標を上記移動体３００が存在する平面画像上の画像座標に変換する。その後、ステップＳ７０９に進む。
ステップＳ７０９において、位置推定装置１００（スケール推定部１５０）は、上記移動体３００が存在する平面画像上の画像座標と、図形が示す移動経路に沿って移動体が移動する複数の地点の実空間座標とを比較して、スケール変換パラメータを推定する。
具体的に、位置推定装置１００（スケール推定部１５０）は、移動体３００が存在する平面画像上の画像座標を推定値とする。また、位置推定装置１００（スケール推定部１５０）は、図形が示す移動経路に沿って移動体３００が移動する複数の地点の実空間座標を正解値とする。そして、位置推定装置１００（スケール推定部１５０）は、推定値から正解値を得るためのシフト量調整およびサイズ調整を行うことにより、シフト量調整パラメータ及びサイズ調整パラメータをそれぞれ推定することができる。その後ステップＳ７１１に進む。
ステップＳ７１１において、位置推定装置１００（パラメータ記憶部１６０）は、ステップＳ７０７により推定された射影変換パラメータと、ステップＳ７０９により推定されたスケール変換パラメータとを互いに対応付けて記憶して、図７に示す処理を終了する。
上記図７に示す処理によれば、上記所定の移動経路に沿って移動体３００が移動する複数の地点の実空間座標を用いて、射影変換パラメータおよびスケール変換パラメータを取得することができる。
（第２の具体例）
第２の具体例では、上記所定の位置を示す上記実空間座標情報が、上記位置検出装置による移動体３００の位置検出に基づいた複数の実空間座標を含む場合を想定する。第２の具体例では、上記位置検出装置は、撮像装置２００に含まれるステレオカメラである場合を想定する。
第２の具体例では、上記所定の位置を示す上記実空間座標情報が、上記位置検出装置による移動体３００の位置検出に基づいた複数の実空間座標を含む場合を想定する。第２の具体例では、上記位置検出装置は、撮像装置２００に含まれるステレオカメラである場合を想定する。
図８は、第２の具体例に係る実空間座標情報と画像座標情報との対応付けを得るための処理を含む位置推定装置１００の動作の流れを示す図である。
ステップＳ８０１において、位置推定装置１００（取得部１１０）は、撮像装置２００から、上記画像座標及び上記距離画像座標を取得する。その後、ステップＳ８０３及びステップＳ８０７に進む。
ステップＳ８０３において、位置推定装置１００（パラメータ推定部１２０）は、上記画像座標（ｘ、ｙ、ｚ）と上記距離画像座標（Ｘ、Ｙ、Ｚ）とを用いて、上記画像座標（ｘ、ｙ、ｚ）を上記移動体３００が存在する平面画像上の画像座標に変換するための射影変換パラメータを推定する。具体的に、（ｘ、ｙ、Ｚ）の組み合わせにより移動体３００が存在する平面の方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０を求める。このような方程式Ｚ＝ａ０ｘ＋ｂ０ｙ＋ｃ０が、移動体３００が存在する３つの地点についてそれぞれ求めることにより、射影変換パラメータ（ａ０、ｂ０、ｃ０）を得ることができる。その後、ステップＳ８０５に進む。
ステップＳ８０５において、位置推定装置１００（変換部１３０）は、推定された射影変換パラメータ（ａ０、ｂ０、ｃ０）を用いて、上記画像座標を上記移動体３００が存在する平面画像上の画像座標に変換する。その後、ステップＳ８１１に進む。
ステップＳ８０７において、位置推定装置１００（パラメータ推定部１２０）は、上記距離画像座標を用いて、上記距離画像座標を上記移動体３００が存在する平面上の距離画像座標に変換するための射影変換パラメータを推定する。具体的に、（Ｘ、Ｙ、Ｚ）の組み合わせにより移動体３００が存在する平面の方程式Ｚ＝ａ１Ｘ＋ｂ１Ｙ＋ｃ１を求める。このような方程式Ｚ＝ａ１Ｘ＋ｂ１Ｙ＋ｃ１が、移動体３００が存在する３つの地点についてそれぞれ求めることにより、射影変換パラメータ（ａ１、ｂ１、ｃ１）を得ることができる。その後、ステップＳ８０９に進む。
ステップＳ８０９において、位置推定装置１００（変換部１３０）は、推定された射影変換パラメータ（ａ１、ｂ１、ｃ１）を用いて、上記距離画像座標を上記移動体３００が存在する平面画像上の距離画像座標に変換する。そして、位置推定装置１００（変換部１３０）は、上記移動体３００が存在する平面画像上の距離画像座標を、上記位置検出装置による上記移動体の位置検出に基づいた上記複数の実空間座標として、スケール推定部１５０に出力する。その後、ステップＳ８１１に進む。
ステップＳ８０１において、位置推定装置１００（スケール推定部１５０）は、上記移動体３００が存在する平面画像上の画像座標と、上記位置検出装置による上記移動体の位置検出に基づいた上記複数の実空間座標とを比較して、スケール調整パラメータを推定する。具体的に、位置推定装置１００（スケール推定部１５０）は、上記移動体３００が存在する平面画像上の画像座標を推定値とする。また、位置推定装置１００（スケール推定部１５０）は、上記位置検出装置による上記移動体の位置検出に基づいた上記複数の実空間座標を正解値とする。そして、位置推定装置１００（スケール推定部１５０）は、推定値から正解値を得るためのシフト量調整およびサイズ調整を行うことにより、シフト量調整パラメータ及びサイズ調整パラメータをそれぞれ推定することができる。その後ステップＳ８１３に進む。
ステップＳ８１３において、位置推定装置１００（パラメータ記憶部１６０）は、ステップＳ８０３により推定された射影変換パラメータと、ステップＳ８１１により推定されたスケール変換パラメータとを互いに対応付けて記憶する。
上記図８に示す処理によれば、上記位置検出装置による上記移動体の位置検出に基づいた上記複数の実空間座標を用いて、射影変換パラメータおよびスケール変換パラメータを取得することができる。
（４）パラメータの記憶
図９は、パラメータ記憶部１６０に記憶されるパラメータの具体例を示す図である。
図９は、パラメータ記憶部１６０に記憶されるパラメータの具体例を示す図である。
図９を参照すると、射影変換パラメータを構成する３つの値（ａ０、ｂ０、ｃ０）の実数値、Ｘ軸方向の単位シフト量、Ｘ軸方向の単位サイズ変換量、Ｙ軸方向の単位シフト量、及びＹ軸方向の単位サイズ変換量がそれぞれ対応付けられて、パラメータ記憶部１６０に記憶されている。このようにパラメータ記憶部１６０に記憶されているパラメータが用いられることにより、撮像装置２００により得られた撮像画像の座標情報から実空間座標を精度良く推定することができる。
（５）位置推定
図１０は、パラメータ記憶部１６０に記憶されているパラメータに基づいて、上記画像座標から上記移動体の上記実空間座標に変換するための処理の流れを説明するための図である。
図１０は、パラメータ記憶部１６０に記憶されているパラメータに基づいて、上記画像座標から上記移動体の上記実空間座標に変換するための処理の流れを説明するための図である。
図１０を参照すると、ステップＳ１００１において、位置推定装置１００（取得部１１０）は、撮像装置２００により撮像された撮像画像において移動体３００の画像位置を表示する画像座標を取得する。その後、ステップＳ１００３に進む。
ステップＳ１００３において、位置推定装置１００（変換部１３０）は、パラメータ記憶部１６０から各種パラメータを読み出す。その後、ステップＳ１００５に進む。
ステップＳ１００５において、位置推定装置１００（変換部１３０）は、射影変換パラメータを用いて画像座標を射影変換することにより、移動体３００が存在する平面上の画像座標を取得する。その後、ステップＳ１００７に進む。
ステップＳ１００７において、位置推定装置１００（変換部１３０）は、スケール変換パラメータを用いて移動体３００が存在する平面上の画像座標をスケール変換して、移動体の実空間座標を推定する。その後、ステップＳ１００９に進む。
ステップＳ１００９において、位置推定装置１００（推定情報出力部１７０）は、移動体の実空間座標の推定情報を、制御装置４００に出力する。
上記図８に示す処理によれば、パラメータ記憶部１６０に記憶されているパラメータを参照することにより、撮像画像において移動体の画像位置を表示する画像座標を、移動体の実空間座標に変換することができる。
（６）変形例
第１の実施形態は上述した具体例に限定されず、種々の変形が可能である。
第１の実施形態は上述した具体例に限定されず、種々の変形が可能である。
図１１（Ａ）は、複数の撮像装置２０１、２０１による撮像画像を用いて、同じ移動体３００の位置推定を同時に行う具体例の概略を示し、図１１（Ｂ）は、複数の撮像装置２０１、２０１による撮像画像に基づいた実空間座標の軌跡を示す図である。
図１１（Ｂ）を参照すると、例えば撮像装置２０１による撮像画像に基づいた実空間座標の軌跡が実線で示され、撮像装置２０２による撮像画像に基づいた実空間座標の軌跡が破線で示される。図１１（Ｂ）から明らかなように、例えば移動体３００の移動方向が変化するのに応じて、実線と破線でそれぞれ示される移動体３００の軌跡にズレが生じてしまう場合がある。これは、例えば、各々の撮像装置２０１、２０２と実空間座標との間でズレが生じてしまうためである。
そこで、パラメータ記憶部１６０は、上記複数の撮像装置２０１、２０２のそれぞれにより撮像される画像上での移動体３００の位置の差を調整するためのパラメータを更に含んでいてもよい。
上記位置調整パラメータの取得について説明する。例えば、２つの撮像装置２０１、２０２から同時に撮像可能な位置に移動体３００が設置され、撮像装置２０１、２０２により移動体３００が撮像される。つまり、移動体３００は、撮像装置２０１、２０２の両方で撮像可能な移動経路を移動する。これら２つの撮像装置２０１、２０２による撮像画像を用いることにより、上記位置調整パラメータが例えば、次のような処理により取得される。
まず、各々の撮像装置２０１、２０２のそれぞれによる撮像画像について、上述した第１の実施例により得られるパラメータに基づき射影変換及びスケール変換された画像上の移動体３００の位置の差（移動体３００の位置及び角度）を取得する。
次に、移動体３００の位置の差（移動体３００の位置及び角度）がゼロになるように、例えば、撮像装置２０１による撮像画像が射影変換及びスケール変換された画像を並進および回転を行う。このような画像に並進および回転を行うためのパラメータを、上記位置調整パラメータとして取得することができる。
したがって、位置推定装置１００（変換部１３０）は、上記位置調整パラメータに基づいて、撮像装置２０２による撮像画像が射影変換及びスケール変換された画像を並進および回転を行うことにより、撮像装置２０１、２０２による各々の撮像画像に基づいて推定される各々の実空間座標により生じうるズレを低減することができる。
＜＜４．第２の実施形態＞＞
続いて、図１２を参照して、本発明の第２の実施形態を説明する。上述した第１の実施形態は、具体的な実施形態であるが、第２の実施形態は、より一般化された実施形態である。
続いて、図１２を参照して、本発明の第２の実施形態を説明する。上述した第１の実施形態は、具体的な実施形態であるが、第２の実施形態は、より一般化された実施形態である。
＜４．１．位置推定装置１００の構成＞
図１２は、第２の実施形態に係る位置推定装置１００の概略的な構成の例を示すブロック図である。図１２を参照すると、位置推定装置１００は、取得部１８０、及び変換部１９０を備える。
図１２は、第２の実施形態に係る位置推定装置１００の概略的な構成の例を示すブロック図である。図１２を参照すると、位置推定装置１００は、取得部１８０、及び変換部１９０を備える。
取得部１８０、及び変換部１９０は、１つ以上のプロセッサと、メモリ（例えば、不揮発性メモリ及び／若しくは揮発性メモリ）並びに／又はハードディスクとにより実装されてもよい。取得部１８０、及び変換部１９０は、同一のプロセッサにより実装されてもよく、別々に異なるプロセッサにより実装されてもよい。上記メモリは、上記１つ以上のプロセッサ内に含まれていてもよく、又は、上記１つ以上のプロセッサ外にあってもよい。
＜４．２．動作例＞
第２の実施形態に係る動作例を説明する。図１３は、第２の実施形態に係る位置推定装置１００により行われる処理の流れを説明するための図である。
第２の実施形態に係る動作例を説明する。図１３は、第２の実施形態に係る位置推定装置１００により行われる処理の流れを説明するための図である。
第２の実施形態によれば、位置推定装置１００（取得部１８０）は、撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する（ステップＳ１３０１）。そして、位置推定装置１００（変換部１９０）は、実空間において所定の地点を示す実空間座標情報と上記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、上記移動体の上記画像座標を上記移動体の実空間座標に変換する（ステップＳ１３０３）。
－第１の実施形態との関係
一例として、第２の実施形態の取得部１８０及び変換部１９０は、それぞれ、第１の実施形態の取得部１１０及び変換部１３０の動作を行ってもよい。この場合に、第１の実施形態についての説明は、第２の実施形態にも適用されうる。
一例として、第２の実施形態の取得部１８０及び変換部１９０は、それぞれ、第１の実施形態の取得部１１０及び変換部１３０の動作を行ってもよい。この場合に、第１の実施形態についての説明は、第２の実施形態にも適用されうる。
なお、第２の実施形態は、この例に限定されない。
以上、第２の実施形態を説明した。第２の実施形態によれば、例えば、撮像画像に基づいて移動体の位置を適切に推定することが可能になる。
＜＜５．他の実施形態＞＞
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
例えば、上述した位置推定装置は、制御装置と遠隔して配置される場合に限らず、例えば制御装置の内部に設けられてもよい。また、本明細書に記載されている処理におけるステップは、必ずしもシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理におけるステップは、シーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。また、処理におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。
また、本明細書において説明した位置推定装置の構成要素（例えば、取得部及び／又は変換部）を備える装置（例えば、位置推定装置を構成する複数の装置（又はユニット）のうちの１つ以上の装置（又はユニット）、又は上記複数の装置（又はユニット）のうちの１つのためのモジュール）が提供されてもよい。また、上記構成要素の処理を含む方法が提供されてもよく、上記構成要素の処理をプロセッサに実行させるためのプログラムが提供されてもよい。また、当該プログラムを記録したコンピュータに読み取り可能な非一時的記録媒体（Non-transitory computer readable medium）が提供されてもよい。当然ながら、このような装置、モジュール、方法、プログラム、及びコンピュータに読み取り可能な非一時的記録媒体も本発明に含まれる。
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得することと、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換することと、
を備える位置推定方法。
撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得することと、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換することと、
を備える位置推定方法。
（付記２）
前記対応関係から得られた前記情報は、前記撮像画像を前記移動体が存在する平面画像に射影変換のための射影変換パラメータを含む、付記１記載の位置推定方法。
前記対応関係から得られた前記情報は、前記撮像画像を前記移動体が存在する平面画像に射影変換のための射影変換パラメータを含む、付記１記載の位置推定方法。
（付記３）
前記対応関係から得られた前記情報は、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのスケール変換パラメータを更に含む、付記２記載の位置推定方法。
前記対応関係から得られた前記情報は、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのスケール変換パラメータを更に含む、付記２記載の位置推定方法。
（付記４）
前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体のシフト量を前記実空間における前記移動体のシフト量に調整するためのパラメータを含む、付記３記載の位置推定方法。
前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体のシフト量を前記実空間における前記移動体のシフト量に調整するためのパラメータを含む、付記３記載の位置推定方法。
（付記５）
前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体の画像サイズを前記実空間における前記移動体のサイズに調整するためのパラメータを、更に含む、付記３又は４記載の位置推定方法。
前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体の画像サイズを前記実空間における前記移動体のサイズに調整するためのパラメータを、更に含む、付記３又は４記載の位置推定方法。
（付記６）
前記スケール変換パラメータは、前記移動体が移動する平面を規定する２つの座標軸の各々について、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのパラメータを含む、付記３乃至５のうち何れか１項記載の位置推定方法。
前記スケール変換パラメータは、前記移動体が移動する平面を規定する２つの座標軸の各々について、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのパラメータを含む、付記３乃至５のうち何れか１項記載の位置推定方法。
（付記７）
前記所定の地点を示す前記実空間座標情報は、所定の移動経路に沿って前記移動体が移動する複数の地点の実空間座標の情報である、付記１乃至６のうち何れか１項記載の位置推定方法。
前記所定の地点を示す前記実空間座標情報は、所定の移動経路に沿って前記移動体が移動する複数の地点の実空間座標の情報である、付記１乃至６のうち何れか１項記載の位置推定方法。
（付記８）
前記所定の移動経路は、複数の撮像装置により前記移動体を撮像可能な領域に存在する経路である、付記７記載の位置推定方法。
前記所定の移動経路は、複数の撮像装置により前記移動体を撮像可能な領域に存在する経路である、付記７記載の位置推定方法。
（付記９）
前記対応関係から得られた前記情報は、前記複数の撮像装置のそれぞれにより撮像される画像上での前記移動体の位置の差を調整するためのパラメータを更に含む、付記８記載の位置推定方法。
前記対応関係から得られた前記情報は、前記複数の撮像装置のそれぞれにより撮像される画像上での前記移動体の位置の差を調整するためのパラメータを更に含む、付記８記載の位置推定方法。
（付記１０）
前記所定の地点を示す前記実空間座標情報は、位置検出装置による前記移動体の位置検出に基づいた複数の実空間座標の情報である、付記１乃至６のうち何れか１項記載の位置推定方法。
前記所定の地点を示す前記実空間座標情報は、位置検出装置による前記移動体の位置検出に基づいた複数の実空間座標の情報である、付記１乃至６のうち何れか１項記載の位置推定方法。
（付記１１）
前記位置検出装置は、前記撮像装置に含まれるステレオカメラである、付記１０記載の位置推定方法。
前記位置検出装置は、前記撮像装置に含まれるステレオカメラである、付記１０記載の位置推定方法。
（付記１２）
移動体の移動を制御する制御装置と、
前記移動体を撮像する撮像装置と、
前記移動体の位置情報を推定する位置推定装置と、を含み、
前記位置推定装置は、
前記撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換部と、を有する、位置推定システム。
移動体の移動を制御する制御装置と、
前記移動体を撮像する撮像装置と、
前記移動体の位置情報を推定する位置推定装置と、を含み、
前記位置推定装置は、
前記撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換部と、を有する、位置推定システム。
（付記１３）
前記制御装置は、前記移動体の前記実空間座標に基づいて、前記移動体が移動する経路を特定する、付記１２記載の位置推定システム。
前記制御装置は、前記移動体の前記実空間座標に基づいて、前記移動体が移動する経路を特定する、付記１２記載の位置推定システム。
（付記１４）
前記制御装置は、前記特定した経路で移動する指示を、前記移動体に指示する、付記１３記載の位置推定システム。
前記制御装置は、前記特定した経路で移動する指示を、前記移動体に指示する、付記１３記載の位置推定システム。
（付記１５）
前記撮像装置は、基準カメラと参照カメラとを含むステレオカメラを備える、付記１２乃至１４のうち何れか１項記載の位置推定システム。
前記撮像装置は、基準カメラと参照カメラとを含むステレオカメラを備える、付記１２乃至１４のうち何れか１項記載の位置推定システム。
（付記１６）
前記撮像画像は、前記参照カメラにより撮像される画像である、付記１５記載の位置推定システム。
前記撮像画像は、前記参照カメラにより撮像される画像である、付記１５記載の位置推定システム。
（付記１７）
前記撮像装置は、前記ステレオカメラにより得られる距離画像を、前記位置推定装置に送信する、付記１５又は１６記載の位置推定システム。
前記撮像装置は、前記ステレオカメラにより得られる距離画像を、前記位置推定装置に送信する、付記１５又は１６記載の位置推定システム。
（付記１８）
撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換部と、
を備える位置推定装置。
撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得部と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換部と、
を備える位置推定装置。
位置推定システムにおいて、撮像画像に基づいて移動体の位置を適切に推定することができる。
１ 位置推定システム
１００ 位置推定装置
１１０、１８０ 取得部
１２０ パラメータ推定部
１３０、１９０ 変換部
１４０ 図形入力部
１５０ スケール推定部
１６０ パラメータ記憶部
１７０ 推定情報出力部
２００、２０１、２０２、２０３ 撮像装置
３００ 移動体
４００ 制御装置
１００ 位置推定装置
１１０、１８０ 取得部
１２０ パラメータ推定部
１３０、１９０ 変換部
１４０ 図形入力部
１５０ スケール推定部
１６０ パラメータ記憶部
１７０ 推定情報出力部
２００、２０１、２０２、２０３ 撮像装置
３００ 移動体
４００ 制御装置
Claims (8)
- 撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得することと、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換することと、
を備え、
前記所定の地点を示す前記実空間座標情報は、所定の移動経路に沿って前記移動体が移動する複数の地点の実空間座標の情報であり、
前記所定の移動経路は、複数の撮像装置により前記移動体を撮像可能な領域に存在する経路である位置推定方法。 - 前記対応関係から得られた前記情報は、前記撮像画像を前記移動体が存在する平面画像に射影変換のための射影変換パラメータを含む、請求項１記載の位置推定方法。
- 前記対応関係から得られた前記情報は、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのスケール変換パラメータを更に含む、請求項２記載の位置推定方法。
- 前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体のシフト量を前記実空間における前記移動体のシフト量に調整するためのパラメータを含む、請求項３記載の位置推定方法。
- 前記スケール変換パラメータは、前記射影変換が行われた画像上における前記移動体の画像サイズを前記実空間における前記移動体のサイズに調整するためのパラメータを、更に含む、請求項３又は４記載の位置推定方法。
- 前記スケール変換パラメータは、前記移動体が移動する平面を規定する２つの座標軸の各々について、前記射影変換が行われた画像上における前記移動体のスケールを、前記実空間における前記移動体のスケールに変換するためのパラメータを含む、請求項３乃至５のうち何れか１項記載の位置推定方法。
- 移動体の移動を制御する制御装置と、
前記移動体を撮像する撮像装置と、
前記移動体の位置情報を推定する位置推定装置と、を含み、
前記位置推定装置は、
前記撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得手段と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換手段と、を有し、
前記所定の地点を示す前記実空間座標情報は、所定の移動経路に沿って前記移動体が移動する複数の地点の実空間座標の情報であり、
前記所定の移動経路は、複数の撮像装置により前記移動体を撮像可能な領域に存在する経路である、位置推定システム。 - 撮像装置により撮像された撮像画像において移動体の画像位置を表示する画像座標を取得する取得手段と、
実空間において所定の地点を示す実空間座標情報と前記所定の地点を表示する画像座標情報との対応関係から得られた情報に基づいて、前記移動体の前記画像座標を前記移動体の実空間座標に変換する変換手段と、
を備え、
前記所定の地点を示す前記実空間座標情報は、所定の移動経路に沿って前記移動体が移動する複数の地点の実空間座標の情報であり、
前記所定の移動経路は、複数の撮像装置により前記移動体を撮像可能な領域に存在する経路である位置推定装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/034807 WO2021044549A1 (ja) | 2019-09-04 | 2019-09-04 | 位置推定方法、位置推定システム、及び位置推定装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021044549A1 JPWO2021044549A1 (ja) | 2021-03-11 |
| JPWO2021044549A5 JPWO2021044549A5 (ja) | 2022-05-18 |
| JP7251638B2 true JP7251638B2 (ja) | 2023-04-04 |
Family
ID=74852714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021543865A Active JP7251638B2 (ja) | 2019-09-04 | 2019-09-04 | 位置推定方法、位置推定システム、及び位置推定装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220284599A1 (ja) |
| JP (1) | JP7251638B2 (ja) |
| WO (1) | WO2021044549A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200364A (ja) | 2003-03-13 | 2007-08-09 | Toshiba Corp | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
| JP2013002820A (ja) | 2011-06-11 | 2013-01-07 | Suzuki Motor Corp | カメラキャリブレーション装置 |
| JP2015032069A (ja) | 2013-07-31 | 2015-02-16 | Toa株式会社 | 監視装置及び監視装置の制御プログラム |
| JP2016184316A (ja) | 2015-03-26 | 2016-10-20 | 株式会社東芝 | 車種判別装置および車種判別方法 |
| US20180160110A1 (en) | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Method for calibrating a camera and calibration system |
-
2019
- 2019-09-04 WO PCT/JP2019/034807 patent/WO2021044549A1/ja active Application Filing
- 2019-09-04 US US17/637,172 patent/US20220284599A1/en active Pending
- 2019-09-04 JP JP2021543865A patent/JP7251638B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007200364A (ja) | 2003-03-13 | 2007-08-09 | Toshiba Corp | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
| JP2013002820A (ja) | 2011-06-11 | 2013-01-07 | Suzuki Motor Corp | カメラキャリブレーション装置 |
| JP2015032069A (ja) | 2013-07-31 | 2015-02-16 | Toa株式会社 | 監視装置及び監視装置の制御プログラム |
| JP2016184316A (ja) | 2015-03-26 | 2016-10-20 | 株式会社東芝 | 車種判別装置および車種判別方法 |
| US20180160110A1 (en) | 2016-12-05 | 2018-06-07 | Robert Bosch Gmbh | Method for calibrating a camera and calibration system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021044549A1 (ja) | 2021-03-11 |
| US20220284599A1 (en) | 2022-09-08 |
| JPWO2021044549A1 (ja) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20150062123A1 (en) | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model | |
| WO2022120567A1 (zh) | 一种基于视觉引导的自动化标定系统 | |
| US9470511B2 (en) | Point-to-point measurements using a handheld device | |
| US10681269B2 (en) | Computer-readable recording medium, information processing method, and information processing apparatus | |
| US9888215B2 (en) | Indoor scene capture system | |
| JP5465128B2 (ja) | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム | |
| US10977857B2 (en) | Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images | |
| US8326021B2 (en) | Measurement apparatus and control method | |
| US11557083B2 (en) | Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method | |
| JP2020140696A (ja) | 掘削機のバケットの位置姿勢を確定するための方法及び装置 | |
| KR20180080630A (ko) | 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치 | |
| KR20200042509A (ko) | 피부 상태 분석을 위한 시스템 및 방법 | |
| WO2012174090A2 (en) | Systems and methods for estimating the structure and motion of an object | |
| WO2019029991A1 (en) | SYSTEM AND METHOD FOR RE-CALIBRATING A PROJECTOR SYSTEM | |
| TWI521471B (zh) | 3 - dimensional distance measuring device and method thereof | |
| TWI493153B (zh) | 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法 | |
| JPWO2020188799A1 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
| KR20130130283A (ko) | 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법 | |
| JP6954451B2 (ja) | 振動計測システム、振動計測装置、振動計測方法、及びプログラム | |
| JP7251638B2 (ja) | 位置推定方法、位置推定システム、及び位置推定装置 | |
| WO2017210601A1 (en) | System and methods for parallel processing motion estimation of digital videos | |
| CN108564626B (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 | |
| JP6954452B2 (ja) | 振動計測システム、振動計測装置、振動計測方法、及びプログラム | |
| CA3102860C (en) | Photography-based 3d modeling system and method, and automatic 3d modeling apparatus and method | |
| CN112880675B (zh) | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220302 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7251638 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |