JP2024052304A - 位置推定システム、位置推定方法、及びプログラム - Google Patents

Abstract

【課題】設置物を移動体に設置することなく移動体の位置を推定可能な位置推定システム、位置推定方法、及びプログラムを提供すること。【解決手段】位置推定システム１００は、撮像部により撮像された画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成する検出部５５と、第１マスク画像を透視変換する透視変換部５７と、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１の第２座標点Ｐ２を用いて第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の座標点Ｐ１を補正して第３座標点Ｐ３を算出する位置算出部５８と、を有する。【選択図】図１

Description

本開示は位置推定システム、位置推定方法、及びプログラムに関し、特に車両等の移動体の位置推定システム、位置推定方法、及びプログラムに関する。

例えば、車両の位置を検出する技術が特許文献１に開示されている。

特許文献１には、車両上の２つの所定位置にそれぞれ設置される送受信手段と、前記車両の駐車スペースに少なくとも３つの固定点に設置された４つの返信手段と、前記各送受信手段に接続される制御手段とを備え、前記各送受信手段は、それぞれ異なる２つの前記返信手段と通信を行って、その間の距離を検出し、前記制御手段は前記各送受信手段が検出した距離に基づいて車両位置を算出することを特徴とする車両位置検出装置が開示されている。

特開２００１－５１７２０号公報

しかしながら、特許文献１に記載の技術では、車両及び駐車スペースのそれぞれに設置物が必要であるため、例えば設置物を設置できない移動体や空間を対象とする場合に、移動体の位置推定を行うことができないという問題があった。

本開示は、このような問題を解決するためになされたものであり、設置物を移動体に設置することなく移動体の位置を推定可能な位置推定システム、位置推定方法、及びプログラムを提供することを目的とするものである。

一実施形態にかかる位置推定システムは、対象となる移動体を含む撮像領域を撮像する撮像部と、撮像部により撮像された画像を移動体のベクトル方向が所定方向を向くように回転させる回転処理部と、画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成する検出部と、第１マスク画像を透視変換する透視変換部と、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出する位置算出部と、グローバル座標系における撮像部の位置を適用して第３座標点を補正することによりグローバル座標系における移動体の位置を算出する位置補正部と、を有する。

また、一実施形態にかかる位置推定方法は、対象となる移動体を含む撮像領域を撮像部により撮像するステップと、撮像部により撮像された画像を移動体のベクトル方向が所定方向を向くように回転させるステップと、画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成するステップと、第１マスク画像を透視変換するステップと、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出するステップと、グローバル座標系における撮像部の位置を適用して第３座標点を補正することによりグローバル座標系における移動体の位置を算出するステップと、を有する。

また、一実施形態にかかるプログラムは、コンピュータに実行させるプログラムであって、対象となる移動体を含む撮像領域を撮像した画像を移動体のベクトル方向が所定方向を向くように回転させる処理と、画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成する処理と、第１マスク画像を透視変換する処理と、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出する処理と、グローバル座標系における撮像部の位置を適用して第３座標点を補正することによりグローバル座標系における移動体の位置を算出する処理と、を有する。

本開示により、設置物を移動体に設置することなく移動体の位置を推定可能な位置推定システム、位置推定方法、及びプログラムを提供することができる。

実施の形態１にかかる位置推定システムの概要を示す図である。 位置推定システムを用いた位置推定方法の一例を説明するフローチャートである。 各種画像の例を示す模式図である。 ステップＳ８を説明する第１の図である。 ステップＳ８を説明する第２の図である。 ステップＳ９を説明する図である。

実施の形態１
以下、図面を参照して本開示の実施の形態について説明する。ただし、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

以下、本実施形態にかかる位置推定システム１００による位置推定の対象となる移動体の一例として、移動体が自動車等の車両１である場合に具体化して説明するが、位置推定システム１００は車両以外の様々な移動体の位置推定に適用可能である。移動体は、例えば路面走行型のロボットであってもよい。

なお、以下の説明では、車両１の進行方向と平行をなす方向を前後方向とし、前後方向に直交する水平方向を左右方向とし、前後方向及び左右方向と直交する方向を上下方向とする。前後方向のうち、車両１の進行方向を前方とし、その反対方向を後方とする。図中の黒矢印は、進行方向を示している。

図１を参照して、本実施形態にかかる位置推定システム１００の概要を説明する。図１は、実施の形態１にかかる位置推定システムの概要を示す図である。図１に示すように、位置推定システム１００は、カメラ１０、表示装置３０、及び情報処理装置４０等を有し、対象となる車両１の位置を推定する。

車両１は、進行方向と平行をなすＸｇ軸及び進行方向に直交するＹｇ軸のそれぞれに沿って網目状に格子線７０が引かれている平らな移動路の路面７１を進行方向に沿って移動（走行）する。なお、Ｘｇ軸及びＹｇ軸は、それぞれグローバル座標系の座標軸である。このような格子線７０は、省略してもよい。

位置推定システム１００は、車両１の特定の部分に対して設定される測位点の位置を車両１の位置として採用する。本実施形態において、車両１の測位点は車両１の左後方の車両端１ｅである。

カメラ１０は、撮像部の一具体例である。カメラ１０は、情報処理装置４０と無線又は有線により通信可能に接続されている。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子と光学系とを有する。本実施形態において、カメラ１０は、車両１の外部において、路面７１を移動する車両１を車両１の左後方の上方から撮像可能な位置に固定されている。カメラ１０は、車両１を含む撮像領域を所定の撮像周期で撮像する。本実施形態では、車両１、２を含む撮像領域をカメラ１０が撮像する場合を例に挙げて説明する。

カメラ１０は、撮像領域が写った画像を生成する。画像は、ＸｃＹｃ平面に配置された画素が集合した２次元画像であり、少なくとも車両１の２次元データを含む。画像は、カラー画像が好ましいが、グレー画像であってもよい。カメラ１０は、例えば画像を生成する度に、生成した画像とともに画像を取得した画像取得時刻を情報処理装置４０へ出力する。

表示装置３０は、ユーザに対して各種の情報を表示する。表示装置３０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等により構成される。表示装置３０は、情報処理装置４０と無線又は有線により通信可能に接続されている。

情報処理装置４０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージデバイスと、表示装置３０等の周辺機器を接続するための入出力Ｉ／Ｆと、装置外部の機器と通信を行う通信Ｉ／Ｆと、を有する通常のコンピュータのハードウェア構成を有する。

情報処理装置４０は、カメラ１０により撮像された画像を処理して車両１の位置を推定（算出）する。情報処理装置４０は、画像入力部５１、歪み補正部５２、回転処理部５３、クロップ処理部５４、検出部５５、削除部５６、透視変換部５７、位置算出部５８、位置補正部５９、及び記憶部６０を有する。歪み補正部５２、クロップ処理部５４、削除部５６、及び記憶部６０は、適宜省略することができる。

画像入力部５１は、カメラ１０から画像の入力を受け付ける。歪み補正部５２は、画像の歪みを補正する。回転処理部５３は、画像を車両１のベクトル方向が所定方向を向くように回転させる。クロップ処理部は、車両１が所定の閾値を超える距離を移動した場合に、車両１が移動した距離に応じた移動済領域を画像から削除して前記移動体を含む未移動領域を切り出す。

検出部５５は、画像中の車両１をマスクしたマスク領域Ｍ１が付加された第１マスク画像１５を生成する。透視変換部５７は、第１マスク画像１５を透視変換する。

位置算出部５８は、まず、第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の指定された頂点を第１座標点Ｐ１として取得する。また、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１に設定した第２外接矩形Ｒ２の頂点のうち第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２として取得する。そして、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正して、画像座標系における車両１の位置を示す第３座標点Ｐ３を算出する。

位置補正部５９は、グローバル座標系におけるカメラ１０の位置を適用して第３座標点Ｐ３を補正することによりグローバル座標系における車両１の位置を算出する。

記憶部６０は、例えば情報処理装置４０が備えるメモリ等により構成される。記憶部６０は、情報処理装置４０が実行する各種プログラム、カメラ１０から得た画像等の各種データ、各種パラメータ等を記憶する。記憶部６０に記憶されたプログラムは、本実施形態にかかる位置推定方法の処理が実装されたプログラムの少なくとも一部を含む。また、記憶部６０は、位置推定に用いる撮像座標点Ｐｃ及び固定座標点Ｐｆを含むグローバル座標系の２次元マップ、カメラ１０の高さＨを示す情報、車両端１ｅの高さｈを示す情報、さらに位置推定の途中で得られる演算結果等を記憶する。

ユーザは、上記した位置推定システム１００を利用して車両１の位置推定を行なうことができる。そこで、図２及び図３を参照して、位置推定システム１００を用いた位置推定方法について説明する。図２は、位置推定システムを用いた位置推定方法の一例を説明するフローチャートである。図３は、各種画像の例を示す模式図である。以下の説明では、検出部５５によりマスク領域Ｍ１が付加される前に、各処理で得られる画像をそれぞれ画像１１～１４とする。

まず、ステップＳ１において、画像入力部５１がカメラ１０から画像１１の入力を受け付ける。カメラ１０から取得した画像１１には、車両１を含む複数の車両の２次元データが含まれていてもよい。図２に例示した画像１１には、車両１、２の各２次元データが含まれている。

ステップＳ２において、歪み補正部５２が画像１１の歪みを補正する。このステップでは、記憶部６０に予め記憶された歪み補正パラメータを用いて画像１１に対して歪みを補正した画像１２を生成することができる。歪み補正パラメータは、例えばキャリブレーションにより得られる格子線７０の位置情報に関わるパラメータである。なお、格子線７０以外の他の任意のパラメータを採用してもよい。

ステップＳ３において、回転処理部５３は、車両１のベクトル方向が所定方向を向くように画像１２を回転させる。このステップでは、例えば、画像１２を表示する表示装置３０の画面上で車両１の進行方向であるベクトル方向が上方向を向くように、画像１２中の車両１の重心を回転中心として画像１２を回転させた画像１３を生成する。

ここで、例えばオプティカルフロー法等を用いて、車両１の特徴点の動きをベクトルで表すことができる。車両１のベクトル量やベクトル方向は、画像１１上に適宜設定される車両１の特徴点（重心Ｃ）の画像フレーム間における位置の変化に基づいて推定される。

ステップＳ４において、クロップ処理部５４は、車両１が所定の閾値を超える距離を移動した場合に、車両１が移動した距離に応じた移動済領域を画像１３から削除して車両１を含む未移動領域を切り出した画像１４を生成する。クロップ処理部５４は、推定されたベクトル量によりを車両１が移動した距離を認識する。

図３に例示した移動済領域は、画像１３において破線で示した領域である。これにより、カメラ１０に対して遠方にある車両１に対する画像処理の精度が向上する。なお、このようなクロップ処理部５４による処理が必要ない場合、ステップＳ４は省略することができる。また、ステップＳ４のクロップ処理部５４による処理は、ステップＳ３の回転処理部５３による処理の前に行ってもよい。

ステップＳ５において、検出部５５は、画像１４中の車両１をマスクしたマスク領域Ｍ１が付加された第１マスク画像１５を生成する。このステップでは、学習済みモデルを用いて画像１４中の車両１をマスクする。例えば、入力された画像中の車両をマスクするように予め機械学習された識別器に画像１４を入力することで、画像１４に車両１の領域を示すマスク領域Ｍ１が付加された第１マスク画像１５を出力することができる。

このような識別器として、セマンティックセグメンテーションやインスタンスセグメンテーションを実現するＣＮＮ（Convolutional Neural Network）の構造を有するＤＮＮ（Deep Neural Network）を用いることができる。なお、識別器は、物体検出用のニューラルネットワークであってもよく、ニューラルネットワーク以外の機械学習モデルに従った識別器であってもよい。

このような識別器の一例として、ＹＯＬＡＣＴ＋＋等のインスタンスセグメンテーションを行うＤＮＮが挙げられる。このようなＤＮＮを用いた場合、画像１４に含まれる複数の車両を分類し、車両１、２毎にマスクした第１マスク画像１５を生成することができる。本実施形態では、マスクした車両１、２毎の領域を示すマスク領域Ｍ１、Ｍ２を画像１４に対して付加した第１マスク画像１５を生成する。これにより、背景の多様性による位置推定精度の低下を抑制できるとともに、画像１４に複数の車両が含まれる場合に対象の車両１を選択することができるようになる。

第１マスク画像１５は、画像１４に対してマスク領域Ｍ１、Ｍ２が付加された後に二値化処理を施した二値化画像であるとよい。なお、ステップＳ５では、画像１４に代わって画像１３を処理対象として、マスク領域Ｍ１、Ｍ２を画像１３に対して付加した第１マスク画像１５を生成してもよい。

ステップＳ６において、削除部５６は、第１マスク画像１５に複数の車両が含まれる場合に、マスクされた対象外の車両２を第１マスク画像１５から削除する。このステップでは、ステップＳ５において生成されたマスク領域Ｍ１、Ｍ２のうち、認識対象領域外に存在するマスク領域Ｍ２を第１マスク画像１５から削除する。認識対象領域は、第１マスク画像１５中で車両１が移動する所定の領域であり、記憶部６０に予め記憶されている。例えば、格子線７０内の領域に対応した認識対象領域が設定される。

これにより、複数の車両が写り込んだ場合に、位置推定の対象外である車両２の影響を排除できるため、車両１の位置推定精度が向上する。なお、車両２が存在しない等、削除部５６による処理が必要ない場合はステップＳ６を省略してもよい。

ステップＳ７において、透視変換部５７は、第１マスク画像１５を透視変換する。ステップＳ７では、ステップＳ５において生成した第１マスク画像１５を処理対象としてもよく、ステップＳ６において車両２が削除された第１マスク画像１５を処理対象としてもよい。

このステップでは、記憶部６０に予め記憶された透視変換パラメータを用いて、第１マスク画像１５を路面７１に略垂直な車両１の上方（例えば車両１の真上）の視点から見た鳥瞰画像に透視変換する。

これにより、カメラ１０の焦点を原点とするＸｃ及びＹｃで示された座標軸を有するカメラ座標系が、透視変換によって投影される画像平面の一点を原点とするＸｉ及びＹｉで示された座標軸を有する画像座標系に変換される。透視変換パラメータは、例えばキャリブレーションにより得られるカメラ１０の位置情報及び内部パラメータに関わるパラメータである。

ステップＳ８において、位置算出部５８は、まず、第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の指定された頂点を第１座標点Ｐ１として取得する。また、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１に設定した第２外接矩形Ｒ２の頂点のうち第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２として取得する。そして、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正して、画像座標系における車両１の位置（推定位置）を示す第３座標点Ｐ３を算出する。

そこで、図４及び図５を参照して、ステップＳ８の詳細を説明する。図４は、ステップＳ８を説明する第１の図である。図５は、ステップＳ８を説明する第２の図である。図４に示すように、ステップＳ８では、車両１の位置の算出に用いる第３座標点Ｐ３を算出する。

第３座標点Ｐ３を算出するにあたっては、第１マスク画像１５中のマスク領域Ｍ１に対して設定された第１外接矩形Ｒ１が付加された第１マスク画像１５を透視変換し、透視変換により変形した第１外接矩形Ｒ１の第１座標点Ｐ１を取得する。また、第２マスク画像１７中のマスク領域Ｍ１に対して設定された第２外接矩形Ｒ２の第２座標点Ｐ２を取得する。

このように取得された第１座標点Ｐ１及び第２座標点Ｐ２の各座標（Ｘｉ１、Ｙｉ１）、（Ｘｉ２、Ｙｉ２）を用いて、第３座標点Ｐ３を算出する。第３座標点Ｐ３は、第１座標点Ｐ１の座標（Ｘｉ１、Ｙｉ１）を必要に応じて第２座標点Ｐ２の座標（Ｘｉ２、Ｙｉ２）に置き換えることにより算出することができる。具体的には、Ｘｉ１＞Ｘｉ２である場合、Ｘｉ１をＸｉ２に置き換える。また、Ｙｉ１＞Ｙｉ２である場合、Ｙｉ１をＹｉ２に置き換える。図４に例示した座標点Ｐ３は、座標（Ｘｉ２、Ｙｉ１）を有する。このような補正により、車両１の位置推定精度が向上する。

ここで、第１座標点Ｐ１及び第２座標点Ｐ２を取得する方法について説明する。まず、第１座標点Ｐ１を取得するために、透視変換前の第１外接矩形Ｒ１からベース座標点Ｐ０を取得する。図５には、ベース座標点Ｐ０を取得する方法が示されている。

図５に示すように、まず、第１マスク画像１５中のマスク領域Ｍ１に対する外接矩形Ｒ０を設定する。次いで、第１マスク画像１５中のマスク領域Ｍ１に対応する車両１の移動ベクトルＶのベクトル方向が所定方向（画面上で上方向）を向くように、マスク領域Ｍ１の重心Ｃを回転中心として第１マスク画像１５を必要な回転量だけ回転させる。

このように回転させた第１マスク画像１５中のマスク領域Ｍ１に対する第１外接矩形Ｒ１（長辺が移動ベクトルＶのベクトル方向と平行をなす第１外接矩形Ｒ１）を設定した後、マスク領域Ｍ１の重心Ｃを回転中心として第１外接矩形Ｒ１が付加された第１マスク画像１５を上記回転量だけ逆回転させる。このように逆回転させた第１マスク画像１５中の第１外接矩形Ｒ１のベース座標点Ｐ０を取得する。ここで取得するベース座標点Ｐ０は、第１外接矩形Ｒ１の４つの頂点のうちの１つであって、車両端１ｅとの距離が最も近い座標を有する頂点を選択する。

そして、図４に示すように、逆回転させた後の第１マスク画像１５に対して透視変換を行ない、透視変換により変形した第１外接矩形Ｒ１の第１座標点Ｐ１の座標（Ｘｉ１、Ｙｉ１）を取得する。ここで取得する第１座標点Ｐ１は、ベース座標点Ｐ０に対応する座標点である。

また、図４に示すように、第２座標点Ｐ２を取得するために、第２マスク画像１７中のマスク領域Ｍ１に対する第２外接矩形Ｒ２を設定し、第２外接矩形Ｒ２の第２座標点Ｐ２の座標（Ｘｉ２、Ｙｉ２）を取得する。ここで取得する第２座標点Ｐ２は、第２外接矩形Ｒ２の４つの頂点のうちの１つであって、車両端１ｅとの距離が最も近い座標を有する頂点を選択する。すなわち、第１座標点Ｐ１及び第２座標点Ｐ２は、同一の位置を示す座標点であるため、互いに相関関係を有する。

ステップＳ９において、位置補正部５９がグローバル座標系におけるカメラ１０の位置を適用して第３座標点Ｐ３を補正することによりグローバル座標系における車両１の位置を算出する。そこで、図６を参照してステップＳ９の詳細を説明する。図６は、ステップＳ９を説明する図である。

図６に示すグローバル座標系は、路面７１の任意の基準位置を示す固定座標点Ｐｆを原点としたＸｇ及びＹｇで示された座標軸を有する座標系である。撮像座標点Ｐｃは、グローバル座標系におけるカメラ１０の位置を示す。固定座標点Ｐｆ及び撮像座標点Ｐｃは、記憶部６０に予め記憶されている。このステップでは、車両１の位置を示す車両座標点Ｐｖを算出する。

図６の左側面図に示すように、カメラ１０の位置と車両１の位置との間の観測距離をＤｏとし、観測誤差をΔＤとし、路面７１からのカメラ１０の高さ［ｍ］をＨとし、路面７１からの車両端１ｅの高さ［ｍ］をｈとすると、観測誤差ΔＤは、下記式（１）で表すことができる。
ΔＤ＝ｈ／Ｈ×Ｄｏ・・・式（１）
すなわち、観測距離Ｄｏが大きくなるほど観測誤差ΔＤも大きくなる。なお、カメラ１０の高さＨ及び車両端１ｅの高さｈは、記憶部６０に予め記憶されている。

次に、カメラ１０の位置と車両端１ｅの位置との間の実際の距離をＤとすると、実際の距離Ｄは、下記式（２）で表すことができる。
Ｄ＝Ｄｏ×（１－ｈ／Ｈ）・・・式（２）
すなわち、実際の距離Ｄは、観測距離Ｄｏ、カメラ１０の高さＨ、及び車両端１ｅの高さｈによって決まる。

そして、図６の上面図に示すように、基準位置と車両１の推定位置との間の推定距離をＤｐとし、基準位置と車両１の位置との間の実際の距離をＤｔとすると、実際の距離Ｄｔは、下記式（３）で表すことができる。
Ｄｔ＝Ｄｐ×（１－ｈ／Ｈ）・・・式（３）
ここで、推定距離Ｄｐは、座標点Ｐｆ、Ｐｃから求められる実際の距離Ｄｃ、及び座標点Ｐ３、Ｐｆを用いて算出することができる。

したがって、式（３）を用いて推定距離Ｄｐを補正することにより求められる実際の距離Ｄｔと固定座標点Ｐｆとを用いて車両座標点Ｐｖを算出することができる。このようにして算出された車両座標点Ｐｖが、実空間における車両１の位置に相当する。

以上説明したように、本実施形態にかかる位置推定システム１００は、対象となる移動体（車両１）を含む撮像領域を撮像する撮像部（カメラ１０）と、撮像部により撮像された画像を移動体のベクトル方向が所定方向を向くように回転させる回転処理部５３と、画像中の移動体をマスクしたマスク領域Ｍ１が付加された第１マスク画像１５を生成する検出部５５と、第１マスク画像１５を透視変換する透視変換部５７と、第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の指定された頂点を第１座標点Ｐ１とし、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１に設定した第２外接矩形Ｒ２の頂点のうち第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２とし、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正して画像座標系における移動体の位置を示す第３座標点Ｐ３を算出する位置算出部５８と、グローバル座標系における撮像部の位置を適用して第３座標点Ｐ３を補正することによりグローバル座標系における移動体の位置を算出する位置補正部５９と、を有する。

このような構成によれば、移動体の位置推定に用いるセンサ、マーカー、送受信機等の設置物を移動体に設置することなく移動体の位置を推定可能なシステムを提供することができる。また、位置推定システム１００を移動体に搭載する必要がなく、データの保持・処理を行う少なくとも一部の機能を移動体に搭載する必要がある他のシステムと比べて汎用性が高い。

また、上記の位置推定システム１００は、画像の歪みを補正する歪み補正部５２をさらに有する。このような構成によれば、移動体の位置推定精度が向上する。

また、上記のの位置推定システム１００は、移動体が所定の閾値を超える距離を移動した場合に、移動体が移動した距離に応じた移動済領域を画像から削除して移動体を含む未移動領域を切り出すクロップ処理部５４をさらに有する。このような構成によれば、移動体の位置推定精度が向上する。

また、上記の位置推定システム１００は、第１マスク画像１５に複数の移動体が含まれる場合に、検出部５５によりマスクされた対象外の移動体を第１マスク画像１５から削除する削除部５６をさらに有する。このような構成によれば、移動体の位置推定精度が向上する。

また、上記の移動体は、車両１である。ここで、屋外空間にある車両等の移動体の位置を測位可能なシステムとして、例えばＧＰＳ（Global Positioning System）を利用したシステムを用いることができる。一方、ＧＰＳ衛星からのデータが届きにくいシールド効果のある屋内空間等では、ＧＰＳを利用したシステムによって算出される位置精度が低下するという問題がある。これに対し、本実施形態によれば、ＧＰＳの利用が望ましくない環境であっても車両１の位置推定が可能である。したがって、上記した位置推定システム１００は、車両工場等の屋内空間に存在する車両１の位置推定に好適に用いることができる。

さらに、本実施形態にかかる位置推定方法は、対象となる移動体を含む撮像領域を撮像部により撮像するステップと、撮像部により撮像された画像を移動体のベクトル方向が所定方向を向くように回転させるステップと、画像中の移動体をマスクしたマスク領域Ｍ１が付加された第１マスク画像１５を生成するステップと、第１マスク画像１５を透視変換するステップと、第１マスク画像１５を透視変換するステップと、第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の指定された頂点を第１座標点Ｐ１とし、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１に設定した第２外接矩形Ｒ２の頂点のうち第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２とし、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正して画像座標系における移動体の位置を示す第３座標点Ｐ３を算出するステップと、グローバル座標系における撮像部の位置を適用して第３座標点Ｐ３を補正することによりグローバル座標系における移動体の位置を算出するステップと、を有する。

このような構成によれば、移動体の位置推定に用いるセンサ、マーカー、送受信機等の設置物を移動体に設置することなく移動体の位置を推定可能な方法を提供することができる。

さらに、本実施形態にかかるプログラムは、コンピュータに実行させるプログラムであって、対象となる移動体を含む撮像領域を撮像した画像を移動体のベクトル方向が所定方向を向くように回転させる処理と、画像中の移動体をマスクしたマスク領域Ｍ１が付加された第１マスク画像１５を生成する処理と、第１マスク画像１５を透視変換する処理と、第１マスク画像１５を透視変換する処理と、第１マスク画像１５中のマスク領域Ｍ１に設定した第１外接矩形Ｒ１の指定された頂点を第１座標点Ｐ１とし、第１マスク画像１５を透視変換した第２マスク画像１７中のマスク領域Ｍ１に設定した第２外接矩形Ｒ２の頂点のうち第１座標点Ｐ１と同一の位置を示す頂点を第２座標点Ｐ２とし、第２座標点Ｐ２を用いて第１座標点Ｐ１を補正して画像座標系における移動体の位置を示す第３座標点Ｐ３を算出する処理と、グローバル座標系における撮像部の位置を適用して第３座標点Ｐ３を補正することによりグローバル座標系における移動体の位置を算出する処理と、を有する。

このような構成によれば、移動体の位置推定に用いるセンサ、マーカー、送受信機等の設置物を移動体に設置することなく移動体の位置を推定可能なプログラムを提供することができる。

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上記の実施形態では、移動している車両１の位置を推定する例を挙げて説明したが、静止している車両１の位置を推定することも可能である。静止している車両１の位置を推定する場合、移動している車両１のベクトル方向に代えて、例えばシステム起後、最初に取得された画像１１から推定される車両１の初期のベクトル方向を用いて静止している車両１の位置を推定することができる。

また、上記の実施形態では、情報処理装置４０が２次元画像を処理対象とする例を説明したが、ステレオカメラやＴＯＦ（Time Of Flight）カメラによって撮像される３次元画像を処理対象としてもよい。

また、情報処理装置４０は、一つの筐体に含まれる装置により実現されてもよく、情報処理装置４０の各部が、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

また、上記実施の形態では、画像入力部５１がカメラ１０から画像１１の入力を受け付ける例を挙げて説明したが、例えば記憶部６０等に予め記憶された画像１１の入力を受け付けるようにしてもよい。

また、本開示は、例えば、情報処理装置４０が行う処理を、プロセッサにコンピュータプログラムを実行させることにより実現することが可能である。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１、２ 車両 １ｅ 車両端 １０ カメラ １１、１２、１３、１４ 画像
１５ 第１マスク画像 １７ 第２マスク画像 ２０ 入力装置 ３０ 表示装置
４０ 情報処理装置 ５１ 画像入力部 ５２ 歪み補正部 ５３ 回転処理部
５４ クロップ処理部 ５５ 検出部 ５６ 削除部 ５７ 透視変換部
５８ 位置算出部 ５９ 位置補正部 ６０ 記憶部 ７０ 格子線 ７１ 路面
１００ 位置推定システム Ｃ 重心 Ｍ１、Ｍ２ マスク領域 Ｐ０ ベース座標点 Ｐ１ 第１座標点 Ｐ２ 第２座標点 Ｐ３ 第３座標点 Ｐｆ 固定座標点
Ｐｃ 撮像座標点 Ｐｖ 車両座標点 Ｒ０ 外接矩形 Ｒ１ 第１外接矩形
Ｒ２ 第２外接矩形 Ｖ 移動ベクトル

一実施形態にかかる位置推定システムは、対象となる移動体を含む撮像領域を撮像する撮像部と、撮像部により撮像された画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成する検出部と、第１マスク画像を透視変換する透視変換部と、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出する位置算出部と、を有する。

また、一実施形態にかかる位置推定方法は、対象となる移動体を含む撮像領域を撮像部により撮像するステップと、撮像部により撮像された画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成するステップと、第１マスク画像を透視変換するステップと、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出するステップと、を有する。

また、一実施形態にかかるプログラムは、コンピュータに実行させるプログラムであって、対象となる移動体を含む撮像領域を撮像した画像中の移動体をマスクしたマスク領域が付加された第１マスク画像を生成する処理と、第１マスク画像を透視変換する処理と、第１マスク画像中のマスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、第１マスク画像を透視変換した第２マスク画像中のマスク領域に設定した第２外接矩形の頂点のうち第１座標点と同一の位置を示す頂点を第２座標点とし、第２座標点を用いて第１座標点を補正して画像座標系における移動体の位置を示す第３座標点を算出する処理と、を有する。

情報処理装置４０は、カメラ１０により撮像された画像を処理して車両１の位置を推定（算出）する。情報処理装置４０は、画像入力部５１、歪み補正部５２、回転処理部５３、クロップ処理部５４、検出部５５、削除部５６、透視変換部５７、位置算出部５８、位置補正部５９、及び記憶部６０を有する。画像入力部５１、歪み補正部５２、回転処理部５３、クロップ処理部５４、削除部５６、位置補正部５９、及び記憶部６０は、適宜省略することができる。

まず、ステップＳ１において、画像入力部５１がカメラ１０から画像１１の入力を受け付ける。カメラ１０から取得した画像１１には、車両１を含む複数の車両の２次元データが含まれていてもよい。図２に例示した画像１１には、車両１、２の各２次元データが含まれている。なお、このような画像入力部５１による処理が必要ない場合、ステップＳ１は省略することができる。

ステップＳ２において、歪み補正部５２が画像１１の歪みを補正する。このステップでは、記憶部６０に予め記憶された歪み補正パラメータを用いて画像１１に対して歪みを補正した画像１２を生成することができる。歪み補正パラメータは、例えばキャリブレーションにより得られる格子線７０の位置情報に関わるパラメータである。なお、格子線７０以外の他の任意のパラメータを採用してもよい。なお、このような歪み補正部５２による処理が必要ない場合、ステップＳ２は省略することができる。

ステップＳ３において、回転処理部５３は、車両１のベクトル方向が所定方向を向くように画像１２を回転させる。このステップでは、例えば、画像１２を表示する表示装置３０の画面上で車両１の進行方向であるベクトル方向が上方向を向くように、画像１２中の車両１の重心を回転中心として画像１２を回転させた画像１３を生成する。なお、このような回転処理部５３による処理が必要ない場合、ステップＳ３は省略することができる。

ステップＳ４において、クロップ処理部５４は、車両１が所定の閾値を超える距離を移動した場合に、車両１が移動した距離に応じた移動済領域を画像１３から削除して車両１を含む未移動領域を切り出した画像１４を生成する。クロップ処理部５４は、推定されたベクトル量により車両１が移動した距離を認識する。

したがって、式（３）を用いて推定距離Ｄｐを補正することにより求められる実際の距離Ｄｔと固定座標点Ｐｆとを用いて車両座標点Ｐｖを算出することができる。このようにして算出された車両座標点Ｐｖが、実空間における車両１の位置に相当する。ただし、カメラ１０の設置位置を高くするほど高さＨが大きくなるため、式（３）中のｈ／Ｈで示される補正値をゼロに近づくように小さくすることができる。このように、補正が不要になるほどカメラ１０が高い位置に設置されている等、位置補正部５９による処理が必要ない場合はステップＳ９を省略してもよい。

例えば、上記の実施形態では、移動している車両１の位置を推定する例を挙げて説明したが、静止している車両１の位置を推定することも可能である。静止している車両１の位置を推定する場合、移動している車両１のベクトル方向に代えて、例えばシステム起動後、最初に取得された画像１１から推定される車両１の初期のベクトル方向を用いて静止している車両１の位置を推定することができる。

Claims (7)

1. 対象となる移動体を含む撮像領域を撮像する撮像部と、
   前記撮像部により撮像された画像を前記移動体のベクトル方向が所定方向を向くように回転させる回転処理部と、
   前記画像中の前記移動体をマスクしたマスク領域が付加された第１マスク画像を生成する検出部と、
   前記第１マスク画像を透視変換する透視変換部と、
   前記第１マスク画像中の前記マスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、前記第１マスク画像を透視変換した第２マスク画像中の前記マスク領域に設定した第２外接矩形の頂点のうち前記第１座標点と同一の位置を示す頂点を第２座標点とし、前記第２座標点を用いて前記第１座標点を補正して画像座標系における前記移動体の位置を示す第３座標点を算出する位置算出部と、
   グローバル座標系における前記撮像部の位置を適用して前記第３座標点を補正することにより前記グローバル座標系における前記移動体の位置を算出する位置補正部と、
   を有する位置推定システム。
2. 前記画像の歪みを補正する歪み補正部をさらに有する請求項１に記載の位置推定システム。
3. 前記移動体が所定の閾値を超える距離を移動した場合に、前記移動体が移動した距離に応じた移動済領域を前記画像から削除して前記移動体を含む未移動領域を切り出すクロップ処理部をさらに有する請求項１に記載の位置推定システム。
4. 前記第１マスク画像に複数の移動体が含まれる場合に、前記検出部によりマスクされた対象外の移動体を前記第１マスク画像から削除する削除部をさらに有する請求項１に記載の位置推定システム。
5. 前記移動体は、車両である請求項１に記載の位置推定システム。
6. 対象となる移動体を含む撮像領域を撮像部により撮像するステップと、
   前記撮像部により撮像された画像を前記移動体のベクトル方向が所定方向を向くように回転させるステップと、
   前記画像中の前記移動体をマスクしたマスク領域が付加された第１マスク画像を生成するステップと、
   前記第１マスク画像を透視変換するステップと、
   前記第１マスク画像中の前記マスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、前記第１マスク画像を透視変換した第２マスク画像中の前記マスク領域に設定した第２外接矩形の頂点のうち前記第１座標点と同一の位置を示す頂点を第２座標点とし、前記第２座標点を用いて前記第１座標点を補正して画像座標系における前記移動体の位置を示す第３座標点を算出するステップと、
   グローバル座標系における前記撮像部の位置を適用して前記第３座標点を補正することにより前記グローバル座標系における前記移動体の位置を算出するステップと、
   を有する位置推定方法。
7. コンピュータに実行させるプログラムであって、
   対象となる移動体を含む撮像領域を撮像した画像を前記移動体のベクトル方向が所定方向を向くように回転させる処理と、
   前記画像中の前記移動体をマスクしたマスク領域が付加された第１マスク画像を生成する処理と、
   前記第１マスク画像を透視変換する処理と、
   前記第１マスク画像中の前記マスク領域に設定した第１外接矩形の指定された頂点を第１座標点とし、前記第１マスク画像を透視変換した第２マスク画像中の前記マスク領域に設定した第２外接矩形の頂点のうち前記第１座標点と同一の位置を示す頂点を第２座標点とし、前記第２座標点を用いて前記第１座標点を補正して画像座標系における前記移動体の位置を示す第３座標点を算出する処理と、
   グローバル座標系における前記撮像部の位置を適用して前記第３座標点を補正することにより前記グローバル座標系における前記移動体の位置を算出する処理と、
   を有するプログラム。

Images