JP7404011B2

JP7404011B2 - 情報処理装置

Info

Publication number: JP7404011B2
Application number: JP2019173266A
Authority: JP
Inventors: 彰彦藤原; 美香平間
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2019-09-24
Filing date: 2019-09-24
Publication date: 2023-12-25
Anticipated expiration: 2039-09-24
Also published as: EP3798984A1; US11410329B2; JP2021051468A; US20210090286A1

Description

本発明の実施形態は、情報処理装置に関する。

拡張現実（ＡＲ（augmented reality））は、現実世界に仮想物体を重畳表示させることで各種情報を提示することができる。拡張現実は、各種情報を提示することで、店舗などにおける買物客の買い物、及び業務現場における作業員などの業務を支援することが可能である。

端末装置の位置をトラッキングする方法として、ＡＲマーカー（以下単に「マーカー」という。）を用いて位置姿勢を計測する方法が知られている。マーカーを用いたトラッキングには、カメラとマーカーとの相対位置を正確に計測する必要がある。しかしながら、計測条件によっては相対位置の計測精度が低下する。例えば、端末装置が回転中でマーカーとの相対角度が大きい場合、端末装置がマーカーから遠ざかっていく途中などでカメラにより撮影した画像に対するマーカーが占有する面積が小さい場合、カメラとマーカーの間に障害物がある場合、又はマーカーに当たっている照明の強さが適正でない場合において計測精度が低下する。このように計測精度が低下している状態では、端末装置の位置を正確に求めることができない。

特開２００６－２３４４５３号公報

本発明の実施形態が解決しようとする課題は、計測精度が低下している状態でも、高精度に位置姿勢を補正することができる情報処理装置を提供することである。

実施形態の情報処理装置は、取得部、認識部及び位置推定部を備える。取得部は、カメラで撮影した画像を取得する。認識部は、前記画像中のマーカーを認識する。位置推定部は、前記認識部が前記マーカーを認識した回数が所定の回数以上である場合、前記カメラと前記マーカーの相対位置に基づき前記カメラの位置を推定する。

実施形態に係る端末装置の要部構成の一例を示すブロック図。図１中のプロセッサー１１による処理の一例を示すフローチャート。

以下、実施形態に係る端末装置について図面を用いて説明する。なお、以下の実施形態の説明に用いる各図面は、説明のため、構成を省略して示している場合がある。また、各図面及び本明細書中において、同一の符号は同様の要素を示す。
図１は、実施形態に係る端末装置１０の要部構成の一例を示すブロック図である。

端末装置１０は、カメラで撮影した現実世界の映像にリアルタイムに仮想物体を重畳表示させる。したがって、端末装置１０は、拡張現実用のディスプレイ装置である。端末装置１０は、例えば、タブレット端末、スマートホン又はＨＭＤ（head-mounted display）などである。店舗などで用いる端末装置１０は、例えば、ショッピングカート又はその他の荷車などの車輪移動体に取り付けたタブレット端末である。端末装置１０は、一例として、プロセッサー１１、ＲＯＭ（read-only memory）１２、ＲＡＭ（random-access memory）１３、補助記憶デバイス１４、通信インターフェース１５、カメラ１６、タッチパネル１７及びセンサー１８を含む。そして、バス１９などが、これら各部を接続する。端末装置１０は、情報処理装置の一例である。

プロセッサー１１は、端末装置１０の動作に必要な演算及び制御などの処理を行うコンピューターの中枢部分に相当する。プロセッサー１１は、ＲＯＭ１２又は補助記憶デバイス１４などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、端末装置１０の各種の機能を実現するべく各部を制御する。また、プロセッサー１１は、当該プログラムに基づいて後述する処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサー１１の回路内に組み込まれていても良い。プロセッサー１１は、例えば、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）、ＳｏＣ（system on a chip）、ＤＳＰ（digital signal processor）、ＧＰＵ（graphics processing unit）、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）又はＦＰＧＡ（field-programmable gate array）などである。あるいは、プロセッサー１１は、これらのうちの複数を組み合わせたものである。

ＲＯＭ１２は、プロセッサー１１を中枢とするコンピューターの主記憶装置に相当する。ＲＯＭ１２は、専らデータの読み出しに用いられる不揮発性メモリである。ＲＯＭ１２は、上記のプログラムのうち、例えばファームウェアなどを記憶する。また、ＲＯＭ１２は、プロセッサー１１が各種の処理を行う上で使用するデータなども記憶する。

ＲＡＭ１３は、プロセッサー１１を中枢とするコンピューターの主記憶装置に相当する。ＲＡＭ１３は、データの読み書きに用いられるメモリである。ＲＡＭ１３は、プロセッサー１１が各種の処理を行う上で一時的に使用するデータを記憶するワークエリアなどとして利用される。ＲＡＭ１３は、典型的には揮発性メモリである。

補助記憶デバイス１４は、プロセッサー１１を中枢とするコンピューターの補助記憶装置に相当する。補助記憶デバイス１４は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）又はフラッシュメモリなどである。補助記憶デバイス１４は、上記のプログラムのうち、例えば、システムソフトウェア及びアプリケーションソフトウェアなどを記憶する。また、補助記憶デバイス１４は、プロセッサー１１が各種の処理を行う上で使用するデータ、プロセッサー１１での処理によって生成されたデータ及び各種の設定値などを保存する。

また、補助記憶デバイス１４は、マーカーＤＢ（database）１４１を記憶する。マーカーＤＢ１４１は、マーカーが登録される。マーカーＤＢ１４１は、登録された各マーカーについて、マーカーＩＤ（identifier）、特徴量及びワールド座標系における位置姿勢などを記憶する。マーカーＩＤは、マーカーごとにユニークに付与される識別情報である。

通信インターフェース１５は、端末装置１０がネットワークＮＷなどを介して通信するためのインターフェースである。

カメラ１６は、画像を撮影する。また、カメラ１６は、撮影した画像データを出力する。なお、動画像は、画像の一種である。

タッチパネル１７は、例えば、液晶ディスプレイ又は有機ＥＬ（electro-luminescence）ディスプレイなどのディスプレイとタッチ入力によるポインティングデバイスとが積層されたものである。タッチパネル１７が備えるディスプレイは、端末装置１０の操作者に各種情報を通知するための画面を表示する表示デバイスとして機能する。また、タッチパネル１７は、当該操作者によるタッチ操作を受け付ける入力デバイスとして機能する。

なお、端末装置１０は、通常、カメラ１６をタッチパネル１７の表示面と反対側を向くように設ける。すなわち、カメラ１６に入射する光の光軸方向とタッチパネル１７の法線方向が同じ方向を向いている。

センサー１８は、端末装置１０の位置姿勢の推定に用いる各種センサーである。センサー１８は、計測値を出力する。センサー１８は、例えば、加速度計、ジャイロスコープ、オドメーター、電子コンパスなどの磁力計、ＧＰＳ（Global Positioning System）センサーなどのＧＮＳＳ（global navigation satellite system）センサー、深度センサー、又は電磁式、光学式、機械式若しくは超音波式などのトラッカーなどである。なお、端末装置１０は、センサー１８として、上記のセンサーのうちの複数種類を備えていても良い。例えば、センサー１８は、ショッピングカートなどの車輪移動体に取り付けてあっても良い。
なお、センサー１８は、端末装置１０の外部に有線又は無線で接続されるものであっても良い。

バス１９は、コントロールバス、アドレスバス及びデータバスなどを含み、端末装置１０の各部で授受される信号を伝送する。

以下、実施形態に係る端末装置１０の動作を図２に基づいて説明する。なお、以下の動作説明における処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。図２は、端末装置１０のプロセッサー１１による処理の一例を示すフローチャートである。プロセッサー１１は、例えば、ＲＯＭ１２又は補助記憶デバイス１４などに記憶されたプログラムに基づいてこの処理を実行する。

プロセッサー１１は、例えば、トラッキングをオンにする操作が行われたことなどに応じて図２に示す処理を開始する。
図２のＡＣＴ１１においてプロセッサー１１は、カメラ１６が出力する画像を取得する。なお、ＡＣＴ１１で最後に取得された画像を以下「取得画像」という。
以上より、プロセッサー１１は、ＡＣＴ１１の処理を行うことで、カメラ１６で撮影した画像を取得する取得部として機能する。

ＡＣＴ１２においてプロセッサー１１は、取得画像中に、マーカーＤＢ１４１に登録されているマーカーが映っているか否かを判定する。プロセッサー１１は、取得画像中にマーカーを認識したならば、マーカーが映っていると判定する。なお、マーカーの認識には公知の方法を用いることができる。また、ＡＣＴ１２で最後に認識されたマーカーを以下「認識マーカー」という。プロセッサー１１は、取得画像中にマーカーが映っていないならば、ＡＣＴ１２においてＮｏと判定してＡＣＴ１３へと進む。
以上より、プロセッサー１１は、ＡＣＴ１２の処理を行うことで、取得画像中のマーカーを認識する認識部として機能する。

ＡＣＴ１３においてプロセッサー１１は、センサー１８が出力する計測値を取得する。
ＡＣＴ１４においてプロセッサー１１は、ＡＣＴ１３で取得した計測値に基づき、端末装置１０の位置姿勢を補正する。すなわち、プロセッサー１１は、端末装置１０の位置姿勢のトラッキングを行う。例えば、プロセッサー１１は、ＤＲ（dead reckoning）などの手法を用いて位置姿勢を推定する。そして、プロセッサー１１は、推定した位置姿勢を端末装置１０の現在の位置姿勢として決定することで、端末装置１０の位置姿勢を補正する。また、プロセッサー１１は、変数Ｔ１に現在時刻を代入する。変数Ｔ１は、最後に端末装置１０の現在の位置姿勢として決定した時刻を示す。なお、端末装置１０の位置姿勢は、例えば、ワールド座標系におけるカメラ１６又はタッチパネル１７の位置姿勢である。

ＡＣＴ１５においてプロセッサー１１は、トラッキングを終了するか否かを判定する。プロセッサー１１は、例えば、トラッキングをオフにする操作が行われたことに応じてトラッキングを終了すると判定する。プロセッサー１１は、トラッキングを終了しないならば、ＡＣＴ１５においてＮｏと判定してＡＣＴ１１へと戻る。対して、プロセッサー１１は、トラッキングを終了するならば、ＡＣＴ１５においてＹｅｓと判定して図２に示す処理を終了する。

また、プロセッサー１１は、取得画像中にマーカーが映っているならば、ＡＣＴ１２においてＹｅｓと判定してＡＣＴ１６へと進む。
ＡＣＴ１６においてプロセッサー１１は、端末装置１０に対する認識マーカーの相対位置姿勢を推定する。なお、端末装置１０の位置姿勢は、例えば、カメラ１６の位置姿勢又はタッチパネル１７の位置姿勢を示す。認識マーカーの位置は、例えば、認識マーカー中の一点の位置である。当該一点は、例えば認識マーカーの中央である。プロセッサー１１は、例えば、取得画像を用いて端末装置１０から認識マーカーまでの距離（相対位置）を推定する。また、プロセッサー１１は、例えば、取得画像を用いて、端末装置１０が向いている向きと認識マーカーの平面が向いている向きとがなす角度（相対姿勢）を推定する。なお、位置姿勢を求める方法として、他の公知の方法を用いることもできる。
以上より、プロセッサー１１は、ＡＣＴ１６の処理を行うことで、カメラ１６とマーカーの相対位置を推定する相対位置推定部として機能する。

ＡＣＴ１７においてプロセッサー１１は、ＡＣＴ１６で求めた相対位置姿勢、認識マーカーのマーカーＩＤ、及び認識時刻を関連付けて履歴データとしてＲＡＭ１３などに記憶する。なお、認識時刻は、ＡＣＴ１２において認識マーカーが認識された時刻である。

ＡＣＴ１８においてプロセッサー１１は、位置補正を行うか否かを判定する。例えば、プロセッサー１１は、履歴データを参照して、所定の時間ｔ１以内にマーカーＩＤが同じマーカーの相対位置姿勢が所定の回数ｎ１回以上記憶されているか否かを判定する。そして、プロセッサー１１は、ｔ１以内にマーカーＩＤが同じマーカーの相対位置姿勢がｎ１回以上記憶されている場合に位置補正を行うと判定する。例えば、ｔ１が５秒でｎ１回が３回であるとする。この場合、プロセッサー１１は、５秒以内に３回以上同じマーカーの相対位置姿勢を求めているならば、位置補正を行うと判定する。これにより、プロセッサー１１は、カメラ１６がマーカーを映している間、３回相対位置姿勢を求めるごとに位置補正を行うことになる。なお、ｔ１は、任意の時間である。また、ｎ１は、２以上の整数である。プロセッサー１１は、位置補正を行うと判定しないならば、ＡＣＴ１８においてＮｏと判定してＡＣＴ１３へと進む。対して、プロセッサー１１は、位置補正を行うと判定するならば、ＡＣＴ１８においてＹｅｓと判定してＡＣＴ１９へと進む。

ＡＣＴ１９においてプロセッサー１１は、履歴データから、認識マーカーとマーカーＩＤが同じデータを抽出する。
なお、抽出するデータ数に上限が設けてあっても良い。例えば、上限がｎ２個であるとすると、プロセッサー１１は、認識時刻が新しいものから順にｎ２個のデータを抽出する。ただし、認識マーカーとマーカーＩＤが同じデータの数がｎ２個より少ない場合、プロセッサー１１は、認識マーカーとマーカーＩＤが同じデータを全て抽出する。なお、ｎ２は、２以上の整数である。
また、プロセッサー１１は、認識時刻が現在時刻から所定の時間ｔ２前までのデータのみを抽出しても良い。なお、ｔ２は、任意の時間である。なお、プロセッサー１１は、認識時刻が現在時刻からｔ２前までのデータを認識時刻が新しいものから順にｎ２個を上限としてデータを抽出しても良い。

ＡＣＴ２０においてプロセッサー１１は、ＡＣＴ１９で抽出した複数のデータのばらつきが大きいか否かを判定する。例えば、プロセッサー１１は、当該複数のデータの標準偏差σが所定の値以上である場合にばらつきが大きいと判定する。あるいは、プロセッサー１１は、その他の公知の方法を用いてばらつきが大きいことを判定しても良い。プロセッサー１１は、当該複数のデータのばらつきが大きいならば、ＡＣＴ２０においてＹｅｓと判定してＡＣＴ１３へと進む。対して、プロセッサー１１は、当該複数のデータのばらつきが大きくないならば、ＡＣＴ２０においてＮｏと判定してＡＣＴ２１へと進む。

ＡＣＴ２１においてプロセッサー１１は、ＡＣＴ１９で抽出した複数のデータを用いて、統計的な手法により、端末装置１０に対する認識マーカーの相対位置姿勢を推定する。例えば、プロセッサー１１は、当該複数のデータに対して移動平均などの手法を用いて時系列平滑化を行うことで相対位置姿勢を推定する。また、プロセッサー１１は、当該複数のデータのうちの外れ値を棄却しても良い。例えば、プロセッサー１１は、当該複数のデータの中央値から所定の値以上外れている値を外れ値とする。あるいは、プロセッサー１１は、その他の公知の方法を用いて外れ値を棄却しても良い。

ＡＣＴ２２においてプロセッサー１１は、ＡＣＴ２１で推定した相対位置姿勢と、認識マーカーの位置姿勢に基づき、端末装置１０の位置姿勢を推定する。なお、プロセッサー１１は、認識マーカーの位置姿勢をマーカーＤＢから取得する。
以上より、プロセッサー１１は、ＡＣＴ１８及びＡＣＴ２２の処理を行うことで、マーカーを認識した回数が所定の回数以上である場合、カメラ１６の位置を推定する位置推定部として機能する。また、プロセッサー１１は、ＡＣＴ２１及びＡＣＴ２２の処理を行うことで、複数の相対位置を用いてカメラ１６の位置を推定する位置推定部として機能する。

ＡＣＴ２３においてプロセッサー１１は、ＡＣＴ２２で求めた位置姿勢が適正な値であるか否かを判定する。例えば、プロセッサー１１は、位置姿勢が急激に変化しているような場合に適正な値でないと判定する。位置姿勢が急激に変化していることから適正な値でないことを判定する方法の例を以下に示す。
例えば、プロセッサー１１は、最後にＡＣＴ１４又はＡＣＴ２４で決定した端末装置１０の現在の位置姿勢に対して、ＡＣＴ２２で求めた位置姿勢が所定よりも大きく異なる場合に適正な値でないと判定する。例えば、プロセッサー１１は、現在の端末装置１０の位置からＡＣＴ２２で求めた位置までの距離を、現在時刻からＴ１を引いた時間で割った速度が、所定の速度以上である場合に適正な値でないと判定する。当該所定の速度は、例えば、人間の歩行速度に対して顕著に速いような速度である。あるいは、プロセッサー１１は、現在の端末装置１０の位置からＡＣＴ２２で求めた位置までの距離が所定の距離以上である場合に適正な値でないと判定する。また、プロセッサー１１は、例えば、現在の端末装置１０の姿勢からＡＣＴ２２で求めた姿勢までの角度を、現在時刻からＴ１を引いた時間で割った角速度が、所定の角速度以上である場合に適正な値でないと判定する。あるいは、プロセッサー１１は、現在の端末装置１０の姿勢からＡＣＴ２２で求めた姿勢までの角度が所定の角度以上である場合に適正な値でないと判定する。
プロセッサー１１は、ＡＣＴ２２で求めた位置姿勢が適正な値でないならば、ＡＣＴ２３においてＮｏと判定してＡＣＴ１３へと進む。すなわち、プロセッサー１１は、ＡＣＴ２２で求めた位置姿勢を棄却し、ＡＣＴ２４の処理に用いない。対して、プロセッサー１１は、ＡＣＴ２２で求めた位置姿勢が適正な値であるならば、ＡＣＴ２３においてＹｅｓと判定してＡＣＴ２４へと進む。

ＡＣＴ２４においてプロセッサー１１は、ＡＣＴ２２で求めた位置姿勢に基づき、端末装置１０の位置姿勢を補正する。すなわち、プロセッサー１１は、ＡＣＴ２２で求めた位置姿勢を、端末装置１０の現在の位置姿勢として決定することで、端末装置１０の位置姿勢を補正する。また、プロセッサー１１は、変数Ｔ１に現在時刻を代入する。

ＡＣＴ２５においてプロセッサー１１は、履歴データをクリアする。これにより、ＲＡＭ１３などは、履歴データを１つも記憶していない状態になる。プロセッサー１１は、ＡＣＴ２５の処理の後、ＡＣＴ１３へと進む。

実施形態の端末装置１０は、所定の時間以内に同じマーカーを所定の回数以上認識した場合に、端末装置１０の位置姿勢を補正する。これにより、実施形態の端末装置１０は、計測精度が低下している状態でも、高精度に端末装置１０の位置姿勢を補正することができる。

また、実施形態の端末装置１０は、マーカーの相対位置姿勢を複数回計測し、複数回計測した相対位置姿勢を用いて端末装置１０の位置姿勢を推定する。これにより、実施形態の端末装置１０は、計測精度が低下している状態でも、高精度に端末装置１０の位置姿勢を補正することができる。

また、実施形態の端末装置１０は、マーカーの相対位置姿勢を複数回計測し、複数回計測した相対位置姿勢を時系列平滑化することで、端末装置１０の位置姿勢を推定する。これにより、実施形態の端末装置１０は、計測精度が低下している状態でも、高精度に端末装置１０の位置姿勢を補正することができる。

また、実施形態の端末装置１０は、マーカーの相対位置姿勢を複数回計測したデータのばらつきが所定より小さい場合に端末装置１０の位置姿勢を補正する。これにより、実施形態の端末装置１０は、誤差の大きい補正を行うことを防ぐことができる。

また、実施形態の端末装置１０は、推定した端末装置１０の位置姿勢が現在の位置姿勢から急激に変化している場合、当該推定値を棄却する。これにより、実施形態の端末装置１０は、誤差の大きい補正を行うことを防ぐことができる。

上記の実施形態は以下のような変形も可能である。
プロセッサー１１は、ＡＣＴ２０においてＹｅｓと判定した場合に、ＡＣＴ２５と同様に履歴データをクリアしても良い。また、プロセッサー１１は、ＡＣＴ２３においてＮｏと判定した場合に、ＡＣＴ２５と同様に履歴データをクリアしても良い。
プロセッサー１１は、ＡＣＴ２５の処理を行わなくても良い。

上記の実施形態では、プロセッサー１１は、統計的な手法により、端末装置１０に対する認識マーカーの相対位置姿勢を推定した。これに代えて、プロセッサー１１は、端末装置１０の位置姿勢を統計的な手法により推定しても良い。

プロセッサー１１は、上記実施形態においてプログラムによって実現する処理の一部又は全部を、回路のハードウェア構成によって実現するものであっても良い。

端末装置１０は、例えば、上記の各処理を実行するためのプログラムが記憶された状態で各装置の管理者などへと譲渡される。あるいは、端末装置１０は、当該プログラムが記憶されない状態で当該管理者などに譲渡される。そして、当該プログラムが別途に当該管理者などへと譲渡され、当該管理者又はサービスマンなどによる操作に基づいて端末装置１０に記憶される。このときのプログラムの譲渡は、例えば、ディスクメディア又は半導体メモリなどのようなリムーバブルな記憶媒体を用いて、あるいはインターネット又はＬＡＮなどを介したダウンロードにより実現できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０……端末装置、１１……プロセッサー、１２……ＲＯＭ、１３……ＲＡＭ、１４……補助記憶デバイス、１５……通信インターフェース、１６……カメラ、１７……タッチパネル、１８……センサー、１９……バス、１４１……マーカーＤＢ

Claims

カメラで撮影した画像を取得する取得部と、
前記画像中のマーカーを認識する認識部と、
前記カメラと前記マーカーの相対位置を推定する相対位置推定部と、
前記相対位置推定部によって推定された前記マーカーについての複数の相対位置のばらつきが所定よりも小さい場合、前記マーカーの位置及び前記複数の相対位置を用いて前記カメラの位置を推定する位置推定部と、を備える情報処理装置。
前記位置推定部は、前記認識部が前記マーカーを認識した回数が所定の回数以上である場合、前記カメラの位置を推定する、請求項１に記載の情報処理装置。
前記位置推定部は、前記複数の相対位置を用いた時系列平滑化を行って前記カメラの位置を推定する、請求項１に記載の情報処理装置。
前記位置推定部は、推定した前記カメラの位置が外れ値である場合に棄却する、請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
コンピュータに、
カメラで撮影した画像を取得する機能と、
前記画像中のマーカーを認識する機能と、
前記カメラと前記マーカーの相対位置を推定する機能と、
推定された前記マーカーについての複数の相対位置のばらつきが所定よりも小さい場合、前記マーカーの位置及び前記複数の相対位置を用いて前記カメラの位置を推定する機能と、
を実行させることか可能なプログラム。