JP6516558B2 - 位置情報処理方法 - Google Patents

Description

本発明は、位置情報処理方法、位置情報処理装置、及び位置情報処理装置を備える携帯通信端末に関するものである。本発明は、特に、工業制御支援の分野において用いられうる。さらに具体的には、本発明は、複合現実又は拡張現実によるメンテナンス又は取り付けに応用し、さらに訓練支援に応用することができる。

工業環境における拡張現実は、位置決め方法から非常に高レベルなロバスト性を必要とする。近年、使用される装置の位置はマーカーを用いて推定されている。かかる技術は、マーカーが目視可能な場合にのみ、一定レベルのロバスト性を補償することができることを意味する。さらに、マーカーの参照フレーム内において位置決めされた装置が配置される。

さらにまた、マーカーを使用せずに位置決め可能な装置は少ない。装置をロバストに配置するためには、既存の方法では時間がかかり、さらに、あまり直感的ではないキャリブレーションステップが必要となる。かかるキャリブレーションステップは、装置を迅速に使用することを不可能とし、ユーザーに特定のスキルを要求する。

さらに、幾つかの位置決め技術は、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）のように、リアルタイムな環境の再構築を行うものである。これにより、再構築された環境にて位置の推定を行うことができる。かかる技術には幾つかのデメリットがある。まず、上述の技術は、構築されたものと描画されたものとの間の差異を検出することができない。さらに、例えば、再構築された環境は、要素検出誤差を内包する。従って、かかる技術は、特に、メンテナンス分野や、高い精度が要求される場合に、信頼性に欠く。

拡張現実を使用する装置は、多くの場合、画像又は動画上に情報を重ねて表示することができる装置である。

従来技術では、例えば、欧州特許出願公開第2201532 号において、対象物と装置との相対的な位置情報を測定するように構成された局所的位置決定装置を開示している。かかる装置は、三脚に固定された、誘導的且つ段階的な玉継ぎ手に取り付けられている。かかる玉継ぎ手は、装置の位置を定義するために、手動で入力する必要がある方位角及び上下角を決定することを可能にする。従って、かかる装置は、工業環境において配置し、さらに変位させることが難しい。

欧州特許出願公開第2201532 号明細書

本発明はこれらのデメリットの全て又は一部を解消することを目的とするものである。

第一の観点にかかる本願発明は、仮想表現並びに慣性ユニット及びイメージセンサを有する装置により位置情報を処理する方法であって、該方法は、
-装置の現実環境の少なくとも一つの画像を撮像するステップと、
-撮像画像内の複数の部分と、仮想表現内の複数の部分との相関付けにより、現実環境内における装置の位置に対応して、仮想表現内にて装置を配置するステップと、
-少なくとも慣性ユニットにより装置の変位量を測定するステップと、
-慣性ユニットにより測定された変位量に応じて仮想表現内の装置の位置を修正して、移動中の装置の現実の位置を仮想表現内における装置の位置に対応させる、ステップと、を含むことを特徴とする。

まず、本発明は、単一の撮像画像に基づいて装置を位置決めできる点で有利である。従って、かかる方法は、装置の位置決めステップ由来のロバスト性が高い。従って、かかるステップは迅速であり、その上、装置のユーザーに対して特定のスキルを要求することはない。

事前に実現された仮想環境を使用することで、仮想表現の参照点にて装置を位置決めすることが可能となる。再構築とは異なり、（仮想）表現では、現実環境の要素のうちで欠けている要素を検出することができる。分析による情報は、より信頼性が高い。仮想環境は、現実環境の観察結果に応じて修正されることもできる。

相関ステップは、対象物を必要としない画像分析に基づいて実施することも可能である。さらに、本発明の方法を実施するための装置は、固定されておらず、工業環境において容易に移動させることができる。

実施形態では、変位量を測定するためのステップは、
-慣性ユニットにより移動量を推定するステップ、
-ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ、及び
-推定移動量を組み合わせるステップを含むことが好ましい。

これらの実施形態は、可能な限り正確な位置情報を取得することができるという点で有利である。２つの撮像画像間で相対移動量を推定し、慣性ユニットの移動量を推定することで、位置推定における誤差を最小化することができる。実際、工業環境は視覚的に不明瞭である虞があり、２つの類似した状況の間であっても、相関付けによる位置決定により誤差が生じる虞がある。この他の２つの移動推定によれば、決定された位置が急激に変化しないようにすることができる。従って、かかる方法は一層ロバスト且つ正確である。

実施形態によれば、装置を位置決めする過程の中で、少なくとも一つの撮像画像中にて、仮想表現内の予め定められた特異な意味構造を認識することによって相関付けを実施することが好ましい。

かかる認識は、方法のロバスト性を向上させる点で有利である。その理由は、撮像画像中における特異な意味構造の数が多いほど、方法の精度が向上するからである。

実施形態において、本発明の対象とする方法は、変位量を測定するステップにおいて測定された変位量を減少させるステップを含むことが好ましい。

これらの実施形態は、画像が一時的に利用できない事象や、画像を利用できない場合においても、正確な位置決定ができる点で有利である。ユーザーは、仮想表現の参照フレームに対する装置の位置を検出するために、装置が安定することを待つ必要がない。したがって、ユーザーはより効率的に装置を利用することができる。よって、装置に生じる微小移動を低減することが可能となる。

実施形態では、本発明の対象である方法は、撮像画像及び表示された撮像画像に対応する仮想表現の一部分を組合せ表示する、ステップを含むことが好ましい。

これらの実施形態は、仮想表現と現実環境との際をより良好に可視化することができる点で有利である。したがって、ユーザーはより効率的に装置を利用することができる。

実施形態において、本発明の対象である方法は、仮想表現上での位置情報を編集する、ステップを含むことが好ましい。

これらの方法は、正確に位置決めされた情報を提供することができる点で有利である。さらに、情報を仮想表現上に記録することができるので、情報の受け渡し及びアクセスを容易にすることができる。また、装置を以前に使用した際に記録された情報にアクセスし、さらに修正することもできる。

第二の観点にかかる本願発明は、位置情報を処理する装置であって、該装置は、
-装置の現実環境の少なくとも一つの画像を提供するイメージセンサと
-仮想表現へのアクセス手段と、を備え
さらに、
-撮像画像内の複数の部分と、仮想表現内の複数の部分との相関付けにより、現実環境内における装置の位置に対応して、仮想表現内にて装置を配置する手段と、
-装置の変位量を測定する慣性ユニットと、
-前記慣性ユニットにより測定された前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる手段、を含むことを特徴とする。

本発明の対象である装置の利点、目的、及び特定の特徴は、本発明の対象である方法の利点、目的、及び特定の特徴と同様であるので、ここでは重複記載しない。

実施形態では、本発明の対象である装置は、撮像画像及び表示された撮像画像に対応する仮想表現の一部分を組合せ表示する、表示手段を備えることが好ましい。

これらの実施形態は、異常を検出するために現実環境と仮想環境とを比較できる点で有利である。

実施形態では、本発明の対象である装置は、仮想表現上での位置情報を編集する手段を備えることが好ましい。

これらの実施形態は、仮想表現上にて、直接、正確に配置した注記を生成及び修正することができる点で有利である。

第三の観点にかかる本願発明は、本発明の対象である装置を有する携帯通信端末を提供することを目的とする。

かかる装置を備えることで、本発明による携帯通信端末を小型化することができ、往々にしてアクセス困難な工業環境においても、かかる端末を容易に携帯することが可能になる。

本発明に関する更なる利点、目的、及び特徴は、位置情報処理方法、位置情報処理装置、及びかかる位置情報処理装置を備える携帯通信端末に関する、添付の図面を参照した少なくとも一つの特定の実施形態についての説明記載から明らかとなる。なお、本発明はかかる説明記載によって何ら制限されるものではない。

本発明の対象である方法の一実施形態を示すフローチャートである。 本発明の対象である装置の一実施形態を示す概略図である。 本発明の対象である携帯通信端末の一実施形態を示す概略図である。

まず、図の縮尺は一定比率ではないことに留意されたい。

図１は、本発明の対象である方法１０の特定の実施形態を明らかにするものである。図１示す方法１０は、
-現実環境を表す画像を撮像するステップ１１と、
-現実環境内における装置の位置に対応して、バーチャルモックアップ内にて装置を位置決めするステップ１２と、
-以下の３つのサブステップ１３−１〜１３−３、すなわち、
-慣性ユニットにより移動を推定するステップ１３−１、
-ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ１３−２、及び
-ステップ１３−１及び１３−２にて測定された推定移動量を組み合わせて、装置の移動量を測定するステップ１３−３、
を含む、装置の変位を測定するステップ１３と、
-測定された変位を減少させるステップ１４と、
-測定された変位に応じて仮想表現内における装置の位置を修正するステップ１５と、
-撮像画像と、表示された撮像画像に対応する仮想表現の一部分とを組み合わせ表示する表示ステップ１６と、
-仮想表現上で位置情報を編集するステップ１７と、を含む。

ステップ１１は、撮像装置によって実施される。例えば、撮像装置は、カメラ、写真機、又はスキャナーである。以下、本明細書において、「カメラ」とは撮像装置を指すものとする。カメラは、単眼、立体、ＲＧＢ−Ｄ、又はプレノプティック型カメラでありうる。カメラは、ステップ１１において、以下の二つのモードで撮像を実施することができる。これらのモードは、
-連続的な撮像が可能なビデオモード、及び
-例えば、撮影が難しい場合などに、特定のショットをより詳細に分析するように構成されている静止画モードである。

ビデオモードは、安定化、ノイズ除去、及び超解像により、画像品質を向上させる処理を行うサブステップを含んでも良い。このステップは、例えば、詳細な局部投影図のために用いることができる。

静止画モードは、時間の制約が無い点でビデオモードとは区別される。かかる画像は画質が比較的良く、全画像の位置を最適化することにより、画像全体の位置合わせの手順を実施することができる。例えば、このことは、パノラマ特徴（panoramic feature）のような撮影時の撮影時の特定の特徴を考慮することを含んでも良い。

ステップ１２は、キャリブレーションステップである。キャリブレーションステップを実施するにあたり、特異な意味構造（semantic structure）を仮想表現内にて表示する。かかる仮想表現は、ＤＭＵとも称されるデジタルモックアップでありうる。かかるデジタルモックアップは、好ましくは、コンピュータ支援設計（ＣＡＤ）ソフトウエアによって実現することができる。かかる仮想表現は、組み立て又は検査情報、試験及び測定、注記、制御対象の要素、不適合等を含みうる。かかる情報は異なる種類の情報である。これらは例えば、
-シーン中の対象に関連するメタデータ等のテキストデータ、
-画像、
-形状、
-動画、又は
-事前に使用した際にシーン中の対象から取得した３Ｄスキャン
でありうる。

好ましくは、仮想表現は、表現される対象の設計時に生成された未加工のデジタルモックアップを簡略化したものである。かかる未加工のデジタルモックアップは、フィルタリングされ、さらに体系化されて、
-実行しなければならないタスクに関連する対象を選択し、
-表示又は編集のためにメタデータを抽出し、
-形状を簡略化するためにデータを体系化し、
-デジタルモックアップ内に存在する幾何学的構造を自動分析するための方法により、特異な意味構造を決定する。

これらの特異な意味構造は、
-シーンにおける固有の不明瞭さを最小化し、
-それらの検出確率を最大化し、
-可能であれば参照構造を考慮する
ことが好ましい。

許容制約が必要とする場合には、特異な意味構造は参照構造を考慮する。この場合、特異な意味構造は参照要素の中から排他的に選択される。

かかる特異な意味構造は、好ましくは、点、ライン、サークル、楕円、表面、パラメータ化体積、質感に富む要素、又は輪郭タイプの幾何学的構造である。

具体的には、かかる特異な意味構造は、例えば、
-目視可能で、マルチモーダルで、更に不明瞭ではないシーマーク（seamark）や、
-容易に検出可能なキャリブレーションサイト
であり得る。

「マルチモーダル」という用語は、その本質に関わらず、様々な入手可能な画像から抽出されるプリミティブに対応する。「不明瞭ではない」という用語は、近接した個々の構成又は描写に相当するものとして定義することができる。

目視可能なシーマークによれば、ユーザーが介在しなくともキャリブレーションを行うことが可能である。キャリブレーションサイトはユーザーが介在することを必要とするが、仮想表現内においてサイトをおおよその位置に配置するためにのみ用いられる。サイトを表面上に配置して、表面に対する法線を定義することができる。そして、ユーザーは、仮想表現内における法線性（normality）の再構築及び位置決定を迅速に行うことができる。

更に、その後、デジタル表現内でサイトを自動的に配置することで、方法のロバスト性及びデジタル表現内での装置の位置の精度をさらに向上させることができる。カメラにより新たな配置対象のサイトが画像中に撮像された場合、かかる画像中に既に参照されている少なくとも一つの意味構造があれば、かかるサイトは自動的に配置される。

この後に第一のサイトを配置するにあたり、撮像された画像の特異な意味構造と仮想表現内における特異な意味構造との間での相関関係の対応づけ（相関付け）が実施される。

好ましくは、仮想表現から抽出した輪郭を、画像から抽出した輪郭と位置合わせすることに基づいて相関付けを実施する。これにより、ビデオモードで使用している間のドリフトを低減することができる。

目視可能なシーマークの数が十分であり、サイトを設置する必要がない場合には、ステップ１２の初期化は完全に自動化することができる。さらに、抽出対象であるシーマークまたはサイトは、以下のような基準に従って選択することができる。これらの基準は、例えば、仮想表現内でマークした対象物との近接性、あるいは、サイトのシーマークのサイズ等である。

位置決めステップ１２では、慣性ユニットの初期位置が決定される。

変位を測定するステップ１３は、３つのサブステップ１３−１、１３−２、及び１３−３において実施される。

慣性ユニットにより移動量を推定するステップ１３−１は、ステップ１２において決定した慣性ユニットの初期位置と、装置の変位に従う慣性ユニットの推定位置との間での変位量を計算するステップである。

ある時点とその後の時点において撮像した画像間における相対的な移動量を推定する相対移動量ステップ１３−２は、画像処理ステップである。さらに具体的には、２つの画像において意味構造が認識される。画像内におけるこれらの構造の位置を比較することで、装置の移動量を推定することが可能となる。

ステップ１３−２は、反復可能であり、例えば、テクスチャの描写や、奥行きマッピング、法線マッピング等の仮想表現の性能を利用することができる。好ましくは、かかるステップは、カメラで撮像した画像から抽出した２Ｄ又は３Ｄプリミティブと、以前に参照した描写から抽出した３Ｄプリミティブとの間でマッチングを実施するステップである。目視可能な３Ｄプリミティブの選択は、本質的に管理されており、モデルを準備するステップを省略することができる。

ステップ１３−１及び１３−２にて測定された推定移動量を組み合わせるステップ１３−３では、装置の移動量を測定する。好ましくは、ステップ１２で得られた相関を用いた推定位置と、推定移動量とを組み合わせて、後の時点における装置の位置を決定する。

信頼レベルは各推定に依存する。変位量は、各推定の信頼レベルに応じて重み付けされて決定されることが好ましい。従って、かかる方法は一層ロバスト且つ正確である。例えば、画像がぼやけている場合、相関により推定された位置の信頼レベルは低い。

ステップ１３−３は、
-参照するシーマークの数を減らし、これに伴ってステップ１３−２で決定したプリミティブの数を減らすことによりキャリブレーションの労力を低減し、
-例えば、カメラが遮られた場合など、目視によるキャリブレーションが一時的に不可能となる事象において再付与（attachment）のロバスト性を向上させるように構成されている。

ステップ１３−３にて測定された変位量を減少させるステップ１４は、仮想表現と撮像画像との間の浮動の影響を小さくするように構成されている。ステップ１４は、慣性ユニットからの回転移動及び平行移動データをフィルタリングすることができる。例えば、慣性ユニットによる推定移動量をフィルタリングして、ユーザーにより引き起こされた振動や小さな動きの影響を最小化することができる。意味構造の選択モードに応じて、画像内における対象点との位置の整合性を保ちつつ、小さな動きを減少させることができる。

測定した変位に応じて仮想表現内における装置の位置を修正するステップ１５は、ステップ１３−３で測定され、ステップ１４で減少された変位量に応じて、装置の位置を正確に更新するように構成されている。

撮像画像と表示された撮像画像に対応する仮想表現の一部分とを組み合わせて表示するステップ１６は、ステップ１５にて修正され、仮想表現の参照フレーム内に配置された、装置の位置及び方向を用いて、表示すべき仮想表現の一部を決定する。このような組合せ表示は、
-例えば、画像を相互に並べて並置して、比較できるように表示するか、又は、
-仮想表現を透明にして重ね合わせ表示して、未処理のデジタルモックアップに追加され、工業プロセスにリンクされる情報を表示したものである。

かかる表示は、
-分析対象のシーンの全体図を得るための広視野ビューであるグローバルビューであるか、
-グローバルビュー内で表示される、グローバルビューの一部の拡大図であるローカルビューでありうる。

仮想表現上での位置情報を編集するステップ１７は、ステップ１６で提供された情報表示に基づいて実施される。正確に配置された情報は、自動又は手動で仮想表現と関連づけることができる。例えば、かかる情報は、
-オペレータによる、現実環境との不整合の指摘、
-カメラにより取得した写真、動画、又は３Ｄスキャン、
-例えば、圧力、温度又は光度の測定が可能な外部機器により取得された情報でありうる。

これらの情報は仮想表現内に記録され、後の用途のために使用することができる。これらの情報は、例えば、不整合の修正のような局所的な状態変化を考慮にいれるために編集することができる。

また、編集ステップは、局所的な整合に基づいてユーザーが確認することにより実行される場合もある。かかる確認は、上述したような重ね合わせ表示によって実行されることが好ましい。仮想表現の位置は透明であり、静止画像に基づいて位置あわせを実施することが好ましい。画像全体の位置あわせを疑うことなく、オペレータは３Ｄ上で孤立した位置をずらすことができる。整列すべきポイントを中心としてズームすることにより、ユーザーは現実の状態を仮想表現と正確に位置あわせすることができる。

方法１０は、装置２０によって実行される。

図２は、本発明の対象である装置２０の特定の実施形態を明らかにするものである。

カメラ２０５は、画像２１０を撮像し、その後、画像２１５を撮像する。画像２１０及び２１５は、現実環境を表現している。画像２１０は装置２２５に送信される。装置２２５は、現実環境の仮想表現２２０も考慮する。装置２２５は、特異な意味構造を仮想表現及び撮像画像から抽出し、方法１０のステップ１２に従ってデジタル表現の参照フレーム内で装置の位置情報２３０を取得するように構成された対応付けを実施する。装置２２５は、例えばマイクロプロセッサでありうる。

画像２１０は、画像２１５と共に装置２３５へと送信される。装置２３５は、上述の２つの画像について特異な意味構造を抽出し、それらを比較して、画像２１０が撮像された時点と、画像２１５が撮像された時点との間における、装置２０の移動量を推定する。例えば、装置２３５は方法１０のステップ１３−２に従う推定を実施するマイクロプロセッサである。情報２４０は、装置２３５の出力時点での装置２０の推定移動量である。

慣性ユニット２４５は、画像２１０が撮像された時点で初期化される。慣性ユニットは、方法１０のステップ１３−１に従って、装置２５５に対して推定移動量情報一式２５０を提供する。

装置２５５は、マイクロプロセッサであり得る。装置２５５は、装置２０からの初期位置情報２３０を考慮し、推定移動量情報２４０及び２５０に応じて、仮想表現内における装置２０の新たな位置情報に対応する信号２６０を送信する。装置２５５は、方法１０のステップ１３−３、１４、及び１５を実施する。

装置２７０は、表示装置である。装置２７０は、画像２１５及び仮想表現２２０を組み合わせて、画像２１５に対応する位置情報２６０によりもたらされた位置で表示する。装置２７０は、仮想表現上で編集が必要な情報一式２６５も考慮することができる。装置２７０から出力される情報２７５は、編集された仮想表現である。

図３は、本発明の対象である移動通信端末３０の特定の実施形態を明らかにするものである。

移動通信端末３０は、装置２０の残部に接続された表示スクリーン２７０を有する。好ましくは、移動通信端末３０は、
-デジタルタブレット、
-「スマートホン」型装置、
-眼鏡、
-ヘルメット、又は
-コンピュータである。

Claims (8)

1. 仮想表現（２２０）並びに慣性ユニット（２４５）及びイメージセンサ（２０５）を有する装置（２０）により位置情報を処理する方法（１０）であって、該方法（１０）は、
   -前記装置の現実環境の少なくとも一つの画像（２１０）を撮像するステップ（１１）と、
   -前記現実環境内における前記装置の位置に対応して、前記仮想表現内にて前記装置を配置するステップ（１２）であって、少なくとも一つの撮像画像（２１０）について、前記仮想表現（２２０）内で予め定義されている、目視可能且つマルチモーダルなシーマークに対応する、前記撮像画像内の複数の部分と、前記仮想表現内の複数の部分との相関付けを自動認識によって実施する、ステップ（１２）と、
   -少なくとも前記慣性ユニットにより前記装置の変位量を測定するステップ（１３）と、
   -前記変位量を測定する前記ステップ（１３）に従って測定された前記変位量を減少させるステップ（１４）と、
   -前記ステップ（１４）で減少された前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる、ステップ（１５）と、を含むことを特徴とする位置情報処理方法（１０）。
2. 前記変位量を測定するステップ（１３）は、
   -前記慣性ユニットにより移動量を推定するステップ（１３−１）と、
   -ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ（１３−２）、及び
   -推定された前記移動量を組み合わせるステップ（１３−３）を含む、請求項１に記載の、位置情報処理方法（１０）。
3. 前記撮像画像（２１０）及び表示された前記撮像画像に対応する前記仮想表現（２２０）の一部分を組合せ表示するステップ（１６）を含む、請求項１又は２に記載の位置情報処理方法（１０）。
4. 前記仮想表現（２２０）上での位置情報（２６５）を編集するステップ（１７）を含む、請求項１〜３の何れか一項に記載の位置情報処理方法（１０）。
5. 位置情報を処理する装置（２０）であって、該装置は
   -前記装置の現実環境の少なくとも一つの画像（２１０）を提供するイメージセンサ（２０５）と、
   -仮想表現（２２０）へのアクセス手段と、を備え、
   さらに、
   -前記現実環境内における前記装置の位置に対応して、前記仮想表現内にて前記装置を配置する手段（２２５）であって、少なくとも一つの撮像画像（２１０）について、前記仮想表現（２２０）内で予め定義されている、目視可能且つマルチモーダルなシーマークに対応する、前記撮像画像内の複数の部分と、前記仮想表現内の複数の部分との相関付けを自動認識によって実施する手段（２２５）と、
   -前記装置の変位量（２５０）を測定する慣性ユニット（２４５）と、
   -前記慣性ユニットにより測定された前記変位量を減少させ、減少させた前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる手段（２５５）と、を備えることを特徴とする、位置情報処理装置（２０）。
6. 前記撮像画像（２１０）及び表示された前記撮像画像に対応する前記仮想表現（２２０）の一部分を組合せ表示する、表示手段（２７０）を備える、請求項５に記載の位置情報処理装置（２０）。
7. 前記仮想表現（２２０）上での位置情報を編集する手段（２７０）を備える、請求項５又は６に記載の位置情報処理装置（２０）。
8. 請求項５〜７の何れか一項に記載の位置情報処理装置（２０）を備える、移動通信端末（３０）。