JP7510186B2 - コンピュータにより実行される、交通参加者を案内するための方法 - Google Patents
コンピュータにより実行される、交通参加者を案内するための方法 Download PDFInfo
- Publication number
- JP7510186B2 JP7510186B2 JP2021561660A JP2021561660A JP7510186B2 JP 7510186 B2 JP7510186 B2 JP 7510186B2 JP 2021561660 A JP2021561660 A JP 2021561660A JP 2021561660 A JP2021561660 A JP 2021561660A JP 7510186 B2 JP7510186 B2 JP 7510186B2
- Authority
- JP
- Japan
- Prior art keywords
- multimodal
- map
- view
- dimensional map
- artificial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000001771 impaired effect Effects 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 239000010813 municipal solid waste Substances 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Description
本発明は、交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも2つの場所の間で案内するための、コンピュータにより実行される方法に関する。
GPS(Global Positioning System)への公衆のアクセスのしやすさと、継続的に強力になるスマートフォンなどの可搬型コンピュータ装置の開発により、コンピュータナビゲーションシステムの使用が、電動の交通参加者と非電動の交通参加者の間で広く普及している。
しかし、車の往来の中を移動する際に最も支援を必要とすると思われる視覚障害者は、現在のナビゲーションシステムを利用することができない。
したがって、本発明の目的は、前述の障害および欠点を克服し、任意の交通参加者、特に視覚障害者が使用できるナビゲーションシステムを提供することである。
この課題は、請求項1に記載の方法によって解決される。
本発明の更に好ましい有利な実施形態は、従属項の主題である。
以下では、本発明の好ましい実施形態と現在の技術の問題について説明する。
以下に記載する実施形態および態様は、本発明とそれに関連する問題を例示することのみを目的としており、図示した例に限定されるものではなく、広範囲の応用が可能である。
図1は、都市のシーン1を示す。この都市のシーン1は、歩道2と、車道のより近くに建てられた建物3と、車道からより遠くに建てられた建物4と、花壇5と、街灯柱6と、停車中の車7とを有する。また、図1は、例示的な経路8を示す。この例示的な経路8は、従来のナビゲーションシステムによって計算することができる。歩行者が取る実際の経路は、通常、図示された直線から逸脱し、花壇5と、車道により近い建物3を考慮することが明確にわかる。しかし、この動作を行うには、歩行者は、花壇5または不規則に配置された建物3、4について知る必要がある。この情報は、そのシーンに存在して、前述の都市の構成要素の配置を見るだけで簡単に取得することができる。しかし、そのシーンを評価するための視覚的情報が不足している場合、上記の経路8は不十分であり、危険ですらある。例えば、視覚障害者は、時として白杖で発見することができない花壇5の縁でつまずいてしまう。
図2に示すシーンは、図1と同じであり、改良された経路9を有する。この経路9を歩行者がたどる場合、障害物に起因する調整は不要である。花壇5と、配置の異なる建物3,4は、もはや危険ではない。
他の2つの問題を図3に示す。第1に、視覚障害のある歩行者が車道10を横断したいときに生じる問題がある。安全が最重要であることを前提とすると、車道の横断を要するすべての経路は、横断歩道11が常に他の経路より優先されるように構築する必要がある。第2に、特に都市周辺では、ボラード12、街灯柱6(図1参照)、ゴミ箱13、道路標識14などの固定設備は、回避しなければならない安全上の危険である。これらの要件を満たす最適化された経路15も図3に示す。
このような最適化された経路9、15を作成し、効率的に使用するために、システムの3つの主要な特性が非常に有利である。第1に、できるだけ正確で細かい経路が地図上に定義される。第2に、ユーザが経路をたどることができるように、ユーザの位置は、非常に高い精度で、非常に細かい測定値の範囲内で(およそ数センチの範囲内で)知る必要がある。GPSや磁気センサ(モバイル機器のコンパス)などの現在の技術によって提供されている通常の「数メートル」の精度では不十分である。第3に、視覚障害者が経路情報を利用することができるように、経路情報は、そのような人が利用できるような方法で伝達される。
このタスクを遂行するために、本発明に係る視覚障害者のための案内システムは、以下のステップの遂行を含む必要がある。
A.マルチモーダル3次元マップを提供すること
B.マルチモーダル3次元マップに基づいて、少なくとも1つのウェイポイントを経由して少なくとも2つの場所を結ぶ経路を計算すること
C.好ましくはマルチモーダル3次元マップを使用して、交通参加者の正確な位置を特定すること
D.経路に沿ってウェイポイントにビーコンを設定すること
A.マルチモーダル3次元マップを提供すること
B.マルチモーダル3次元マップに基づいて、少なくとも1つのウェイポイントを経由して少なくとも2つの場所を結ぶ経路を計算すること
C.好ましくはマルチモーダル3次元マップを使用して、交通参加者の正確な位置を特定すること
D.経路に沿ってウェイポイントにビーコンを設定すること
ステップAで提供されるマルチモーダル3次元マップは、2つ以上の異なるソースから導出され、各ソースは別の情報のレイヤを追加する。正確ではあるが従来型の地図は、歩道や車道の位置ついての情報を含むことができるが、おそらく歩道と花壇を区別しない。(地方自治体の)樹木の目録は、樹木の位置に関する情報を提供することができる。この樹木の目録は、しばしば、公共の花壇の正確な位置が図示される、庭園と公園部門と組み合わされる。地方公営企業は、電気(街灯柱)と水(消火栓、マンホール)に関する情報を提供することができる。交通を担当する部門は、信号機、横断歩道などの位置を示す図面を提供することができる。
前述の地図および測地情報の次に、他の情報ソース、例えば、航空写真、衛星画像、地表面テクスチャデータまたは従来の3Dデータを、マルチモーダル3次元マップに追加することができる。後者は、住宅の形状や場所など、3次元オブジェクトに関する単純な幾何学的情報である。
マルチモーダル3次元マップを作成するための上記のソース候補のリストは網羅的なものではなく、都市や地域の特徴を反映するように拡張することができる。例えば、歩道上の自転車通路、馬車用のスペース、路面電車の線路、階段、舗装の種類(特に敷石)、記念碑、(公園の)ベンチ、水飲み場、ゴミ箱、自転車スタンド、レストランの屋外ダイニングエリア、除細動器などである。
図4~図6は、自由に利用可能な地図と情報の様々な例を示している。これらの地図と情報は、マルチモーダル3次元マップに組み合わせることができる。図4は、2次元マップを示す。図5は、再構成された航空写真を示す。この航空写真は、様々なセンサを有する様々な衛星からの様々な多数のデータセットを有する衛星画像から導出される。図6は、図4と図5に描かれた領域の3次元モデルを示す。図7は、図4~図6に示す領域のいわゆる「デプス画像」を示す。デプス画像は、定義された軸に沿った距離を示す。通常、遠い地表面は暗く表現され、近い地表面は明るく表現される。図示した例では、定義された軸は垂直である。要するに、デプス画像の明るい部分は高い部分で、暗い部分は平坦または低い部分である。都市のシーンの場合、図7のデプス画像は、従って、建物とその他の構造物の高さを示す。
すべてのデータレイヤは、多数の利用可能なソースから取得することができる。データを入手する好ましい方法は、オープンソースを使用することである。例えば、2次元マップデータ、航空写真/地図、および従来の3次元マップデータは、多くの場合、使用制限なしに、OpenStreetMap財団などから入手できる。さらに、政府機関のような他の情報ソースは、都市に関する地理的データを公開している。
例えば、ウィーン市には、前述の3つのソースと、地図上の各ポイントに存在するオブジェクトの高さを抽出できる前述の地表面モデルとがある。ウィーン市には合計で50を超える様々なデータセットがあり、それらは複数の詳細レベルを有し、マルチモーダル3次元マップを作成するために使用できる。.
本発明の好ましい実施形態では、マルチモーダル3次元マップの異なるレイヤは、空間的に整合するように結合される。空間的な整合性は、例えば、住宅のような物体や特徴を共通の座標系で定義することで達成することができる。このステップを実行するだけで、各レイヤはすでにある程度位置合わせされる。さらに、より正確な位置合わせは、本技術分野で周知の画像レジストレーション方法を、両方のマップレイヤに存在する特徴(例えば、航空写真と2次元レイヤの建物)に基づいて使用することで、達成することができる。この位置合わせにより、一部のレイヤにのみ存在するオブジェクトの位置(道路の境界や消火栓など)を、マルチモーダルマップ上の他のすべての特徴と関連付けることができる。
組み合わせると、図4~図7に例示する様々なタイプのデータセットから、以下の情報を抽出することができる。
3次元レイヤからは、例えば、建物の壁19(図8参照)又は縁20(図8参照)の正確な位置に関する情報を得ることができる。歩道2と車道10の境界22(図9参照)は、航空写真から抽出することができる。デプス画像と3次元マップの組み合わせるからは、例えば、樹木の正しい位置についての非常に正確な推定値(図8の障害物21を参照)が得られる。この例で言及しているすべての情報ソースは、ウィーン市にあり、市政府とその他の非政府の情報ソースから自由に入手可能なオープンデータである。
マルチモーダル3次元マップはまた、例えば、自律走行車を自動的に案内したり、路上での大きな物体の輸送を計画したりする場合に、本発明とは独立して非常に有用であり得る。
本発明のさらなる実施形態によれば、少なくとも1つの歩行可能な空間がマルチモーダル3次元マップ内に定義される。この歩行可能な空間は、非常に単純な例では、すべての歩道から歩道以外のすべてを差し引いたものである。例えば、歩道からすべてのベンチ、ゴミ箱、シングポスト、街灯柱、ボラード、花壇などを差し引いたものである。この場合、歩行可能な空間は自動的に定義することができる。もちろん、歩行可能な空間は手動で定義することもできる。
基本的に静止している前述のオブジェクトの次に、他の側面も考慮に入れることができる。例えば、非常に忙しい店の入口部分は、歩行可能な空間から除外して回避することができる。
したがって、ステップBは、マルチモーダル3次元マップに基づいて、特に歩行可能な空間に基づいて、実行されることが好ましい。
また、ステップB(経路の計算)を実行する際、2つの歩行可能な空間を少なくとも1つのウェイポイントを介して接続することができる。さらに、2つ以上の歩行可能な空間がマルチモーダル3次元マップ内で互いに隣接していない場合、少なくとも1つの移行空間が定義され、その移行空間は、前記2つ以上の歩行可能な空間の間の隙間を埋める。
これを図3に示す。歩道2は、他の離れた歩道16と直接隣接していない。それらの歩道は、2つのウェイポイント17、18を介して接続されている。それらの歩道の間に横断歩道11がある。この場合、横断歩道11は、2つの歩道2、16の間の隙間を埋める移行空間である。その他の種類の移行空間としては、例えば、信号機とそれらの間の道路などがある。ただし、階段や、石畳のような困難な舗装の空間も、安全な歩行空間と見なされない場合には、移行空間になる可能性がある。
本発明の別の態様を、図8と図9に示す。これらの図は、マルチモーダル3次元マップの2次元ビューの非常に単純化された例を示す。
マルチモーダル3次元マップは、通常のマップと同様に、建物3、車道10および歩道2を示す。しかし、情報の追加レイヤへの猶予により、建物3の壁19および縁20の正しい位置が、それらの実際の位置とともに正しく記される。樹木21が登録され、適宜配置されている。同じことが、歩道2と車道10の間に正しく記された境界22にも当てはまる。
本発明の好ましい一実施形態によれば、少なくとも1つの障害物が識別され、マルチモーダル3次元マップ内にマークされ、少なくとも1つのウェイポイントがその障害物を回避するように設定される。
図9に見られるように、経路15は、いくつかのウェイポイント23に沿って作成されている。これらのウェイポイント23は、壁19、縁20、樹木21のような障害物を回避し、車道10と歩道2の間の境界23を回避する。
ウェイポイント23を自動または手動で設定する場合、歩行可能な空間ではない空間から最大距離になるように試みることが重要である。ウェイポイントに適した場所を見つける簡単な方法は、ボトルネックを特定し、本質的にそのボトルネックの中央にウェイポイントを配置して、歩行可能な空間ではないすべての空間への最大距離を実現することである。
現在作成されている経路をたどるには、人(または車両/ドローン)の正確な位置を知る必要がある。これは、好ましくは、コンピュータにより実行される本方法を実行するために使用される装置、例えば、スマートフォンの位置を特定することによって行うことができる。しかし、装置の位置を特定する方法は、装置が経路上のどこにあるのか、または経路上または経路の近くにあるか否かを確実に判断するのに十分な精度ではない。
本発明のステップCの間に交通参加者の正確な位置を決定するための1つの可能な方法を、図10のフローチャートに示す。
図示した好適な実施形態は、以下のサブステップを含む。
a.周囲の少なくとも1つのデジタル画像を処理して実際のビューを取得し、
b.未加工の位置に基づいて少なくとも1つの可能な人工的なビューを生成し、その未加工の位置は、マルチモーダル3次元マップの一部であり、その人工的なビューを提供するために描かれているシーンを提供し、
c.人工的なビューと実際のビューを比較し、
d.人工的なビューと実際のビューが本質的に同じである場合に、その人工的なビューが生成された視点として位置を提供し、サブプロセスを完了し、
e.人工的なビューと実際のビューが本質的に同じでない場合に、少なくとも1つの異なる人工的なビューでサブプロセスを繰り返す。
a.周囲の少なくとも1つのデジタル画像を処理して実際のビューを取得し、
b.未加工の位置に基づいて少なくとも1つの可能な人工的なビューを生成し、その未加工の位置は、マルチモーダル3次元マップの一部であり、その人工的なビューを提供するために描かれているシーンを提供し、
c.人工的なビューと実際のビューを比較し、
d.人工的なビューと実際のビューが本質的に同じである場合に、その人工的なビューが生成された視点として位置を提供し、サブプロセスを完了し、
e.人工的なビューと実際のビューが本質的に同じでない場合に、少なくとも1つの異なる人工的なビューでサブプロセスを繰り返す。
ステップa.は、プロセスを実行するために使用される装置の前のシーンを撮影することで簡単に実行できる。その装置がスマートフォンである場合には、スマートフォンのカメラを使用できる。
シーンの撮影も写真の撮影と見なされる。なぜなら撮影は、基本的に(高い)フレームレートで写真を撮影することであるからである。
より大きな実際のビューを作成するために紐付けられた一連の画像も、本発明の範囲内にあると考えられる。
次に、少なくとも1つの人工的なビューを作成する。これは、例えば、当業者に周知であるように、レイキャスタを使用することによって行うことができる。単純なレイキャスタは、ある視点から3D表面に対して光線を飛ばし、光線が最初に当たる表面をレンダリングする。より洗練されたレイキャスタは、素材を考慮に入れ、例えば、ガラスを通過したかのようにビューをレンダリングすることさえできる。しかし、本発明のこの実施形態では、非常に単純なレイキャスタで十分である。3D画像をレンダリングする他の方法も採用することができる。この実施形態の場合、3D表面は、マルチモーダル3次元マップである。
視点は未加工の位置である。未加工の位置は、例えば、GPS、磁気センサ、または加速度計やジャイロスコープのようなモーションセンサを使用する慣性航法システムのような、任意の既知の位置特定手段によって得ることができる。未加工の位置の推定は、マップ内の以前の既知の正確な位置の一部またはすべてを考慮することによっても改善することができる。この情報は、地図の(壁のような)幾何学的制約とともに使用して、センサから推定される現在の未加工の位置の不確実性を低減することができる。例えば、人は建物や樹木がある場所に立つことはできない。
次に、人工的なビューと実際のビューが比較される。それらが本質的に同じである場合、人工的なビューの視点は交通参加者の位置と見なされる。それらが同じでない場合、位置が特定されるまで、さらに人工的なビューが実際のビューと比較される。
位置を特定するための前述の方法を妨げる可能性がある1つの問題は、実際のビューを作成するために使用される画像を撮るカメラの視野が妨げられることである。
そのような障害となり得るのは、マルチモーダル3次元マップの表面およびオブジェクトとカメラとのの間にあるオブジェクトである。そのような障害の通常の原因は、シーンの一部になり得るが、マルチモーダル3次元マップによって捕捉されない動的なオブジェクトである。例えば、自動車24、歩行者25(両方について図3を参照)、一時的なアート・インスタレーション、またはA型看板のような広告である。
実際のビューと人工的なビューを考慮するためのしきい値が非常に粗く設定されている場合でも、動的オブジェクトの数が多いと、ビューを比較するときに誤った否定が発生する可能性がある。この問題を回避するために、デジタル画像を処理して実際のビューを作成するときに、「i.画像から動的オブジェクト削除する」というサブステップを実行する。動的オブジェクトを削除する1つの可能な手段は、人工知能でそれらを識別することである。ここで言う人工知能とは、例えば、画像中の歩行者、自動車、自転車などを識別するように訓練された畳み込みニューラルネットワークである。
ここに記述した位置を特定する方法は、本発明とは無関係に有利に実施することができる。この方法は、本発明の前述の他の特徴と組み合わせて使用することも、単独で使用することもできる。
正確な位置が特定されると、ユーザとその周辺との関係が分かり、現実に正確に適合する拡張現実を生成することができる。
この場合のユーザは、当該技術分野において周知である必要はない。ユーザは、本方法が実行されてる装置を単に操作することができれば、例えば、スマートフォンを使用できれば、それで十分である。
本発明の好ましい実施形態によれば、ステップDからのビーコンは、上記の拡張現実内で認識可能である。
例えば、知覚可能なビーコンは、スマートグラスの視野内であって、位置を特定するために撮影された写真内、または前述の装置のカメラの視野内に重ね合わせることができる。
しかし、これらの手段は視覚障害者にとってほとんどまたは全く役に立たない。したがって、本発明のさらに好ましい実施形態によれば、本方法は、拡張現実が音響的であり、ビーコンがそれぞれの位置で聞こえることを特徴とする。これは、例えば、各位置でノイズをシミュレートするヘッドホンを介して実現することができる。より単純な例示的な実施形態では、装置は、最も近いビーコンに向けられたときに大きな音を発生させ、離れたときに小さい音を発生させる。ビーコン/ウェイポイントに到達すると、音を再生して、次のビーコンの音が再生されていることを示すことができる。ステレオ技術を使用すると、ウェイポイントがユーザの左側にある場合には左スピーカで音が大きく聞こえ、ウェイポイントがユーザの右側にある場合には右スピーカで音が大きく聞こえるようになる。好ましい実施形態では、バイノーラル仮想オーディオ(空間オーディオまたは3Dオーディオとも呼ばれる)を使用することができる。この場合、装置は音源を処理して、音がウェイポイントの実際の空間位置から来ていることをユーザに対してシミュレートする。この技術は、人間が音源の方向と距離を知覚する方法をシミュレートするものであり、空間に仮想音源を実装する(オーディオ拡張現実)ための真の手段であるため、ユーザに経路を案内することが理想的である。
また、一度に1つのビーコンのみがアクティブになることが好ましい。経路に沿って最も近いビーコンのみがアクティブであり、ユーザがそれぞれのウェイポイントに到達すると、次のビーコンに切り替わることが好ましい。
ここに記述した人を案内するための方法は、本発明とは無関係に有利に実施することができる。例えば、人に建物内を案内するような、他の方法に基づく案内システムに使用することができる。その場合、周囲に対するユーザの位置を特定するための可能な方法は、例えば、建物内のRFIDトランスポンダと、ユーザに取り付けた対応するRFIDチップを使用することである。
もちろん、拡張現実には、さらなる指標を含めることができる。例えば、遷移空間に到達または交差するとき、または、どのようなタイプの遷移空間があるのか(横断歩道、信号機、階段、ランプ、リフト、エスカレータなど)を示すものである。
一般に、マルチモーダル3次元マップに記されるすべての要素は、拡張現実の一部となり得る。
本発明に係る交通参加者は、歩行者だけでなく、自転車に乗る人、ドローン、自動車などであってもよい。
1 都市のシーン
2 歩道
3 建物
4 建物
5 花壇
6 街灯柱
7 車
8 経路
9 経路
10 車道
11 横断歩道
12 ボラード
13 ゴミ箱
14 道路標識
15 経路
16 歩道(未接続)
17 ウェイポイント
18 ウェイポイント
19 壁
20 縁/角
21 樹木
22 境界
23 ウェイポイント
24 自動車
25 歩行者
本技術は、以下の特徴を含む。
(1)交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも2つの場所の間で案内するための、コンピュータにより実行される方法であって、
A.マルチモーダル3次元マップを提供するステップと、
B.前記マルチモーダル3次元マップに基づいて、少なくとも1つのウェイポイントを経由して前記少なくとも2つの場所を結ぶ経路を計算するステップと、
C.好ましくは前記マルチモーダル3次元マップを使用して、前記交通参加者の正確な位置を特定するステップと、
D.前記経路に沿って前記ウェイポイントにビーコンを設定するステップと
を含む方法。
(2)前記マルチモーダル3次元マップは、少なくとも2つの、好ましくはより多くのソースから作成されることを特徴とする、上記1に記載の方法。
(3)ステップAのソースは、2次元マップデータ、衛星画像、従来の3次元情報、地形図、(地方自治体の)街路樹目録、消火栓の計画、道路建設の計画、3次元モデルの表面テクスチャおよび航空写真のうちの少なくとも1つ以上を含むことを特徴とする、上記2に記載の方法。
(4)前記マルチモーダル3次元マップ内に少なくとも1つの歩行可能な空間が定義されることを特徴とする、上記1から3のいずれか1項に記載の方法。
(5)ステップBは、前記マルチモーダル3次元マップ内の前記歩行可能な空間に基づいて実行されることを特徴とする、上記4に記載の方法。
(6)2つの隣接する歩行可能な空間は、少なくとも1つのウェイポイントを介して接続されることを特徴とする、上記4または5に記載の方法。
(7)ステップAの間に、前記マルチモーダル3次元マップ内に少なくとも1つの遷移空間が定義され、その遷移空間は、互いに隣接していない少なくとも2つの歩行可能な空間の間の隙間を埋めることを特徴とする、上記4から6のいずれか1項に記載の方法。
(8)前記マルチモーダル3次元マップにおいて少なくとも1つの障害物が識別されてマークされ、少なくとも1つのウェイポイントが前記障害物を回避するように設定されることを特徴とする、上記1から7のいずれか1項に記載の方法。
(9)ステップCは、
a.周囲の少なくとも1つのデジタル画像を処理して実際のビューを取得し、
b.未加工の位置に基づいて少なくとも1つの可能な人工的なビューを生成し、その未加工の位置は、前記マルチモーダル3次元マップの一部であり、前記人工的なビューを提供するために描かれているシーンを提供し、
c.前記人工的なビューと前記実際のビューを比較し、
d.前記人工的なビューと前記実際のビューが本質的に同じである場合に、前記人工的なビューが生成された視点として位置を提供し、前記サブプロセスを完了し、
e.前記人工的なビューと前記実際のビューが本質的に同じでない場合に、少なくとも1つの異なる人工的なビューで前記サブプロセスを繰り返す
というサブステップで実行されることを特徴とする、上記1から8のいずれか1項に記載の方法。
(10)サブステップC.a.は、
i.前記デジタル画像から動的オブジェクトを削除する
というサブステップを含むことを特徴とする、上記9に記載の方法。
(11)前記動的オブジェクトは、自動車、他の歩行者、動物、移動可能なゴミ箱、A型看板、移動可能な広告用の設置物、自転車などを含むリストの中の1つ以上であることを特徴とする、上記10に記載の方法。
(12)ステップCの正確な位置と、ステップAからの前記マルチモーダル3次元マップとにより、ユーザの周囲に拡張現実が作成され、ステップDからの前記ビーコンは前記拡張現実において知覚可能であることを特徴とする、上記1から11のいずれか一項に記載の方法。
(13)前記拡張現実は音響的であり、前記ビーコンはそれぞれの位置で聞こえることを特徴とする、上記12に記載の方法。
(14)1つまたは2つのビーコンのみが同時にアクティブであり、前記アクティブなビーコンは経路の方向に最も近接していることを特徴とする、上記1から13のいずれか1項に記載の方法。
(15)装置が、上記1から14のいずれか1項に記載の方法を実行することを特徴とする、交通参加者を案内するためのシステム。
2 歩道
3 建物
4 建物
5 花壇
6 街灯柱
7 車
8 経路
9 経路
10 車道
11 横断歩道
12 ボラード
13 ゴミ箱
14 道路標識
15 経路
16 歩道(未接続)
17 ウェイポイント
18 ウェイポイント
19 壁
20 縁/角
21 樹木
22 境界
23 ウェイポイント
24 自動車
25 歩行者
本技術は、以下の特徴を含む。
(1)交通参加者、特に歩行者、特に視覚障害者を、特に都市環境において、少なくとも2つの場所の間で案内するための、コンピュータにより実行される方法であって、
A.マルチモーダル3次元マップを提供するステップと、
B.前記マルチモーダル3次元マップに基づいて、少なくとも1つのウェイポイントを経由して前記少なくとも2つの場所を結ぶ経路を計算するステップと、
C.好ましくは前記マルチモーダル3次元マップを使用して、前記交通参加者の正確な位置を特定するステップと、
D.前記経路に沿って前記ウェイポイントにビーコンを設定するステップと
を含む方法。
(2)前記マルチモーダル3次元マップは、少なくとも2つの、好ましくはより多くのソースから作成されることを特徴とする、上記1に記載の方法。
(3)ステップAのソースは、2次元マップデータ、衛星画像、従来の3次元情報、地形図、(地方自治体の)街路樹目録、消火栓の計画、道路建設の計画、3次元モデルの表面テクスチャおよび航空写真のうちの少なくとも1つ以上を含むことを特徴とする、上記2に記載の方法。
(4)前記マルチモーダル3次元マップ内に少なくとも1つの歩行可能な空間が定義されることを特徴とする、上記1から3のいずれか1項に記載の方法。
(5)ステップBは、前記マルチモーダル3次元マップ内の前記歩行可能な空間に基づいて実行されることを特徴とする、上記4に記載の方法。
(6)2つの隣接する歩行可能な空間は、少なくとも1つのウェイポイントを介して接続されることを特徴とする、上記4または5に記載の方法。
(7)ステップAの間に、前記マルチモーダル3次元マップ内に少なくとも1つの遷移空間が定義され、その遷移空間は、互いに隣接していない少なくとも2つの歩行可能な空間の間の隙間を埋めることを特徴とする、上記4から6のいずれか1項に記載の方法。
(8)前記マルチモーダル3次元マップにおいて少なくとも1つの障害物が識別されてマークされ、少なくとも1つのウェイポイントが前記障害物を回避するように設定されることを特徴とする、上記1から7のいずれか1項に記載の方法。
(9)ステップCは、
a.周囲の少なくとも1つのデジタル画像を処理して実際のビューを取得し、
b.未加工の位置に基づいて少なくとも1つの可能な人工的なビューを生成し、その未加工の位置は、前記マルチモーダル3次元マップの一部であり、前記人工的なビューを提供するために描かれているシーンを提供し、
c.前記人工的なビューと前記実際のビューを比較し、
d.前記人工的なビューと前記実際のビューが本質的に同じである場合に、前記人工的なビューが生成された視点として位置を提供し、前記サブプロセスを完了し、
e.前記人工的なビューと前記実際のビューが本質的に同じでない場合に、少なくとも1つの異なる人工的なビューで前記サブプロセスを繰り返す
というサブステップで実行されることを特徴とする、上記1から8のいずれか1項に記載の方法。
(10)サブステップC.a.は、
i.前記デジタル画像から動的オブジェクトを削除する
というサブステップを含むことを特徴とする、上記9に記載の方法。
(11)前記動的オブジェクトは、自動車、他の歩行者、動物、移動可能なゴミ箱、A型看板、移動可能な広告用の設置物、自転車などを含むリストの中の1つ以上であることを特徴とする、上記10に記載の方法。
(12)ステップCの正確な位置と、ステップAからの前記マルチモーダル3次元マップとにより、ユーザの周囲に拡張現実が作成され、ステップDからの前記ビーコンは前記拡張現実において知覚可能であることを特徴とする、上記1から11のいずれか一項に記載の方法。
(13)前記拡張現実は音響的であり、前記ビーコンはそれぞれの位置で聞こえることを特徴とする、上記12に記載の方法。
(14)1つまたは2つのビーコンのみが同時にアクティブであり、前記アクティブなビーコンは経路の方向に最も近接していることを特徴とする、上記1から13のいずれか1項に記載の方法。
(15)装置が、上記1から14のいずれか1項に記載の方法を実行することを特徴とする、交通参加者を案内するためのシステム。
Claims (18)
- 交通参加者を、少なくとも2つの場所の間で案内するための、コンピュータにより実行される方法であって、
A.マルチモーダル3次元マップを提供するステップと、
B.前記マルチモーダル3次元マップに基づいて、少なくとも1つのウェイポイントを経由して前記少なくとも2つの場所を結ぶ経路を計算するステップと、
C.前記交通参加者の正確な位置を特定するステップと、
D.経路に沿って前記ウェイポイントにビーコンを設定するステップと、
を含み、
前記ステップCは、以下のサブステップ:
a.周囲の少なくとも1つのデジタル画像を処理して実際のビューを取得し、
b.未加工の位置に基づいて少なくとも1つの可能な人工的なビューを生成し、その未加工の位置は、前記マルチモーダル3次元マップの一部であり、前記人工的なビューを提供するために描かれているシーンを提供し、
c.前記人工的なビューと前記実際のビューを比較し、
d.前記人工的なビューと前記実際のビューが本質的に同じである場合に、前記人工的なビューが生成された視点として前記交通参加者の位置を提供し、当該サブステップを完了し、
e.前記人工的なビューと前記実際のビューが本質的に同じでない場合に、新たな未加工の位置からの少なくとも1つの異なる人工的なビューで当該サブステップを繰り返す
を含むサブプロセスにおいて実行される、方法。 - 前記交通参加者は、歩行者、視覚障害者、および盲人のうちの少なくとも1以上である、請求項1に記載の方法。
- 都市環境における交通参加者の誘導のための方法である、請求項1または2に記載の方法。
- 前記ステップCにおいて、マルチモーダル3次元マップを使用して前記交通参加者の正確な位置を特定する、請求項1~3のいずれか1項に記載の方法。
- 前記マルチモーダル3次元マップは、少なくとも2つのソースから作成されることを特徴とする、請求項1~4のいずれか1項に記載の方法。
- ステップAのソースは、2次元マップデータ、衛星画像、3次元情報、地形図、街路樹目録、消火栓の計画、道路建設の計画、3次元モデルの表面テクスチャおよび航空写真のうちの少なくとも1つ以上を含むことを特徴とする、請求項5に記載の方法。
- 前記マルチモーダル3次元マップ内に少なくとも1つの歩行可能な空間が定義されることを特徴とする、請求項1~6のいずれか1項に記載の方法。
- ステップBは、前記マルチモーダル3次元マップ内の前記歩行可能な空間に基づいて実行されることを特徴とする、請求項7に記載の方法。
- 2つの隣接する歩行可能な空間は、少なくとも1つのウェイポイントを介して接続されることを特徴とする、請求項7または8に記載の方法。
- ステップAの間に、前記マルチモーダル3次元マップ内に少なくとも1つの遷移空間が定義され、その遷移空間は、互いに隣接していない少なくとも2つの歩行可能な空間の間の隙間を埋めることを特徴とする、請求項7~9のいずれか1項に記載の方法。
- 前記マルチモーダル3次元マップにおいて少なくとも1つの障害物が識別されてマークされ、少なくとも1つのウェイポイントが前記障害物を回避するように設定されることを特徴とする、請求項1~10のいずれか1項に記載の方法。
- サブステップC.a.は、
i.前記デジタル画像から動的オブジェクトを削除する
というサブステップを含むことを特徴とする、請求項1~11のいずれか1項に記載の方法。 - 前記動的オブジェクトは、自動車、他の歩行者、動物、移動可能なゴミ箱、A型看板、移動可能な広告用の設置物、自転車を含むリストの中の1つ以上であることを特徴とする、請求項12に記載の方法。
- ステップCの正確な位置と、ステップAからの前記マルチモーダル3次元マップとにより、ユーザの周囲に拡張現実が作成され、ステップDからの前記ビーコンは前記拡張現実において知覚可能であることを特徴とする、請求項1~13のいずれか一項に記載の方法。
- 前記拡張現実は音響的であり、前記ビーコンはそれぞれの位置で聞こえることを特徴とする、請求項14に記載の方法。
- 1つまたは2つのビーコンのみが同時にアクティブであり、前記アクティブなビーコンは経路の方向に最も近接していることを特徴とする、請求項1~15のいずれか1項に記載の方法。
- 前記少なくとも1つの可能な人工的なビューは、レイキャスタによって生成する、請求項1~16のいずれか1項に記載の方法。
- 装置が、請求項1~17のいずれか1項に記載の方法を実行することを特徴とする、交通参加者を案内するためのシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ATA141/2019A AT522549B1 (de) | 2019-04-18 | 2019-04-18 | Verfahren zum Leiten von Verkehrsteilnehmern |
ATA141/2019 | 2019-04-18 | ||
PCT/EP2020/051939 WO2020211990A1 (en) | 2019-04-18 | 2020-01-27 | Computer implemented method for guiding traffic participants |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022530347A JP2022530347A (ja) | 2022-06-29 |
JPWO2020211990A5 JPWO2020211990A5 (ja) | 2023-02-08 |
JP7510186B2 true JP7510186B2 (ja) | 2024-07-03 |
Family
ID=
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007155568A (ja) | 2005-12-07 | 2007-06-21 | Hitachi Ltd | 経路生成装置及び経路生成方法 |
US20140379251A1 (en) | 2012-06-26 | 2014-12-25 | Jonathan Louis Tolstedt | Virtual walking stick for the visually impaired |
WO2018025531A1 (ja) | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007155568A (ja) | 2005-12-07 | 2007-06-21 | Hitachi Ltd | 経路生成装置及び経路生成方法 |
US20140379251A1 (en) | 2012-06-26 | 2014-12-25 | Jonathan Louis Tolstedt | Virtual walking stick for the visually impaired |
WO2018025531A1 (ja) | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113614609B (zh) | 虚拟现实中的现实引导的漫游 | |
JP7111794B2 (ja) | 装置の位置特定のための幾何学的指紋法 | |
Golledge et al. | A geographical information system for a GPS based personal guidance system | |
US20190034740A1 (en) | Method, apparatus, and system for vanishing point/horizon estimation using lane models | |
US20180301031A1 (en) | A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same | |
US20140244159A1 (en) | Method of Operating a Navigation System Using Images | |
CN102003964A (zh) | 操作导航系统以提供路线指引的方法 | |
JP6975758B2 (ja) | 映像と精密地図に基づいたgnss測位と精密測位間の測位差に対する配布情報生成装置および方法 | |
Balata et al. | Automatically generated landmark-enhanced navigation instructions for blind pedestrians | |
US11835353B2 (en) | Computer implemented method for guiding traffic participants | |
Weiss et al. | Navigation agents for the visually impaired: A sidewalk simulator and experiments | |
Ning et al. | Converting street view images to land cover maps for metric mapping: A case study on sidewalk network extraction for the wheelchair users | |
Mancini et al. | Point to point navigation for people with mobility impairments | |
Biagi et al. | Mapping the accessibility in openstreetmap: A comparison of different techniques | |
Somyat et al. | NavTU: android navigation app for Thai people with visual impairments | |
Tolegen et al. | Assessment of safe access to pedestrian infrastructure facilities in the city of Almaty, Kazakhstan | |
JP7510186B2 (ja) | コンピュータにより実行される、交通参加者を案内するための方法 | |
US10876854B2 (en) | System and method for providing navigation service of disabled person based on image analysis | |
WO2022027731A1 (zh) | 一种基于虚实融合的导航地图构建方法 | |
Funk | Walkability of transit-oriented development: Evaluating the pedestrian environment of Metro Vancouver's Regional City Centres | |
CN102235868A (zh) | 操作导航系统以提供路线指引的方法 | |
US20210270618A1 (en) | Discovery and Evaluation of Meeting Locations Using Image Content Analysis | |
Baba | VIDVIP: Dataset for Object Detection During Sidewalk Travel | |
Bureš et al. | ROUTE4ALL: A novel approach to pedestrian navigation for people with special needs | |
JPWO2020211990A5 (ja) |