JP5781157B2 - ディスプレイにビューを表示するための方法、モバイルプラットフォーム、装置、コンピュータ可読記録媒体 - Google Patents

Description

本発明は、カメラビューとマップビューとの間のユーザインターフェースの移行に関する。

デバイスの位置を決定するための通常の手段は、地球の周囲の軌道にあるいくつかの衛星を用いる、よく知られている全地球測位衛星(GPS)システムまたは全地球的航法衛星システム(GNSS)などの衛星位置システム(SPS)を使用することである。SPSを使用する位置測定は、いくつかの周回軌道衛星からSPS受信機へのSPS信号ブロードキャストの伝搬遅延時間の測定値に基づく。SPS受信機が各衛星の信号伝搬遅延を測定した後は、各衛星への範囲が決定可能であり、次いで、SPS受信機の3次元位置、速度および時刻を含む正確なナビゲーション情報がその衛星の測定された範囲および既知の位置を使用して決定され得る。

マップの使用における第1の、そして最も難しいステップの1つは、自分自身を正しい方向に物理的に配向させることである。誤った方位は、間違った方向でナビゲーションを開始する結果をもたらす。たとえば、SPSを使用した電子マッピングシステムは、自分の現在位置を決定することに役立つが、ユーザはユーザの方位とのマップの関連を理解することが難しいことが多い。

現在、電子マッピングシステムは、時としてヘッディングアップビュー(heading-up view)と呼ばれる、ユーザが向いている方向にマップビューを位置合わせすることによって、配向を援助する。ヘッディングアップビューでは、ディスプレイにおいて北が上方として示されるより従来のノースアップビュー(North-up view)とは対照的に、ユーザの方向またはヘッディングがディスプレイにおいて常に上方として示されるように、表示されたマップが回転する。しかしながら、ヘッディングアップビューは、ユーザがマップ(平面図)に示された要素とその前の要素(正面図)との間で変換する必要があるが、これは、一般に要素の形状が明確に一致しないので、難しい可能性がある。たとえば、ビューアから見た建築物の前面は、平面図の建築物の形状とはかなり異なっている可能性があり、識別を困難にする可能性がある。たとえば、ノースアップビューが使用されるとき、時々使用される別の配向支援は、扇形方位要素(pie-slice orientation element)と呼ばれ得、これは、デバイスが向いている方向にウェッジを表示することによって、ユーザの可能性のあるビューアングルを示す。しかしながら、ヘッディングアップビューと同様に、ユーザは、マップ(平面図)に示された要素とその前の要素(正面図)との間で変換する必要があるので、時として、ユーザの実際のビューに対する扇形方位要素の関連を理解しにくいことに気づくことがある。

しかしながら、カメラはユーザが何を指しているかについて正確に示すので、拡張現実を有するカメラビューにおいてユーザ自身を配向させることははるかに容易である。拡張現実は、現実世界の画像を、グラフィックスまたはテキスト情報などのコンピュータ生成データと結合させる。拡張現実のオーバーレイは、ユーザの実際のターゲットまたはターゲット方向を強調することができる。現在、拡張現実のカメラビューでの配向の容易さをマップビューに利用する方法がない。

モバイルプラットフォームに表示されたカメラビューとマップビューとの間のユーザインターフェースの移行は、カメラビューにおける方位とマップビューにおける方位との間の明確な視覚的接続を示すように提供される。ユーザインターフェースの移行は、カメラビューからマップビューまたはその逆に変更する旨の要求に応答し得る。ユーザインターフェースの移行は、たとえば、カメラの照準線、またはカメラビューおよびマップビューにおいて可視の識別可能な環境特性を識別するカメラビューおよびマップビューの拡張オーバーレイ(augmentation overlay)を使用して生成され得る。また、カメラビューおよびマップビューの拡張オーバーレイ間の視覚的接続を提供するために、1つまたは複数の異なる拡張オーバーレイが生成され、表示される。たとえば、カメラビューおよびマップビューの拡張オーバーレイ間の変更を明確に示すために、複数の拡張オーバーレイが連続的に表示され得る。

2つのビューの方位の間の視覚的接続を提供するためにカメラビューとマップビューとの間のユーザインターフェースの移行を表示することができるモバイルプラットフォームを示す図である。 2つのビューの方位の間の視覚的接続を提供するために、モバイルプラットフォームがカメラビューとマップビューとの間のユーザインターフェースの移行を表示することができるシステムを示すブロック図である。 カメラビューとマップビューとの間のユーザインターフェースの移行を提供することができるモバイルプラットフォームのブロック図である。 カメラビューとマップビューとの間のユーザインターフェースの移行を提供する方法を示すフローチャートである。 カメラビューを示す図である。 カメラビュー(図5A)とマップビュー(図5C)との間の1つまたは複数のフレームを含むユーザインターフェースの移行における代表的なフレームを示す図である。 マップビューを示す図である。 画像における視覚的に識別可能な環境特性が識別され、使用されることを除いて、図4に示される方法と類似した、カメラビューとマップビューとの間のユーザインターフェースの移行を提供する方法を示すフローチャートである。 カメラビューを示す図である。 カメラビュー(図7A)とマップビュー(図7E)との間の複数のフレームを含むユーザインターフェースの移行における代表的なフレームを示す図である。 カメラビュー(図7A)とマップビュー(図7E)との間の複数のフレームを含むユーザインターフェースの移行における代表的なフレームを示す図である。 カメラビュー(図7A)とマップビュー(図7E)との間の複数のフレームを含むユーザインターフェースの移行における代表的なフレームを示す図である。 マップビューを示す図である。 モバイルプラットフォームによって生成される画像、および視覚的に識別可能な環境特性の平面図画像を使用して視覚的に識別可能な環境特性を識別する方法を示すフローチャートである。 モバイルプラットフォーム上のカメラによってキャプチャされ得る建築物の画像を示す図である。 他の建造物とともに図9の建築物の平面図を含む可能な平面図画像を示す図である。 カメラ画像を分析して、線を識別し、線の方向を決定する方法を示す図である。 カメラ画像および平面図画像における視覚的に識別可能な環境特性の識別において使用される消点の決定を示す図である。 カメラ画像および平面図画像における視覚的に識別可能な環境特性の識別において使用される消点の決定を示す図である。 識別された線が2組の水平線および1組の垂直線に含まれる図9の建築物の画像を示す図である。 水平線および垂直線の組の方向がカメラの位置およびカメラの方位に対して示される平面図画像を示す図である。 建築物の上部の検出された縁が識別され、水平線の組の方向と照合される平面図画像を示す図である。

図1は、2つのビューの方位の間の視覚的接続を提供するためにカメラビューとマップビューとの間のユーザインターフェースの移行を表示することができるモバイルプラットフォーム100の一例を示す。カメラビューでは、ディスプレイ162は現実世界の環境の画像を示すが、マップビューでは、ディスプレイ162はモバイルプラットフォーム100の位置を含むマップを示す。モバイルプラットフォーム100は、カメラビューにおける方位とマップビューにおける方位との間の視覚的接続を提供するために、2つのビューの間の変化を示す1つまたは複数のフレームを含む、2つのビューの間のユーザインターフェースの移行を表示する。たとえば、環境特性または照準線を識別することによって、カメラビューおよびマップビューにおけるユーザの方位を識別するために、たとえば、拡張オーバーレイを使用することができる。ユーザインターフェースの移行は、カメラビューの拡張オーバーレイとマップビューの拡張オーバーレイとの間の変化を示す1つまたは複数の拡張オーバーレイを含むことができる。カメラビューとマップビューとの間のユーザインターフェースの移行は、カメラビューにおける実世界の要素とマップビューにおける要素との間の視覚的接続を提供し、マップビューにおけるユーザの方位をユーザに明確に知らせるのを手伝う。

モバイルプラットフォーム100は、たとえば、衛星ビークル102を含む衛星測位システム(SPS)、またはセルラータワー104もしくはワイヤレス通信アクセスポイント106を含む位置を決定するための任意の他の適切なソースからの信号、あるいは視覚的位置特定技法を使用したその緯度および経度の決定に基づくナビゲーションに使用され得る。モバイルプラットフォーム100は、物理的現実世界の環境の画像を生成するためのカメラ120、ならびに、モバイルプラットフォーム100の方位を決定するために使用され得る、デジタルコンパス、加速度計またはジャイロスコープなどの方位センサ130を含む。

本明細書で使用するモバイルプラットフォームは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル航法デバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくは航法位置決め信号などの航法信号を受信することができる他の適したモバイルデバイスなどのデバイスを指す。「モバイルプラットフォーム」という用語はまた、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを含むことを意図し、衛星信号受信、支援データ受信、および/または位置関連処理が、そのデバイスで生じるか、またはPNDで生じるかにかかわらない。また、「モバイルプラットフォーム」は、インターネット、WiFi、または他のネットワークを介するなどしてサーバと通信する能力のある、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むことを意図し、衛星信号受信、支援データ受信、および/または位置関連処理が、そのデバイスで生じるか、サーバで生じるか、またはネットワークに関連する別のデバイスで生じるかにかかわらない。上記の任意の動作可能な組合せもまた、「モバイルプラットフォーム」と見なされる。

衛星測位システム(SPS)は、通常、エンティティが、地上または上空での自身の位置を、送信機から受信された信号に少なくとも一部基づいて決定することを可能にするように配置された、送信機のシステムを含む。そのような送信機は通常、設定された数のチップの繰り返し擬似ランダム雑音(PN)コードによりマークされた信号を送信し、地上の制御局、ユーザ機器、および/または宇宙船に配置され得る。ある特定の例では、そのような送信機は、図1に示す、地球を周回する衛星ビークル(SV)102に配置され得る。たとえば、全地球測位システム(GPS)、Galileo、GlonassまたはCompassのような全地球的航法衛星システム(GNSS)のコンステレーション内のあるSVは、そのコンステレーション内の他のSVにより送信されるPNコードと区別できるPNコードによりマークされる信号を(たとえば、GPSのように各衛星で異なるPNコードを用いて、またはGlonassのように異なる周波数で同一のコードを用いて)送信することができる。

特定の態様によれば、本明細書で提示される技術は、SPSのための地球規模のシステム(たとえばGNSS)には限定されない。たとえば、本明細書で提供される技術は、たとえば、日本の準天頂衛星システム(QZSS)、インドのインド地域航法衛星システム(IRNSS)、中国の北斗などのような様々な地域的システム、ならびに/または、1つまたは複数の地球規模のおよび/もしくは地域的な航法衛星システムと関連し得る、または場合によってはこれらとともに使用できるようにされ得る、様々な補強システム(たとえば、静止衛星型衛星航法補強システム(SBAS))に対して適用されてもよく、または場合によってはそれらの地域的システムおよび補強システムにおいて使用できるようにされてもよい。限定ではなく例として、SBASは、たとえば、広域補強システム(WAAS)、European Geostationary Navigation Overlay Service(EGNOS)、運輸多目的衛星用衛星航法補強システム(MSAS)、GPS Aided Geo Augmented Navigation、またはGPS and Geo Augmented Navigationシステム(GAGAN)などのような、インテグリティ情報、差分修正などを提供する、補強システムを含み得る。したがって、本明細書で用いられるSPSは、1つまたは複数の地球規模のならびに/または地域的な航法衛星システムおよび/もしくは補強システムの任意の組合せを含んでもよく、SPS信号は、SPS信号、SPS信号のような信号、および/またはそのような1つまたは複数のSPSと関連する他の信号を含み得る。

本明細書で説明する位置決定技法は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、セルラータワー104およびワイヤレス通信アクセスポイント106を含む様々なワイヤレス通信ネットワーク、ならびに視覚的位置特定など他の測位技法とともに実施され得るので、モバイルプラットフォーム100は、位置決定のためのSPSとの使用に限定はされない。さらに、モバイルプラットフォーム100は、オンラインサーバにアクセスして、セルラータワー104を介して、およびワイヤレス通信アクセスポイント106から、様々なワイヤレス通信ネットワークを使用して、または必要な場合、衛星ビークル102を使用して、衛星画像などのデータを取得することができる。「ネットワーク」および「システム」という用語はしばしば、互換的に使用される。WWANは、コード分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一搬送周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE(登録商標))などでもよい。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA(登録商標))などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95、IS-2000、およびIS-856基準を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMA(登録商標)は、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書で説明される。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書で説明される。3GPPおよび3GPP2の文書は、公に利用可能である。WLANは、IEEE 802.11xネットワークでもよく、WPANはBlue
tooth(登録商標)ネットワーク、IEEE 802.15x、または何らかの他のタイプのネットワークでもよい。本技法はまた、WWAN、WLAN、および/またはWPANの任意の組合せとともに実装され得る。

図2は、2つのビューの方位の間の視覚的接続を提供するために、モバイルプラットフォーム100がカメラビューとマップビューとの間のユーザインターフェースの移行を表示することができるシステムを示すブロック図を示す。図示のように、モバイルプラットフォーム100は、カメラ120を介して、建築物、街路、または任意のタイプの視覚的に識別可能な環境特性を含み得る環境の画像108をキャプチャする。さらに、モバイルプラットフォーム100は、たとえば、SPSにおける衛星ビークル102、ワイヤレス通信アクセスポイント106(図1)、または視覚的位置特定技法を使用して、画像108が生成されたときのその位置を決定する。モバイルプラットフォーム100は、たとえば、モバイルプラットフォームの位置のデジタルマップを取得するために、図1に示したセルラータワー104またはワイヤレスアクセスポイント106を介して、インターネットなどのネットワーク110にアクセスすることができる。ネットワーク110は、サーバ112に結合され、サーバ112は、デジタルマップを記憶するマップデータベース114、およびランドサット7ソースデータに基づくグローバルな衛星イメージなど、デジタル平面図画像(top view image)データを記憶する平面画像データベース115に接続される。サーバは、たとえば、ネットワーク接続を有する専用サーバとすることができる。必要な場合、いくつかの異なるサーバが使用され得る。モバイルプラットフォーム100は、マップを取得するために、モバイルプラットフォーム100の位置および方位に基づいてサーバ112に問い合わせることができる。一実施形態では、モバイルプラットフォーム100は、たとえば、デジタルマップをローカルメモリに記憶しているとき、ローカルメモリからモバイルプラットフォームの位置のマップを取得することができる。この実施形態では、モバイルプラットフォーム100は、ローカルに記憶されたマップを時々更新するために、またはモバイルプラットフォーム100がローカルに記憶されたマップのカバレージエリアを離れるとき、サーバ112にアクセスすることができる。

モバイルプラットフォーム100は、ディスプレイ162上にカメラビューとして、カメラ120からキャプチャされた画像108を表示することができる。モバイルプラットフォーム100は、ディスプレイ162上にマップビューとして取得されたマップを表示することもできる。モバイルプラットフォーム100は、カメラビューにおける方位とマップビューにおける方位との間の視覚的接続を提供するために、2つのビューの間を移行する1つまたは複数のフレームを含む、カメラビューからマップビューへの、またはマップビューからカメラビューへのユーザインターフェースの移行をさらに生成する。たとえば、モバイルプラットフォーム100は、カメラビュー上に表示される第1の拡張オーバーレイ、マップビュー上に表示される第2の拡張オーバーレイ、および第1の拡張オーバーレイから第2の拡張オーバーレイ(またはその逆も同様)への変化をグラフィカルに示す1つまたは複数の異なる拡張オーバーレイを使用して、ユーザが向いている方向を明確に示すことができる。

必要な場合、モバイルプラットフォーム100は、カメラ画像108において識別可能な環境特性を分解することができる十分な解像度を有する平面図画像を取得するために、たとえばサーバ112から、またはローカルメモリに記憶されている移動局100の位置に基づいて、平面図画像を取得することもできる。平面図画像は、たとえば、衛星画像または航空写真術を介して生成される画像とすることができることを理解されたい。さらに、平面図画像は、直接的に頭上からの、またはたとえば約45度など斜角の画像とすることができ、これは時として鳥瞰図と呼ばれることを理解されたい。モバイルプラットフォーム100は、次いで、環境特性を識別し、カメラビューおよび平面図画像における環境特性のための視覚的な拡張オーバーレイを準備するために、たとえば、サーバ112から取得された平面図画像とカメラ画像108を比較することができる。ユーザインターフェースの移行は、モバイルプラットフォームがカメラビューとマップビューとの間で移行するとき、カメラビューおよび平面図の拡張オーバーレイの変化を示す。

図3は、ユーザの2つのビューの間の視覚的接続を提供するためにカメラビューとマップビューとの間のユーザインターフェースの移行を提供することができるモバイルプラットフォーム100のブロック図である。本モバイルプラットフォームは、モバイルプラットフォーム100によって表示される静止画または動画を生成することができるカメラ120などの画像をキャプチャするための手段を含む。モバイルプラットフォーム100はまた、方位センサ130など、閲覧者が向いている方向を決定するための手段、たとえば、磁力計、加速度計および/またはジャイロスコープを含む傾き補正コンパスなど、を含む。

モバイルプラットフォーム100は、アンテナ144を介してSPS衛星ビークル102(図1)から信号を受信する衛星測位システム(SPS)受信機を含む受信機140を含むことができる。モバイルプラットフォーム100はまた、使用する場合、ネットワーク110を介してサーバ112にアクセスするために、たとえば、アンテナ144(または別個のアンテナ)を介して、それぞれ、セルラータワー104へのおよびそこからのまたはワイヤレスアクセスポイント106からの通信の送信および受信が可能なセルラーモデムまたはワイヤレスネットワーク無線受信機/送信機などでもよい、ワイヤレストランシーバ145など、デジタルマップおよび平面図画像を取得するための手段も含む。必要な場合、モバイルプラットフォーム100は、セルラーモデムおよびワイヤレスネットワーク無線受信機/送信機の働きをする別個の送受信機を含み得る。

方位センサ130、カメラ120、SPS受信機140、およびワイヤレストランシーバ145は、モバイルプラットフォーム制御部150に接続され、これと通信する。モバイルプラットフォーム制御部150は、方位センサ130、カメラ120、SPS受信機140、およびワイヤレストランシーバ145からのデータを受け入れ、処理し、デバイスの動作を制御する。モバイルプラットフォーム制御部150は、プロセッサ152および関連メモリ154と、クロック153と、ハードウェア156と、ソフトウェア158と、ファームウェア157とによって提供され得る。モバイルプラットフォーム制御部150は、カメラビュー画像の拡張オーバーレイおよびマップビューの拡張オーバーレイを生成し、2つのビュー間をグラフィカルに移行するための手段、たとえば、明快のためにプロセッサ152とは別に示されるが、プロセッサ152内であり得る、ゲームエンジンとすることができる画像処理エンジン155なども含み得る。画像処理エンジン155は、表示される拡張オーバーレイの形状、位置、および方位を決定し、たとえば従来のグラフィックス技法を使用して、ビュー間のユーザインターフェースの移行を生成することができる。本明細書では、プロセッサ152は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DPS)などを含み得るが、必ずしもそれらを含む必要もないことが理解されよう。プロセッサという用語は、特定のハードウェアではなくてシステムによって実装される機能を述べることを意図する用語である。さらに、本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連付けられた他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。

モバイルプラットフォーム100はまた、モバイルプラットフォーム制御部150と通信しているユーザインターフェース110を含み、たとえば、モバイルプラットフォーム制御部150はデータを受け入れ、ユーザインターフェース110を制御する。ユーザインターフェース110は、デジタルディスプレイ162など、生成された拡張オーバーレイとともに画像を表示するための手段を含む。ディスプレイ162はさらに、制御メニューおよび位置情報を表示することができる。ユーザインターフェース110は、キーパッド164、またはユーザが情報をモバイルプラットフォーム100に入力することのできる他の入力デバイスをさらに含む。一実施形態では、キーパッド164は、タッチスクリーンディスプレイなど、ディスプレイ162に統合可能である。たとえば、モバイルプラットフォーム100が携帯電話であるとき、ユーザインターフェース110は、たとえば、マイクロフォンおよびスピーカもまた含み得る。さらに、方位センサ130は、ジェスチャーの形態のユーザコマンドを検出することによってユーザインターフェースとして使用することができる。

本明細書で説明する方法は、用途に応じて様々な手段によって実装されてもよい。たとえば、これらの方法は、ハードウェア156、ファームウェア157、ソフトウェア158、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、あるいはそれらの組合せ内で実装されてもよい。

ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明する方法を実施する際に、命令を有形に具現化する任意の機械可読記録媒体を使用してもよい。たとえば、ソフトウェアコードをメモリ154に記憶し、プロセッサ152によって実行してもよい。メモリは、プロセッサユニット内に実装されてもよく、あるいはプロセッサユニットの外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。

たとえば、ソフトウェア158コードは、メモリ154に記憶可能であり、プロセッサ152によって実行可能であり、プロセッサを動作させて本明細書で説明するモバイルプラットフォーム100の動作を制御するために、使用され得る。メモリ154など、コンピュータ可読記録媒体に記憶されたプログラムコードは、モバイルプラットフォームが向いている方向およびモバイルプラットフォームの位置を決定し、モバイルプラットフォームの位置に基づいてデジタルマップを取得するためのプログラムコードを含むことができる。さらに、コンピュータ可読記録媒体は、モバイルプラットフォームのディスプレイに現在のビューおよび次のビューを表示するためのプログラムコードであり、現在のビューおよび次のビューが、カメラビューおよびデジタルマップのビューのうちの一方から選択された異なるビューである、プログラムコードと、現在のビューと次のビューとの間のユーザインターフェースの移行を生成し、表示するためのプログラムコードであり、ユーザインターフェースの移行が、ディスプレイ上の現在のビューにおける方位とディスプレイの次のビューにおける方位との間の視覚的接続を提供する1つまたは複数のフレームを含む、プログラムコードとを含むことができる。さらに、コンピュータ可読記録媒体は、モバイルプラットフォームのカメラからの画像における少なくとも1つの視覚的に識別可能な環境特性、およびデジタルマップにおける同じ少なくとも1つの視覚的に識別可能な環境特性を識別するためのプログラムコードと、現在ビューにおける少なくとも1つの視覚的に識別可能な環境特性についての第1の拡張オーバーレイ、次のビューにおける少なくとも1つの視覚的に識別可能な環境特性についての第2の拡張オーバーレイ、および第1の拡張オーバーレイと第2の拡張オーバーレイとの間の視覚的接続を提供する少なくとも1つの異なる拡張オーバーレイを生成するためのプログラムコードであり、ユーザインターフェースの移行が、第1の拡張オーバーレイ、第2の拡張オーバーレイ、および少なくとも1つの異なる拡張オーバーレイを含む、プログラムコードとを含み得る。

ファームウェアおよび/またはソフトウェアで実装する場合、機能は、コンピュータ可読記録媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。これらの例には、データ構造によって符号化されたコンピュータ可読記録媒体およびコンピュータプログラムによって符号化されたコンピュータ可読記録媒体が含まれる。コンピュータ可読記録媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体とすることができる。限定ではなく、一例として、そのようなコンピュータ可読記録媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、かつコンピュータからアクセスすることのできる任意の他の媒体を備えてよく、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー(登録商標)ディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読記録媒体の範囲内に含めるべきである。

図4は、カメラビューにおける方位とマップビューにおける方位との間の視覚的接続を提供するために、1つまたは複数のフレームを含むカメラビューとマップビューとの間のユーザインターフェースの移行を提供する方法を示すフローチャートである。図4に示すように、モバイルプラットフォーム100は、カメラビューまたはマップビューとすることができる現在のビューを表示する(202)。モバイルプラットフォーム100は、現在のビューと次のビューとの間の移行の要求、すなわち、カメラビューからマップビューに、またはマップビューからカメラビューに移行する旨の要求を受信する(204)。要求は、キーパッド164を介して、または、方位センサ130によって検出され得るジェスチャーによって受信され得る。たとえば、要求は、マップビューからカメラビューに移行するために、垂直位置(たとえば、画像をキャプチャする位置)から水平位置(マップを見る位置)に、またはその逆に、モバイルプラットフォーム100を移動させる形態のジェスチャーからとすることができる。必要な場合、他のジェスチャーが使用されてもよい。代わりに、要求は、モバイルプラットフォーム100上で実行しているアプリケーションからなど、モバイルプラットフォーム100によって開始されてもよい。

ユーザインターフェースの移行が生成され、表示され、ユーザインターフェースの移行は、現在のビューにおける方位と次のビューにおける方位との間の視覚的接続を提供する1つまたは複数のフレームである(206)。ユーザインターフェースの移行は、現在のビューと次のビューとの間の複数のフレームを含み得、現在のビューから次のビューへの視覚的に円滑な変化を生成するのに十分であるフレーム率を有し得る。必要な場合、フレーム数またはフレーム率は、視覚的に円滑な変化をもたらすには不十分であるが、依然として現在のビューおよび次のビューにおける方位の間の視覚的接続を提供するようにしてもよい。

ユーザインターフェースの移行は、たとえば、画像処理エンジン155を使用して生成されるいくつかの拡張オーバーレイとして生成され得る。第1の拡張オーバーレイは、現在のビュー上に生成され、表示され得、第2の拡張オーバーレイは、次のビュー上に生成され、表示され得る。第1の拡張オーバーレイと第2の拡張オーバーレイとの間の視覚的接続を提供するために、1つまたは複数の異なる拡張オーバーレイを生成し、表示することができる。拡張オーバーレイは、モバイルプラットフォーム100の方位を明確に識別するために、ビューの間で変更することができる任意のグラフィック要素とすることができる。たとえば、拡張オーバーレイは、単にカメラビューとマップビューの両方においてモバイルプラットフォーム100の照準線を識別する、2次元または3次元で表される線または幾何学的形状とすることができる。拡張オーバーレイは、たとえば、環境特性の輪郭を描く、環境特性を指し示す、環境特性を透明なまたは不透明なマスクでカバーする、または環境特性を識別する任意の他の手段によって、特定の環境特性を識別する要素とすることもできる。たとえば、拡張オーバーレイのいくつかの部分を順々にまたは同時に表示することによって、拡張オーバーレイを表示における存在にアニメーション化され得る。

マップビューにおいて使用される拡張オーバーレイは、カメラビューにおいて使用される拡張オーバーレイと類似していてもよく、または異なってもよい。例として、カメラビューにおける拡張オーバーレイは、マップビューにおいて2次元の線の形態の拡張オーバーレイにまたはそこから変化する3次元の線とすることができる。さらに、拡張オーバーレイが環境特性の輪郭を含む場合、輪郭の形状は、カメラビューとマップビューとの間で変化する可能性がある。現在のビューから次のビューへの移行の間、カメラ画像および/またはマップ画像は、拡張オーバーレイのみが示されるように取り除かれ得る。画像は、急激に、またはフェージングによってゆっくりと取り除かれ得る。あるいは、拡張オーバーレイの移行がクロスフェードされたカメラ画像およびマップ画像上に表示され得る。

次いで、次のビューが表示される(208)。たとえば、次のビューがマップビューである場合、マップ画像は拡張オーバーレイの下に表示され得る。次のビューは、急激に、またはフェージングによってゆっくりと表示され得る。あるいは、次のビューは、オーバーレイ上で増大させることによって、拡大縮小することによって、たとえば側面図から平面図に傾斜することによって表示され得、または2次元もしくは3次元で、もしくはそれらの任意の組合せで表示され得る。マップビューにおける拡張オーバーレイは、モバイルプラットフォームの照準線を識別する線または他の幾何学的形状とすることができる。代わりに、上記で説明したように、拡張オーバーレイは、たとえば、環境特性の輪郭を描く、環境特性を指し示す、環境特性を透明なまたは不透明なマスクでカバーする、または環境特性を識別する任意の他の手段によって、特定の環境特性を識別する要素とすることもできる。マップビューは、ヘッディングアップ方位、またはノース(またはサウス)アップ方位で示され得る。拡張オーバーレイは、あらかじめ決定された時間の後、またはユーザの要求で、次のビューから取り除かれ得る。代わりに、拡張オーバーレイは、マップビューに現在の位置および方位(たとえば、照準線)を示すために、モバイルプラットフォーム100が移動または回転するにつれて、持続し、更新することができる。したがって、方位のこの方法は、ユーザの視野、すなわちカメラビューとマップビューとの間に明確な視覚的接続を作る。したがって、マップビューは、実世界要素と視覚的に接続され、マップ上のユーザの方位およびユーザとのその関連を結束させる。

図5A、図5B、図5Cは、カメラビュー(図5A)とマップビュー(図5C)との間の1つまたは複数のフレームを含むユーザインターフェースの移行における代表的なフレーム(図5B)を示す。図5Aは、カメラ120によってキャプチャされ、モバイルプラットフォーム100のディスプレイ162に示され得るカメラビューにおける建築物252および道路254の画像108を示す(202)。モバイルプラットフォーム100がカメラビューからマップビューに移行する旨の要求を受信する(204)と、3次元線262Aの形態の拡張オーバーレイが画像108上に生成され、表示される(206)。3次元線262Aは、この実施形態においてモバイルプラットフォーム100の照準線を示す。必要な場合、線262Aの代わりに、点、星、矢印、または任意の他のパターンなど、他のタイプの拡張オーバーレイが使用されてもよい。カメラビューの拡張オーバーレイは、線262Aなど、あらかじめ生成されたグラフィックでもよい。代わりに、特に、拡張オーバーレイが画像108内の1つまたは複数のオブジェクトに関連がある場合、拡張オーバーレイは、モバイルプラットフォーム100によってリアルタイムに生成され得る。たとえば、モバイルプラットフォーム100の照準線を表す代わりに、拡張オーバーレイは、たとえば、建築物252または道路254を線または他の幾何学的形状によって指し示すことによって、または環境特性の輪郭を描くことによって、環境特性を識別することができる。

図5Bは、図5Aに示されるカメラビューと図5Cに示されるマップビューとの間のユーザインターフェースの移行における1フレームを示す。図5Bは、図5Cのマップビューにおける第2の拡張オーバーレイ(線262C)への、図5Aのカメラビューにおける第1の拡張オーバーレイ(線262A)における変化を示す(206)。ユーザインターフェースの移行が、第1の拡張オーバーレイ262Aと第2の拡張オーバーレイ262Cとの間の移行を明確に示すために連続的に表示される複数の拡張オーバーレイを含むことができ、図5Bは、ユーザインターフェースの移行の単一の代表的なフレームを示すことを理解されたい。拡張オーバーレイにおける変化は、回転、ならびに延長および細線化、ならびに図5Aのカメラビューにおける3次元線から図5Cのマップビューにおける2次元線への変換を含み得る。図5Bは、下にある画像、たとえばカメラ画像108、および図5Cに示されるマップ画像260がユーザインターフェースの移行の間に取り除かれ得ることも示す。

図5Cは、2次元線262Cの形態の拡張オーバーレイを含む(206)ディスプレイ162に表示される(208)マップビューを示す。さらに、必要な場合、モバイルプラットフォーム100の場所がマップビューにおいて識別され得、図5Cにはピン266によって示される。2次元線262Cは、マップビューにおけるモバイルプラットフォーム100の照準線を示す。上記で説明したように、拡張オーバーレイ(線262C)は、センサ130から決定されたモバイルプラットフォーム100の方位に基づいて、マップビューに配置されるあらかじめ生成されたグラフィックでもよい。しかしながら、特に、拡張オーバーレイが環境特性の場所に関連がある場合、拡張オーバーレイはリアルタイムに生成され得る。

図6は、画像における視覚的に識別可能な環境特性が識別され、使用されることを除いて、図4に示される方法と類似した、カメラビューとマップビューとの間のユーザインターフェースの移行を提供する方法を示すフローチャートである。図4で説明したように、モバイルプラットフォーム100は、カメラビューまたはマップビューであり得る現在のビューを表示し(302)、現在のビューと次のビューとの間の移行についての要求、すなわちカメラビューからマップビューに、またはマップビューからカメラビューに移行する旨の要求を受信する(304)。カメラ画像またはマップ画像のいずれかであり得る現在のビューにおいて1つまたは複数の環境特性が識別され、マップ画像またはカメラ画像のいずれかであり得る次のビューにおいて同じ1つまたは複数の環境特性が識別される(306)。環境特性は、たとえば、限定はしないが、線、単純な幾何学的形状、エリア、ランドマーク、たとえば建築物または道路、色の塊、またはそれらの任意の組合せなどを含む、任意の視覚的に識別可能な項目とすることができる。環境特性の識別は、カメラ画像およびマップ画像における線の方向を比較することによって実行され得、このことは、本開示と同じ譲受人を有し、その全体が参照により本明細書に組み込まれる、Bolan JiangおよびSerafin Diazによって2009年11月19日に出願された「Orientation Determination of a Mobile Station Using Side and Top View Images」という名称の米国特許出願第12/622,313号で詳細に記載されており、さらに下記で図8〜図16においてさらに説明される。

ユーザインターフェースの移行は、現在のビューにおける識別された環境特性についての第1の拡張オーバーレイを準備し、次のビューにおける識別された環境特性についての第2の拡張オーバーレイおよび第1の拡張オーバーレイと第2の拡張オーバーレイとの間の視覚的接続を提供する少なくとも1つの異なる拡張オーバーレイを準備することによって準備される(308)。上記で説明したように、少なくとも1つの異なる拡張オーバーレイは、連続的に表示されたとき、第1の拡張オーバーレイおよび第2の拡張オーバーレイからの変化を明確に示す複数の拡張オーバーレイを含み得る。拡張オーバーレイは、たとえば、画像処理エンジン155を使用して生成され得る。拡張オーバーレイは、環境特性を識別する任意の可視の手段でもよい。たとえば、拡張オーバーレイは、環境特性を指し示す、あるいは識別する線または他の形状の形態とすることができる。代わりに、拡張オーバーレイは、単に線によって、または環境特性を半透明のまたは不透明のマスクで覆うことによって示すことができる環境特性の輪郭でもよい。必要な場合、環境特性は、異なって着色された線または異なって着色した不透明のマスクを使用して、明確に識別され得る。

代わりに、拡張オーバーレイは、識別された環境特性自体の画像の少なくとも一部でもよい。たとえば、環境特性は、画像としてキャプチャすることができ、画像は、環境特性の識別情報に基づいてトリミングされる。得られたトリミングされた画像は、背景が取り除かれた環境特性とすることができる。同様の方法で、たとえば、環境特性を残してマップビュー画像の背景をトリミングして、マップビューのために類似の拡張オーバーレイを生成することができる。たとえば、カメラビューおよびマップビューにおける環境特性のトリミングされた画像をグラフィカルに移行するまたはモーフィングすることによって、カメラビューおよびマップビューの拡張オーバーレイ間の変化が生じ得る。

第1の拡張オーバーレイが表示され、続いて少なくとも1つの異なる拡張オーバーレイが表示され、次いで第2の拡張オーバーレイが表示され(310)、次のビューが表示される(312)。第1の拡張オーバーレイは、現在のビュー上に表示され得、または現在のビューは、第1の拡張オーバーレイを表示する前に取り除かれ得る。同様に、第2の拡張オーバーレイは、次のビュー上に表示され得、または第2の拡張オーバーレイは、次のビューを表示する前に取り除かれ得る。たとえば、拡張オーバーレイのいくつかの部分を順々にまたは同時に表示することによって、拡張オーバーレイを表示における存在にアニメーション化され得る。第1の拡張オーバーレイと第2の拡張オーバーレイとの間の変化は、視覚的に円滑な変化をもたらすのに十分なフレーム率で連続的に表示される複数の異なる拡張オーバーレイを使用して示され得る。もちろん、変化を示すために円滑な移行は必要なく、したがって、必要な場合、より少ない異なる拡張オーバーレイおよび/または低下したフレーム率が使用されてもよい。

図7A、図7B、図7C、図7D、および図7Eは、視覚的に識別可能な環境特性に基づくカメラビュー(図7A)とマップビュー(図7E)との間の複数のフレームを含むユーザインターフェースの移行における代表的なフレーム(図7B、図7C、図7D)を示す図である。図7Aは、図5Aと同様に、モバイルプラットフォーム100のディスプレイ162に示され得るカメラビューにおける建築物252および道路254の画像108を示す。モバイルプラットフォーム100がカメラビューからマップビューに変更する旨の要求を受信すると(304)、建築物252および道路254などの環境特性は、カメラビュー(図7A)とマップビュー(図7E)の両方において識別される(306)。

識別された環境特性についての拡張オーバーレイが、カメラビュー(図7B)およびマップビュー(図7E)の拡張オーバーレイの変化を示す(308)1つまたは複数の異なる拡張オーバーレイ(図7Dに示される)とともに、カメラビュー(図7Bに示される)およびマップビュー(図7Eに示される)のために準備される。図7Bは、たとえば、建築物252および道路254を覆うマスク272A、274Aの形態で、カメラビューの拡張オーバーレイの表示を示す(310)。マスク272A、274Aは、異なる色、ハッチング、または異なる環境特性を識別するための他の手段を有する。当然、必要な場合、他の環境特性を識別し、拡張することができる。さらに、拡張オーバーレイは、別の形態であってもよい。たとえば、幾何学的な識別子、たとえば線、点、星、矢印、または他の単純なまたは複雑な形状などを使用することができる。代わりに、環境特性の画像が可視のままの状態で、環境特性の輪郭が使用されてもよい。図7Bでわかるように、識別された環境特性、すなわち、建築物252および道路254がマスク272A、274Aで覆われ、画像108の残りは可視のままであり得る。必要な場合、図7Cに示すように、画像108の残りを取り除くことができ、図7Cは、拡張マスク272A、274Aを含むディスプレイ162を示し、下にあるカメラ画像108がエリア276Aによって示すように取り除かれている。

図7Dは、カメラビュー(図7B)およびマップビュー(図7E)の拡張オーバーレイの変化を示す、1つまたは複数の拡張オーバーレイの表示を示す(310)。図示のように、建築物252および道路254についての拡張オーバーレイ272B、274Bは、カメラビュー(図7B)におけるそれらの形状および位置から図7Eに示されるマップビューにおける最終的な形状および位置に変化している。図7Dは、拡張オーバーレイ272B、274Bがマップ画像260上に表示される、傾いた側面図で表示されているマップ画像260も示す。カメラビュー(図7B)およびマップビュー(図7E)についての拡張オーバーレイ間の変化を明確に示すために、複数の拡張オーバーレイが連続的に表示され得、図7Dは、ユーザインターフェースの移行における単に1つの代表的な拡張オーバーレイのみを示しており、必要な場合、拡張オーバーレイが形状および位置において変わり続け、随意に、マップビューが平面図に傾き続ける多くの連続的な画像を使用して、カメラビューからマップビューへの円滑な移行を提供することができることを理解されたい。

図7Eは、ヘッディングアップまたはノース(サウス)アップとして示され得るマップビュー260のための画像260の表示を示す(312)。わかるように、マップビューは、マスク272C、274Cの形態の拡張オーバーレイで建築物252および道路254を識別する。さらに、必要な場合、モバイルプラットフォーム100の場所は、マップビューにおいて識別され得、図7Eにピン266によって示される。必要な場合、カメラビューからの近似の視野を示す扇形方位要素268など、追加情報も示され得る。必要な場合、たとえばピン266または方位要素268などの追加要素を図内でアニメーション化してもよく、または図に入れてもよい。マップビューの拡張オーバーレイは、持続してもよく、または、たとえばある期間の後、もしくはモバイルプラットフォーム100がその現在位置から移動すると、消えるもしくはフェードしてもよい。

図8〜図16は、図6の(304)で論じたように、カメラ120によって生成された画像108からの1つまたは複数の鍵となる環境特性、ならびに平面図画像における対応する環境特性を識別する方法を示す。

図8は、モバイルプラットフォームによって生成される環境特性の画像、および環境特性の平面図画像を使用して環境特性を識別する方法を示すフローチャートである。図8に示すように、モバイルプラットフォームは、たとえばカメラ120を使用して、環境特性の画像をキャプチャする(402)。撮像された環境特性は、建築物、街路、または平面図画像において視覚的に識別可能である任意の他のタイプの環境特性などの構造物とすることができる。例として、図9は、モバイルプラットフォーム100によって生成され得る建築物452の画像450を示す。撮像された環境特性は、図9の建築物452に示されるものなど、縁または線を含むことができ、モバイルプラットフォーム100は、それによって画像における環境特性の方位を識別することができる。

モバイルプラットフォームの位置は、画像が生成された時点、またはその近くで決定される(404)。撮像位置からのモバイルプラットフォームの移動によってもたらされ得る環境特性の識別における可能なエラーを低減するために、位置の決定と画像の生成との間の時間は最小限に抑えるべきである。モバイルプラットフォームの位置は、SPSシステムを使用して決定可能であり、たとえば、SPSシステムからのデータは、そこからプロセッサ152がその位置を計算するSPS受信機140(図3)によって受信される。必要な場合、その位置は、セルラータワー104およびワイヤレス通信アクセスポイント106を含む他の様々なワイヤレス通信ネットワークからのデータの使用、または視覚的位置特定技法の使用を含む他の技法およびデバイスを使用して決定され得る。

たとえば磁力計および加速度計またはジャイロスコープなどの傾斜補正コンパスを含み得る方位センサ130を使用して、モバイルプラットフォーム100の仮の方位を決定することができる(406)。方位センサ130は、仮の方位を計算するプロセッサ152に仮方位データを提供する。別の実施形態では、モバイルプラットフォームの仮の方位は決定されず、仮の方位の測定の使用無しに平面図画像が取得され、分析される。

画像における環境特性の平面図画像は、モバイルプラットフォームの位置、および一実施形態では、モバイルプラットフォームの仮の方位に基づいて、ローカルメモリ154から、またはサーバ112および平面画像データベース115(図2)から取り出すことができる(408)。たとえば、サーバ112は、たとえば図1に示されるセルラータワー104またはワイヤレスアクセスポイント106を介して、ネットワーク110を介してアクセスされる。いくつかの実施形態では、ネットワーク110は、衛星ビークルを介してアクセスされ得る。画像が生成されたときにモバイルプラットフォームの位置を決定しており、サーバ112は、モバイルプラットフォームの決定された位置、たとえば緯度および経度に基づいて問い合わせが行われ、決定された位置のデジタル平面図画像が取得され、画像450における環境特性が平面図画像において分解される十分な解像度を有するモバイルプラットフォームにダウンロードされる。例として、環境特性上の線または縁を識別するための十分な解像度を有する衛星画像が使用され得る。モバイルプラットフォームの仮の方位に関する情報によって、平面図画像は、画像における環境特性を平面図画像の中央の近くに配置するために、仮の方位の方向の方にオフセットされて、サーバ112から取り出され得る。例として、図10は、環境特性の平面図、すなわち画像450の建築物452、ならびに他の構造物およびディテール、たとえば建築物472を含む可能な平面図画像470を示す。平面図画像470に示される位置474は、図9の画像450が生成されたときのモバイルプラットフォームの決定された位置を表す。

環境特性の画像450が分析されて、環境特性上の線が識別され、線の方向が決定される(410)。一実施形態では、環境特性上の線の方向は、モバイルプラットフォームの仮の方位に対して決定され得る。環境特性の画像450は、たとえば、プロセッサ152(図3)の一部であってもよく、またはそれとは別でもよい画像処理エンジン155によって分析され得る。たとえば消点推定技法を使用して、画像を分析して、環境特性上の線を識別し、線の方向を決定することは、「Geometrical Feature-Based Wall Region And SIFT For Building Recognition」, by HH Trinh, DN Kim, HU Chae and KH Jo, International Symposium on Electrical & Electronics Engineering 2007, pp 74-79に記載されており、参照により本明細書に組み込まれる。図11は、画像450を分析して、線を識別し、線の方向を決定する方法を示す。図11に示すように、画像の線が識別され(502)、これは、たとえば、次いで線分に接続され、調和される縁部ピクセルを検出する、Canny、Sobel、またはRobers Crossなどの畳み込みカーネルなど、任意の所望の縁または線検出演算子を使用して実行され得る。ハフ変換などの直線当てはめアルゴリズムのような代替方法も使用され得る。次いで、線は、水平および垂直のグループにグループ分けされる(504)。たとえば、画像上の線と垂直軸との間の角度があらかじめ決定された角度、たとえば20度よりも小さい場合、線は垂直線と分類され、それ以外、線は平行線と分類される。短縮のために、画像は、3次元において平行である場合であっても、2次元画像においては平行でない線を含む。次いで、3次元では互いに平行である垂直線の組が決定される(506)。線は、2次元画像において同じ消点を通過する場合、3次元において平行であると識別される。たとえば、2本の線の消点を識別することができ、他の線が同じ消点を通過するかどうかが決定される。3本以上の線が同じ消点を通過する場合、たとえば、それらの線は平行であると見なされる。3次元的に平行な線の垂直の消点の位置が計算される(508)。

図12および図13は、消点の決定を示す。図12は、カメラ位置606によって形成される平面608、画像600における2次元の線602、および3次元空間における対応する線604を示す。ガウス(単位)球610は、カメラ位置606を中心として示されており、平面608は、大円612上のガウス球610を横切る。図13は、ガウス球610および対応する大円612とともに、3次元空間における線604およびカメラ位置606によって形成される平面608を示す。図13は、3次元空間において線604と平行する2つの追加の線620および630、それぞれの線620および626ならびにカメラ位置606によって形成される平面622および632、ならびに対応する大円624および634も示す。大円612、624、および634は、ガウス球610上の共通の消点640で交差し、平行線604、620、および630の方向を識別するために使用することができる。3次元空間において互いに平行するn本の線の組が与えられると、消点Vは、以下の式を解くことによって決定される。
l_i ^TV_i=0 式1
式中、l_i=(a_i, b_i, c_i)は、i本目の線を表す。RANSAC(RANdom SAmple Consensus)などの方法を使用して、垂直の消点を推定することができる。画像がほぼ直立のカメラによって生成されるとき、記載の消点推定方法が使用され得ることを理解されたい。必要な場合、他の既知の消点推定方法が使用されてもよい。

垂直線では、決定すべき消点が1つしかなく、したがって、式1を一度解くだけでよい。しかしながら、水平線では、複数の消点が可能である。水平の消点を決定するために、iが0に設定され(509)、RANSAC方法を使用して、消点v_i、内座層H_i ⁱⁿ、および外座層H_i ^outが計算される(510)。外座層H_i ^outは水平線グループから取り除かれる(512)。i<Mであり、6本以上の平行線が残される(514)場合、iは1つだけ増加され(516)、プロセスが繰り返される。iがM以上である場合、または残った水平線が6本以下である場合(514)、プロセスは終了し、垂直および水平の消点は、たとえばメモリ154(図3)に記憶される(518)。例として、値Mが5または使用される水平の消点の数についての任意の他の所望の値に設定され得る。

図14は、例として、建築物452を含み、第1の組の水平線454、第2の組の水平線456、および1組の垂直線458で識別され、そこに含まれる線を含む画像450を示す。図15は、第1の組の水平線454の方向454D、第2の組の水平線456の方向456D、および垂直線458の方向458Dが、カメラの視野473として示されるカメラの方位とともに、カメラ位置474に対して示される平面図画像470を示す。

再び図8を参照すると、環境特性の平面図画像470が分析されて、線または縁が識別され、平面図画像の既知のおよび固定の座標系に対する線の方向が決定される(412)。平面図画像470の線は、たとえば、縁または線検出演算子、たとえば畳み込みカーネル、Robers Cross、Sobel、またはCannyエッジ検出器を使用して、上記で説明したのと同じ方法で識別することができる。平面図画像470において分析すべき環境特性は、すなわち、モバイルプラットフォームの決定された仮の方位に最も近い、カメラの視野473内にある環境特性として識別され得る。モバイルプラットフォームの仮の方位が決定されない場合、平面図画像内のすべての環境特性が分析されて、環境特性における線の方向が識別され得る。

図16は、図15と類似しており、平面図画像470を示しており、建築物452の上部の検出された縁が識別されている。わかるように、2組の線482および484が、建築物452に対して示される。平面図画像470の既知および固定の座標系486に対する線482および484の方向が決定される。平面図画像470において識別される追加の線があり得、したがって、平面図画像470の線が、線の方向に基づいて画像450の線と照合される(414)(図8)。一実施形態では、平面図画像470の線の間の角度を方向454Dと456Dとの間の角度と比較することによって、線の照合が実行され、最も小さい差が一致と見なされる。モバイルプラットフォームの仮の方位が既知である場合、このプロセスは簡単であり、そうでない場合、線の組の照合のより厳密なプロセスが使用され得る。図16には、カメラ位置474に対する平面図画像の線482および484のそれぞれの方向482Dおよび484Dが示される。

次いで、環境特性は、画像における線の衛星画像における線との最も近い一致に基づいて識別することができる(416)。さらに、たとえば、環境特性の輪郭もしくはマスク、または環境特性を識別する任意の他の可視の手段など、環境特性の拡張オーバーレイは、ステップ410および412で実行されるように、画像および衛星画像における識別された線に基づき得る。識別された環境特性ならびに生成された拡張オーバーレイを含む結果が、たとえばメモリ154(図3)に記憶される(図8)(418)。

必要な場合、その全体が参照により本明細書に組み込まれる、Bolan JiangおよびSerafin Diazによって2009年11月19日に出願された「Orientation Determination of a Mobile Station Using Side and Top View Images」という名称の米国特許出願第12/622,313号に詳細に記載されるように、平面図における線の方向に対する画像における線の方向の相対的な方位に基づくモバイルプラットフォームの実際の方位の決定など、追加の処理が実行されてもよい。

本発明をその説明のために特定の実施形態に関連して例示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱せずに様々な適合および修正を施してもよい。したがって、添付の特許請求の範囲の趣旨および範囲を上記の説明に限定すべきではない。

100 モバイルプラットフォーム
102 衛星ビークル
104 セルラータワー
106 ワイヤレス通信アクセスポイント
108 画像
110 ネットワーク
112 サーバ
114 マップデータベース
115 平面画像データベース
120 カメラ
130 方位センサ
140 受信機
144 アンテナ
145 ワイヤレストランシーバ
150 モバイルプラットフォーム制御部
152 プロセッサ
153 クロック
154 関連メモリ
155 画像処理エンジン
156 ハードウェア
157 ファームウェア
158 ソフトウェア
162 ディスプレイ
164 キーパッド
252 建築物
254 道路
262A 3次元線
262C 2次元線
266 ピン
268 扇形方位要素
272A マスク
274A マスク
450 画像
452 建築物
454 第1の組の水平線
456 第2の組の水平線
458 1組の垂直線
472 建築物
474 位置
486 座標系
606 カメラ位置
608 平面
610 ガウス球
640 消点

Claims (35)

1. デバイスのディスプレイに現在のビューを表示するステップと、
   前記ディスプレイ上の前記現在のビューと次のビューとの間の移行を要求するステップであり、前記現在のビューおよび前記次のビューが前記デバイスのカメラによってキャプチャされた画像のカメラビューおよびマップビューのうちの一方から選択された異なるビューである、ステップと、
   前記ディスプレイおいてユーザインターフェースの移行を生成し、表示するステップであり、前記ユーザインターフェースの移行が、
   現在のビューにおけるユーザの向いている方位を次のビューにおいて示すために、第1のフレーム中の前記現在のビューと第2のフレーム中の前記次のビューとの間の視覚的接続を提供するための、前記現在のビューにおける照準線および視覚的に識別可能な環境特性のうちの少なくとも一方を前記次のビューへ移行する複数のフレームと、
   前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第1のフレーム中の第1のグラフィック要素と、前記次のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第2のフレーム中の第2のグラフィック要素と、前記第1のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供するために、前記第1のフレームと前記第2のフレームとの間に表示される少なくとも１つの中間フレーム中の少なくとも１つの中間グラフィック要素とをさらに含み、
   前記第1のグラフィック要素、前記少なくとも１つの中間グラフィック要素、および前記第2のグラフィック要素が、前記次のビューにおける異なる方位への、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方の第1の方位の変化を示す、ステップと、
   前記ディスプレイに前記次のビューを表示するステップと
   を含むモバイルプラットフォームによって実行される方法。
2. 前記第1のグラフィック要素が、前記現在のビュー上に表示される第1の拡張オーバーレイを含み、前記第2のグラフィック要素が前記次のビュー上に表示される第2の拡張オーバーレイを含み、前記少なくとも１つの中間グラフィック要素が前記第1の拡張オーバーレイと前記第2の拡張オーバーレイとの間の視覚的接続を提供するために、前記第１の拡張オーバーレイと前記第2の拡張オーバーレイとの間に表示される少なくとも1つの中間拡張オーバーレイとを含む、請求項１に記載の方法。
3. 前記ユーザインターフェースの移行を生成し、表示するステップが、前記中間グラフィック要素を用いて前記第1のグラフィック要素と前記第2のグラフィック要素との間の位置、方位、形状、およびパースペクティブのうちの少なくとも1つの変化を生成し、表示するステップを含む、請求項１に記載の方法。
4. 前記現在のビューにおいて少なくとも1つの視覚的に識別可能な環境特性を識別するステップと、
   前記次のビューにおいて同じ少なくとも1つの視覚的に識別可能な環境特性を識別するステップと、
   前記現在のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素を準備するステップと、
   前記次のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第2のグラフィック要素を準備するステップと、
   前記第1のグラフィック要素と前記第2のグラフィック要素との間の前記視覚的接続を提供する前記少なくとも1つの中間グラフィック要素を準備するステップと、
   前記第1のフレーム中に前記現在のビューの前記第1のグラフィック要素を表示するステップと、
   前記少なくとも１つの中間フレーム中に前記少なくとも1つの中間グラフィック要素を表示するステップと、
   前記第2のフレーム中に前記次のビューの前記第2のグラフィック要素を表示するステップと
   をさらに含む請求項１に記載の方法。
5. 前記識別された少なくとも1つの視覚的に識別可能な環境特性が、線、幾何学的形状、エリア、建築物、および色の塊のうちの少なくとも1つである、請求項４に記載の方法。
6. 前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素および前記第2のグラフィック要素が、前記視覚的に識別可能な環境特性の線、幾何学的形状、エリア、輪郭、トリミングされた画像のうちの少なくとも1つであり、不透明、透明、2次元、3次元のうちの少なくとも1つであるか、または前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素および前記第2のグラフィック要素が、前記環境特性を異なって着色された線または異なって着色された不透明のマスクを使用することによって識別する要素である請求項４に記載の方法。
7. 前記ユーザインターフェースの移行を表示しながら、前記現在のビューから前記画像を取り除くステップをさらに含む請求項１に記載の方法。
8. 前記現在のビューと前記次のビューとの間の前記移行が、ジェスチャーを使用して要求される、請求項１に記載の方法。
9. 前記現在のビューが前記カメラビューであり、前記次のビューが前記マップビューである、請求項１に記載の方法。
10. 前記現在のビューが前記マップビューであり、前記次のビューが前記カメラビューである、請求項１に記載の方法。
11. 前記ユーザインターフェースの移行を表示しながら、前記次のビューが表示される、請求項１に記載の方法。
12. 前記マップビューにおいてユーザの位置を示すステップをさらに含む請求項１に記載の方法。
13. 線、点線、2次元の矢印、3次元の矢印、および前記カメラビューからの近似の視野を示す扇形方位要素のうちの少なくとも１つによってユーザの位置からの一連のサイトパスを示すステップをさらに含み、
    前記扇形方位要素は、前記デバイスが向いている方向にウェッジを表示することによって、前記ユーザの可能性のあるビューアングルを示す、請求項１に記載の方法。
14. 前記マップビューが2次元のマップ表現、3次元のマップ表現、および衛星画像図のうちの少なくとも1つである、請求項１に記載の方法。
15. モバイルプラットフォームであって、
    向いている方向の画像をキャプチャするように動作可能なカメラと、
    前記カメラが向いている前記方向に関するデータを提供する方位センサと、
    測位データを提供する衛星測位システム受信機と、
    前記カメラ、前記方位センサ、および前記衛星測位システム受信機に接続されたプロセッサと、
    前記プロセッサに接続されたメモリと、
    前記メモリに接続されたディスプレイと、
    前記メモリに保持され、前記プロセッサに、前記衛星測位システム受信機からの前記測位データを使用して、前記モバイルプラットフォームの位置と、前記方位センサからの前記データを使用して、前記カメラが向いている前記方向とを決定させ、前記モバイルプラットフォームの前記位置に基づいてデジタルマップを取得させ、前記ディスプレイ上に現在のビューを表示させ、前記現在のビューと次のビューとの間の移行の要求に応答して、現在のビューにおけるユーザの向いている方位を次のビューにおいて示すために、第1のフレーム中の前記現在のビューと第2のフレーム中の前記次のビューとの間の視覚的接続を提供するための、前記現在のビューにおける照準線および視覚的に識別可能な環境特性のうちの少なくとも一方を前記次のビューへ移行する複数のフレームを含むユーザインターフェースの移行を生成させ、表示させ、前記現在のビューおよび前記次のビューが前記カメラによってキャプチャされた前記画像のカメラビューおよびマップビューのうちの一方から選択された異なるビューであり、前記ユーザインターフェースの移行が、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第1のフレーム中の第1のグラフィック要素と、前記次のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第2のフレーム中の第2のグラフィック要素と、前記第1のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供するために、前記第1のフレームと前記第2のフレームとの間に表示される少なくとも１つの中間フレーム中の少なくとも１つの中間グラフィック要素とをさらに含み、前記第1のグラフィック要素、前記少なくとも１つの中間グラフィック要素、および前記第2のグラフィック要素が、前記次のビューにおける異なる方位への、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方の第1の方位の変化を示し、前記ディスプレイにおいて前記次のビューを表示させるように、前記プロセッサにおいて稼働するソフトウェアと
    を含むモバイルプラットフォーム。
16. ワイヤレストランシーバをさらに備え、前記デジタルマップが前記ワイヤレストランシーバを使用して取得される、請求項１５に記載のモバイルプラットフォーム。
17. 前記第1のグラフィック要素が、前記現在のビュー上に表示される第1の拡張オーバーレイを含み、前記第2のグラフィック要素が、前記次のビュー上に表示される第2の拡張オーバーレイを含み、前記少なくとも１つの中間グラフィック要素が、前記第1の拡張オーバーレイと前記第2の拡張オーバーレイとの間の視覚的接続を提供するために、前記第１の拡張オーバーレイと前記第2の拡張オーバーレイとの間に表示される少なくとも1つの中間拡張オーバーレイとを含む、請求項１５に記載のモバイルプラットフォーム。
18. 前記ユーザインターフェースの移行が、前記中間グラフィック要素を用いた前記第1のグラフィック要素と前記第2のグラフィック要素との間の位置、方位、形状、およびパースペクティブのうちの少なくとも1つの変化である、請求項１５に記載のモバイルプラットフォーム。
19. 前記ソフトウェアがさらに、前記プロセッサに、前記モバイルプラットフォームの前記位置に基づいて平面図画像を取得させ、前記カメラからの画像における少なくとも1つの視覚的に識別可能な環境特性、および前記平面図画像における同じ少なくとも1つの視覚的に識別可能な環境特性を識別させ、前記現在のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素を準備させ、前記次のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第2のグラフィック要素を準備させ、前記第１のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供する前記少なくとも１つの中間フレーム中の前記少なくとも1つの中間グラフィック要素を準備させ、前記第1のフレーム中に前記現在のビューの前記第1のグラフィック要素を表示させ、前記少なくとも１つの中間フレーム中に前記少なくとも1つの中間グラフィック要素を表示させ、前記第2のフレーム中に前記次のビューの前記第2のグラフィック要素を表示させる、請求項１５に記載のモバイルプラットフォーム。
20. 前記識別された少なくとも1つの視覚的に識別可能な環境特性が、線、幾何学的形状、エリア、建築物、および色の塊のうちの少なくとも1つである、請求項１９に記載のモバイルプラットフォーム。
21. 前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素および前記第2のグラフィック要素が、前記視覚的に識別可能な環境特性の線、幾何学的形状、エリア、輪郭、トリミングされた画像のうちの少なくとも1つであり、不透明、透明、2次元、3次元のうちの少なくとも1つであるか、または前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素および前記第2のグラフィック要素が、前記環境特性を異なって着色された線または異なって着色された不透明のマスクを使用することによって識別する要素である請求項１９に記載のモバイルプラットフォーム。
22. 前記ソフトウェアが、前記プロセッサに、前記方位センサによって検出されるジェスチャーに基づいて前記移行の要求を検出させる、請求項１５に記載のモバイルプラットフォーム。
23. 前記現在のビューが前記カメラからの画像を示す前記カメラビューであり、前記次のビューが前記マップビューである、請求項１５に記載のモバイルプラットフォーム。
24. 前記現在のビューが前記マップビューであり、前記次のビューが前記カメラからの画像を示す前記カメラビューである、請求項１５に記載のモバイルプラットフォーム。
25. 前記ソフトウェアが、前記プロセッサに、前記マップビューにおいてユーザの位置を示させる、請求項１５に記載のモバイルプラットフォーム。
26. 前記マップビューが2次元のマップ表現、3次元のマップ表現、および衛星画像図のうちの少なくとも1つである、請求項１５に記載のモバイルプラットフォーム。
27. モバイルプラットフォームのディスプレイで現在のビューと次のビューとの間のユーザインターフェースの移行を提供するための装置であって、前記ユーザインターフェースの移行が、現在のビューにおけるユーザの向いている方位を次のビューにおいて示すために、前記現在のビューと前記次のビューとの間の視覚的接続を提供し、前記現在のビューと前記次のビューが、カメラビューおよびマップビューのうちの一方から選択された異なるビューであり、前記装置が、
    前記カメラビューを提供するための手段と、
    前記マップビューを取得するための手段と、
    現在のビューにおけるユーザの向いている方位を次のビューにおいて示すために、第1のフレーム中の前記現在のビューと第2のフレーム中の前記次のビューとの間の視覚的接続を提供するための、前記現在のビューにおける照準線および視覚的に識別可能な環境特性のうちの少なくとも一方を前記次のビューへ移行する複数のフレームを含み、前記ユーザインターフェースの移行が、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第1のフレーム中の第1のグラフィック要素と、前記次のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第2のフレーム中の第2のグラフィック要素と、前記第1のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供するために、前記第1のフレームと前記第2のフレームとの間に表示される少なくとも１つの中間フレーム中の少なくとも１つの中間グラフィック要素とをさらに含み、前記第1のグラフィック要素、前記少なくとも１つの中間グラフィック要素、および前記第2のグラフィック要素が、前記次のビューにおける異なる方位への、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方の第1の方位の変化を示す、ユーザインターフェースの移行を生成するための手段と、
    前記現在のビューと、前記次のビューと、前記ユーザインターフェースの移行とを表示するための手段と
    を含む装置。
28. 前記現在のビューと前記次のビューとの間の移行を要求するための手段をさらに含み、前記ユーザインターフェースの移行を生成するための前記手段が、前記要求に応答して前記ユーザインターフェースの移行を生成する、請求項２７に記載の装置。
29. 前記ユーザインターフェースの移行が、前記中間グラフィック要素を用いた前記第1のグラフィック要素と前記第2のグラフィック要素との間の拡張オーバーレイの位置、方位、形状、およびパースペクティブのうちの少なくとも1つの変化である、請求項２７に記載の装置。
30. 前記カメラビューにおける少なくとも1つの視覚的に識別可能な環境特性と、前記マップビューの同じ少なくとも1つの視覚的に識別可能な環境特性とを識別するための手段をさらに含み、ユーザインターフェースの移行を生成するための前記手段が、前記現在のビューにおける前記視覚的に識別可能な環境特性についての前記第1のグラフィック要素、前記次のビューにおける前記視覚的に識別可能な環境特性についての前記第2のグラフィック要素、および前記第1のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供する少なくとも1つの中間グラフィック要素を準備するための手段を含む、請求項２７に記載の装置。
31. 前記識別された少なくとも1つの視覚的に識別可能な環境特性が、線、幾何学的形状、エリア、建築物、および色の塊のうちの少なくとも1つである、請求項３０に記載の装置。
32. マップビューを取得するための前記手段が、前記マップビューとして表示するために、デジタルマップを取得するためのワイヤレストランシーバである、請求項２７に記載の装置。
33. 前記マップビューが2次元のマップ表現、3次元のマップ表現、および衛星画像図のうちの少なくとも1つである、請求項２７に記載の装置。
34. プログラムコードを記録したコンピュータ可読記録媒体であって、
    モバイルプラットフォームが向いている方向を決定するためのプログラムコードと、
    モバイルプラットフォームの位置を決定するためのプログラムコードと、
    前記モバイルプラットフォームの前記位置に基づいて、デジタルマップを取得するためのプロフラムコードと、
    前記モバイルプラットフォームのディスプレイ上に現在のビューおよび次のビューを表示するためのプログラムコートであり、前記現在のビューおよび前記次のビューが前記モバイルプラットフォームのカメラによってキャプチャされた画像のカメラビューおよび前記デジタルマップのビューのうちの一方から選択された異なるビューである、プログラムコードと、
    前記現在のビューと前記次のビューとの間のユーザインターフェースの移行を生成し、表示するためのプログラムコードであり、前記ユーザインターフェースの移行が、現在のビューにおけるユーザの向いている方位を次のビューにおいて示すために、第1のフレーム中の前記現在のビューと第2のフレーム中の前記次のビューとの間の視覚的接続を提供するための、前記現在のビューにおける照準線および視覚的に識別可能な環境特性のうちの少なくとも一方を前記次のビューへ移行する複数のフレームを含み、前記ユーザインターフェースの移行が、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第1のフレーム中の第1のグラフィック要素と、前記次のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方を識別する前記第2のフレーム中の第2のグラフィック要素と、前記第1のグラフィック要素と前記第2のグラフィック要素との間の視覚的接続を提供するために、前記第1のフレームと前記第2のフレームとの間に表示される少なくとも１つの中間フレーム中の少なくとも１つの中間グラフィック要素とをさらに含み、前記第1のグラフィック要素、前記少なくとも１つの中間グラフィック要素、および前記第2のグラフィック要素が、前記次のビューにおける異なる方位への、前記現在のビューにおける前記照準線および前記視覚的に識別可能な環境特性のうちの少なくとも一方の第1の方位の変化を示す、プログラムコードと
    を含むコンピュータ可読記録媒体。
35. 前記モバイルプラットフォームのカメラからの画像における少なくとも1つの視覚的に識別可能な環境特性と、前記デジタルマップにおける同じ少なくとも1つの視覚的に識別可能な環境特性とを識別するためのプログラムコードと、
    前記現在のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第1のグラフィック要素、前記次のビューにおける前記少なくとも1つの視覚的に識別可能な環境特性についての前記第2のグラフィック要素、および前記第1のグラフィック要素と前記第2のグラフィック要素との間の前記視覚的接続を提供する前記少なくとも1つの中間グラフィック要素を生成するためのプログラムコードと
    をさらに含む請求項３４に記載のコンピュータ可読記録媒体。

Images