JP7469008B2 - 経路案内のためのコンテンツ提供方法および装置 - Google Patents

Description

実施形態は、経路案内のためのコンテンツをユーザ端末に提供する方法に関し、より詳細には、出発地から目的地へのユーザ端末の移動に伴ってユーザ端末の位置に対応する映像がユーザ端末に表示されるようにする動画形態のコンテンツを経路案内のためのコンテンツとして提供する方法に関する。

ユーザから所定の目的地に対する経路案内要求を受信し、経路要求に含まれる出発地から目的地までの最適経路を検索し、検索された最適経路をユーザ端末に提供して表示されるようにするサービスが広く利用されている。このようなサービスは、地理的位置および場所に関するデータを提供するマップアプリケーションによって提供される。一方、地理的位置および場所と関連し、該当の位置および場所が撮影された映像（ｉｍａｇｅ）を提供するストリートビューアプリケーションも広く知られている。

しかし、ユーザが未知の目的地に向かう場合、ユーザは該当の目的地までの経路や周辺の地物を熟知していないため、マップアプリケーションが提供する経路案内サービスだけでは、迅速かつ正確に目的地までたどり着くことは難しい。また、ストリートビューアプリケーションが提供するストリートビューサービス（またはロードビューサービス）は、特定の位置や場所に関するイメージを提供するだけであるため、目的地を探索するための参照資料として活用できるだけであり、目的地に迅速かつ正確に到達のために活用するには困難がある。

したがって、ユーザが未知の目的地に向かう場合でも、ユーザが該当の目的地に対して案内された最適経路に沿って正しく移動しているのかをユーザが直観的に確認できるようにする経路案内のためのコンテンツ提供方法が求められている。

特許文献１（登録日２０１４年０３月２７日）は、モバイルデバイスにユーザが所望する種類の移動経路に関する情報を伝達できるようにする移動経路案内方法および装置に関し、移動経路の設定に必要な事項を入力するための入力ウィンドウに入力された情報に基づいて移動経路を検索してユーザに提供することにより、ユーザの目的に合った移動経路の設定および提供を可能にする技術を開示している。

上述した情報は、理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともあるし、従来技術が当業者に提示することのできる内容を含まないこともある。

韓国登録特許第１０－１３８１３８０号

一実施形態は、撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および進行方向情報を含む映像情報を取得しておき、ユーザ端末からの経路案内要求に従って、適切な映像情報を含む経路案内のためのコンテンツをユーザ端末に提供する方法を提供することを目的とする。

一実施形態は、出発地および目的地を含む経路案内要求に従ってユーザ端末に動画形態の経路案内のためのコンテンツが提供され、このようなコンテンツを利用し、ユーザ端末の出発地から目的地への移動に伴ってユーザ端末で、ユーザ端末の位置および姿勢に対応する適切な映像を表示する方法を提供することを目的とする。

一実施形態は、複数の撮影者が撮影した映像情報を分析および加工することによって生成された経路案内のためのコンテンツを、経路案内を要求したユーザ端末に提供し、経路内の位置にユーザ端末が位置したときに該当の位置に対して最適化されたフレームをユーザ端末に表示する方法を提供することを目的とする。

一側面において、サーバが実行する経路案内のためのコンテンツ提供方法であって、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む映像情報を取得する映像情報取得段階、および前記位置情報と関連する経路案内要求に従って、前記映像情報を含む経路案内のためのコンテンツを提供するコンテンツ提供段階を含む、経路案内のためのコンテンツ提供方法が提供される。

前記映像情報は、複数のフレームを含んでよい。

前記位置情報、前記姿勢情報、および前記進行方向情報は、前記複数のフレームそれぞれが撮影された時点（ｔｉｍｉｎｇ）と関連する情報であってよい。

前記位置情報は、撮影位置のＧＰＳ情報を含んでよい。

前記進行方向情報は、前記撮影のために使用された装置の進行方向を含んでよい。

前記姿勢情報は、前記撮影のために使用された装置のロール（ｒｏｌｌ）角度、ピッチ（ｐｉｔｃｈ）角度、および前記進行方向にヨー（ｙａｗ）角度のうちの少なくとも１つを含んでよい。

前記コンテンツ提供段階は、ユーザ端末から前記経路案内要求を受信する段階、および動画形態の前記コンテンツを前記ユーザ端末に送信する段階を含んでよい。

前記コンテンツは、前記ユーザ端末の出発地から目的地への移動に伴って前記ユーザ端末の位置に対応する映像が前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。

前記コンテンツ提供段階は、前記出発地から前記目的地までの最適経路を決定する段階、前記映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して少なくとも１つの候補フレームを決定する段階、前記候補フレームに基づき、前記位置に対して決定された最適フレームを含む前記動画形態のコンテンツを生成する段階、および前記動画形態のコンテンツを前記ユーザ端末に提供する段階を含んでよい。

前記候補フレームは複数であり、前記最適フレームは、複数の候補フレームを合成することによって生成された再構成フレームであってよい。

前記再構成フレームは、前記位置と関連する３次元映像を含んでよい。

前記最適経路内の位置は複数であり、前記候補フレームおよび前記最適フレームは、前記最適経路内の複数の位置それぞれに対して決定されてよい。

前記動画形態のコンテンツは、前記ユーザ端末が前記最適経路に沿って移動するにあたり、前記ユーザ端末が前記複数の位置のうち第１位置に位置したときに前記第１位置と関連する最適フレームが前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。

前記動画形態のコンテンツは、前記動画形態のコンテンツのフレームと共に、前記フレームの中心または前記ユーザ端末の画面の中心には第１ガイド情報が、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置には第２ガイド情報が、前記ユーザ端末に表示されるように、前記ユーザ端末に提供されてよい。

前記第１ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報であってよい。

前記第２ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であってよい。

前記候補フレームまたは前記最適フレームは、前記位置に対応する位置情報と関連し、前記位置から前記目的地に向かう道路または道を正面から撮影した進行方向情報および姿勢情報と関連するフレームを含んでよい。

前記映像情報を取得する段階は、複数の撮影者によって撮影された映像情報を取得してよい。

前記候補フレームは、前記複数の撮影者によって撮影された映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して決定されてよい。

他の側面において、ユーザ端末が実行する経路案内のためのコンテンツ提供方法であって、経路案内要求をサーバに送信する送信段階、前記サーバから、出発地から目的地までの経路内に存在する少なくとも１つの位置と関連する映像情報を含むコンテンツを受信する受信段階であって、前記映像情報は、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む受信段階、および前記コンテンツを利用し、前記ユーザ端末の前記出発地から前記目的地への移動に伴って前記ユーザ端末の位置に対応する映像を表示する表示段階を含む、経路案内のためのコンテンツ提供方法が提供される。

前記表示段階は、前記コンテンツに含まれる複数のフレームから前記ユーザ端末の位置に対応するフレームを決定する決定段階であって、前記フレームは、前記フレームと関連する位置情報と前記ユーザ端末の位置情報との比較結果に基づいて決定される決定段階、および前記ユーザ端末が前記位置に位置したときに前記決定されたフレームを表示するフレーム表示段階を含んでよい。

前記決定されたフレームは、複数の候補フレームを合成して生成された再構成フレームであってよい。

前記フレーム表示段階は、前記決定されたフレームと共に、前記表示される決定されたフレームの中心または前記ユーザ端末の画面の中心に第１ガイド情報を表示する段階を含んでよい。

前記第１ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報であってよい。

前記フレーム表示段階は、前記決定されたフレームおよび前記第１ガイド情報と共に、前記決定されたフレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第２ガイド情報を表示する第２ガイド情報表示段階を含んでよい。

前記第２ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であってよい。

前記ユーザ端末の所期の位置または姿勢への操作は、前記第１ガイド情報の表示位置と前記第２ガイド情報の表示位置を一致させる前記ユーザ端末の操作であってよい。

前記第２ガイド情報表示段階は、前記決定されたフレームと関連する進行方向角度（ｈｅａｄｉｎｇ ａｎｇｌｅ）と前記ユーザ端末の進行方向角度とを比べることによって方向差角度を計算する段階、前記決定されたフレームと関連する姿勢情報と前記ユーザ端末の姿勢情報とを比べることによって姿勢差角度を計算する段階、および前記方向差角度および前記姿勢差角度に基づいて前記第２ガイド情報の表示位置を決定し、決定された表示位置に前記第２ガイド情報を表示する段階を含んでよい。

前記姿勢差角度は、前記決定されたフレームと関連するロール（ｒｏｌｌ）角度およびピッチ（ｐｉｔｃｈ）角度のうちの少なくとも１つと、前記ユーザ端末と関連するロール（ｒｏｌｌ）角度およびピッチ（ｐｉｔｃｈ）角度のうちの少なくとも１つとの比較に基づいて生成されてよい。

前記フレーム表示段階は、前記方向差角度および前記姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示する段階を含んでよい。

前記映像情報は、前記経路内に存在する少なくとも１つの位置を複数の撮影者が撮影した映像情報を含んでよい。

前記映像情報は、ストリートビューまたはロードビューサービスを提供するサーバから取得した前記経路内に存在する少なくとも１つの位置と関連する映像情報を含んでよい。

撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および進行方向情報を含む映像情報が経路案内のためのコンテンツとしてユーザ端末に提供されることにより、ユーザは、ユーザ端末に表示された映像を確認しながら、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することができる。すなわち、ユーザは、ユーザ端末に表示された映像と該当の位置の実際の地物とを容易に比べることができ、表示された映像が案内する位置から外れた場合には通知メッセージ（例えば、警報など）を受け取ることができる。

複数の撮影者によって撮影された映像情報を経路案内のためのコンテンツ生成に使用することにより、経路案内が要求された経路内の位置に対して（目的地への経路を識別するために）最適化されたフレームの映像をユーザ端末に表示することができる。

一実施形態における、撮影によって取得した映像情報に基づく経路案内のためのコンテンツを、経路案内を要求したユーザ端末に提供する方法を示した図である。 一実施形態における、撮影を実行する装置、経路案内のためのコンテンツを生成するサーバ、および経路案内のためのコンテンツの提供を受けるユーザ端末の構成を示した構造図である。 一実施形態における、撮影を実行する装置が映像情報を取得（生成）してサーバに送信する方法を示したフローチャートである。 一実施形態における、サーバが映像情報を取得し、経路案内を要求したユーザ端末に経路案内のためのコンテンツを提供する方法を示したフローチャートである。 一実施形態における、ユーザ端末がサーバに経路案内要求を送信し、サーバから経路案内のためのコンテンツの提供を受ける方法を示したフローチャートである。 一実施形態における、ユーザ端末が、目的地への移動に伴い、ユーザ端末の位置に対応する経路案内のための映像を表示する方法を示したフローチャートである。 一実施形態における、ユーザ端末が経路案内のための映像を表示するにあたり、ガイド情報を共に表示する方法を示したフローチャートである。 一実施形態における、撮影を実行する装置による映像情報の取得方法を示した図である。 一実施形態における、サーバが、経路案内が要求された経路内の位置に相応しい候補フレームをマッチングさせる方法を示した図である。 一実施形態における、サーバが複数の撮影者によって撮影された映像情報を分析および加工することによって経路案内のための最適映像を生成する方法を示した図である。 一実施形態における、ユーザ端末が、ユーザ端末の位置に相応しい再生フレームをマッチングさせる方法を示した図である。 一実施形態における、経路案内のための映像と共にガイド情報をユーザ端末に表示する方法を示した図である。

以下、添付の図面を参照しながら、実施形態について詳しく説明する。各図面に提示された同じ参照符号は、同じ部材を示す。

以下の詳細な説明において、ユーザ端末、サーバ、およびその他の装置に含まれる構成によって実行される機能および／または動作は、説明の便宜上、該当の構成ではなく、該当の構成を含む上位の構成やユーザ端末、サーバ、およびその他の装置によって実行されるものと記載されてよい。

また、以下の詳細な説明において、経路案内のためのコンテンツの提供を受けたユーザ端末に表示される映像は、映像のフレームを示してよい。すなわち、「映像」および「フレーム」という用語は、互いに代替されて使用されてよく、「映像」という用語は、複数のフレームを含む映像の他にも、１つのフレームを指称するものとして使用されてよい。

図１は、一実施形態における、撮影によって取得された映像情報に基づく経路案内のためのコンテンツを、経路案内を要求したユーザ端末に提供する方法を示した図である。

図１では、撮影のために使用される装置１１０が場所または位置１６０を撮影することによって生成された映像情報がサーバ（ストリートビューサーバ）１２０に伝達され、映像情報を含む経路案内のためのコンテンツが、経路案内を要求したユーザ端末１３０に提供される方法について説明する。

装置１１０は、場所または位置１６０に存在する地物（例えば、道路、道、または建物など）を撮影する装置であって、カメラを含んでよい。図に示すように、装置１１０は、スマートフォンであってよい。装置１１０は、場所または位置１６０に存在する地物を撮影することによって映像情報を生成してよい。映像情報は、撮影された映像の他にも、撮影時点（ｔｉｍｉｎｇ）において装置１１０と関連する位置情報、姿勢情報、および進行方向情報を含んでよい。

装置１１０の具体的な構成とその機能、および動作については、図２を参照しながらさらに詳しく説明する。

装置１１０は、生成した映像情報を、ネットワーク（例えば、インターネット）を介してサーバ１２０に送信してよい。サーバ１２０は、装置１１０から取得した映像情報をデータベース１２５に記録してよい。データベース１２５は、図に示すようにサーバ１２０と個別に存在してもよいし、図に示すものとは異なるようにサーバ１２０の内部に存在してもよい。

サーバ１２０は、ユーザ端末１３０からの所定の目的地への経路案内要求に従って目的地への最適経路を決定し、決定された最適経路に関する情報をユーザ端末１３０に提供してよい。すなわち、サーバ１２０は、ユーザ端末１３０に経路案内サービスを提供する装置であってよい。また、サーバ１２０は、ユーザ端末１３０からの要求に従い、ユーザ端末１３０にストリートビューサービスまたはロードビューサービスを提供する装置であってよい。

サーバ１２０の具体的な構成とその機能、および動作については、図２を参照しながらさらに詳しく説明する。

サーバ１２０は、装置１１０から取得した映像情報を利用して経路案内のためのコンテンツを生成してよい。経路案内のためのコンテンツは、上記映像情報を含んでよい。サーバ１２０は、ユーザ端末１３０から経路案内要求を受信した場合、経路案内のためのコンテンツを生成して（または、予め生成されたコンテンツを）ユーザ端末１３０に提供してよい。

経路案内のためのコンテンツは、サーバ１２０が決定した最適経路をユーザ端末１３０に案内するためのコンテンツであってよい。

ユーザ端末１３０は、提供を受けた経路案内のためのコンテンツを利用してユーザ端末１３０のユーザを目的地まで案内してよい。ユーザ端末１３０は、そのコンテンツを利用しながら、ユーザ端末１３０が目的地に移動することに伴ってユーザ端末１３０の位置に対応する映像１５０を表示してよい。ユーザ端末１３０に表示される映像１５０は、目的地を案内するためのガイド情報（例えば、目的地への方向を示す情報として矢印および／またはテキストを含む情報、目的地への道路／道を視覚的に区別して示すための情報など）を含んでよい。

ユーザ端末１３０が目的地に移動することによる位置変化に伴ってユーザ端末１３０に表示される映像も変化するという点において、映像情報を含む経路案内のためのコンテンツは、動画形態のコンテンツであってよい。

ユーザ端末１３０が、サーバ１２０から映像情報を含む経路案内のためのコンテンツの提供を受け、これを利用してユーザを目的地まで案内することにより、ユーザは、ユーザ端末１３０に表示された映像と現在地の地物とを比較できるようになり、これにより、ユーザは、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することが可能となる。

装置１１０、サーバ１２０、およびユーザ端末１３０の具体的な機能および動作と、サーバ１２０による経路案内のためのコンテンツの提供、およびユーザ端末１３０での経路案内のためのコンテンツの再生（表示）については、図２～図１２を参照しながらさらに詳しく説明する。

図２は、一実施形態における、撮影を実行する装置、経路案内のためのコンテンツを生成するサーバ、および経路案内のためのコンテンツの提供を受けるユーザ端末の構成を示した構造図である。

図２を参照しながら、図１で説明した装置１１０、サーバ１２０、およびユーザ端末１３０の構成についてさらに詳しく説明する。

装置１１０は、場所または位置１６０に存在する地物を撮影できるように構成された、いかなる装置であってもよい。例えば、装置１１０は、カメラ１１６を含むスマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレット（ｔａｂｌｅｔ）、ＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器、またはウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）など、ユーザが使用する端末であってよい。

装置１１０は、通信部１１２、制御部１１４、カメラ１１６、およびセンサ部１１８を含んでよい。

通信部１１２は、装置１１０がサーバ１２０や他の装置と通信するための装置であってよい。すなわち、通信部１１２は、サーバ１２０などとの間でデータおよび／または情報を送信／受信できるようにする、装置１１０のネットワークインタフェースカード、ネットワークインタフェースチップ、およびネットワーキングインタフェースポートなどのようなハードウェアモジュールであってもよいし、ネットワークデバイスドライバ（ｄｒｉｖｅｒ）またはネットワーキングプログラムのようなソフトウェアモジュールであってもよい。

制御部１１４は、装置１１０の構成要素を管理してよく、装置１１０が使用するプログラムまたはアプリケーションを実行させてよい。例えば、制御部１１４は、受信した撮影命令に従ってカメラ１１６を制御して場所または位置１６０に存在する地物を撮影するようにしたり、撮影による映像情報を生成したりしてよい。制御部１１４は、映像情報を生成するために要求されるプログラムまたはアプリケーションを実行させてよく、該プログラムまたはアプリケーションの実行およびデータの処理などに必要な演算を処理してよい。制御部１１４は、装置１１０の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。

カメラ１１６は、撮影を実行するための構成であって、イメージセンサを含んでよい。

センサ部１１８は、撮影時点における装置１１０と関連する位置情報、姿勢情報、および進行方向情報を取得するための装置であってよい。進行方向情報は、装置１１０の進行方向（すなわち、進行方向を示す情報を含む）を含んでよい。また、センサ部１１８は、撮影時点における装置１１０と関連する速度情報を取得してよい。

位置情報は、撮影位置のＧＰＳ情報として、緯度情報、経度情報、および高度情報を含んでよい。例えば、センサ部１１８は、撮影時点における装置１１０と関連する位置情報を取得するためのＧＰＳモジュールおよび高度センサを含んでよい。姿勢情報は、装置１１０のロール（ｒｏｌｌ）角度、ピッチ（ｐｉｔｃｈ）角度、およびヨー（ｙａｗ）角度のうちの少なくとも１つを含んでよい。姿勢情報は、装置１１０のロール（ｒｏｌｌ）角度、ピッチ角度、およびヨー角度をすべて含んでよい。姿勢情報は、姿勢方位基準装置（ＡＨＲＳ：Ａｔｔｉｔｕｄｅ Ｈｅａｄｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｓｙｓｔｅｍ）情報を含んでよい。また、姿勢情報は、装置１１０と関連するオイラー角（ｅｕｌｅｒ ａｎｇｌｅ）および／またはクォータニオン情報を含んでよい。

姿勢情報は、装置１１０の角度情報を含んでよい。角度情報は、装置の進行方向角度（ｈｅａｄｉｎｇ ａｎｇｌｅ）（向首角）を含んでよい。進行方向角度は、装置１１０のヨー（ｙａｗ）角度に対応してよい。ヨー角度は、進行方向情報が示す装置１１０の進行方向に対するヨー角度であってよい。すなわち、ヨー角度は、装置１１０の進行方向に対して撮影者（ユーザ）が眺める方向（すなわち、装置１００（装置１００のカメラ）が向く方向）の角度をさらに考慮したものであってよい。

センサ部１１８は、地磁気センサ、加速度センサ、およびジャイロセンサを含んでよく、姿勢情報および／または進行方向情報は、このようなセンサのうちの少なくとも１つが取得した値から計算されてよい。速度情報も、センサ部１１８の構成のうちの少なくとも１つが取得した値から計算されてよい。

制御部１１４の映像情報生成部１１５は、カメラ１１６が撮影した映像に、センサ部１１８が取得した情報を関連させることによって映像情報を生成してよい。生成された映像情報は、通信部１１２を経てサーバ１２０に送信されてよい。映像情報生成部１１５は、ソフトウェアモジュールおよび／またはハードウェアモジュールで実現されてよい。

また、図に示されてはいないが、装置１１０は、データまたは情報を記録するための装置として格納部を備えてよい。格納部は、生成された映像情報を記録してよい。すなわち、サーバ１２０に送信される映像情報は、格納部に予め記録されていた映像情報であってよい。

サーバ１２０は、装置１１０から映像情報を取得し、映像情報を含む経路案内のためのコンテンツを、経路案内を要求したユーザ端末１３０に提供する装置であってよい。例えば、サーバ１２０は、ユーザ端末１３０に経路案内サービスを提供する装置であってよい。また、サーバ１２０は、ユーザ端末１３０からの要求に従って、ユーザ端末１３０にストリートビューサービスまたはロードビューサービスを提供する装置であってよい。

サーバ１２０は、制御部２２０および通信部２１０を含んでよい。以下で記載する詳細な説明において、制御部２２０および通信部２１０に対して、装置１１０の制御部１１４および通信部１１２と重複する内容については、その説明を省略する。

通信部２１０は、サーバ１２０が装置１１０やユーザ端末１３０と通信するための装置であって、装置１１０やユーザ端末１３０との間でデータおよび／または情報を送信／受信できるようにする装置であってよい。

制御部２２０は、サーバ１２０の構成要素を管理してよく、ユーザ端末１３０からの経路案内要求に従って、最適経路を計算し、取得した映像情報に基づいて経路案内のためのコンテンツを生成してユーザ端末１３０に提供する構成であってよい。制御部２２０は、サーバ１２０の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。

制御部２２０は、映像情報取得部２２２およびコンテンツ提供部２２４を含んでよい。制御部２２０の構成２２２および２２４のそれぞれは、１つ以上のソフトウェアモジュールおよび／またはハードウェアモジュールによって実現されてよい。

映像情報取得部２２２は、装置１１０による撮影位置と関連する位置情報、装置１１０の姿勢情報、および装置１１０と関連する進行方向情報を含む映像情報を取得してよい。また、映像情報取得部２２２は、装置１１０ではなく、ストリートビュー（またはロードビュー）映像を記録しているデータベース（例えば、データベース１２５）から映像情報を取得してもよい。データベースから取得される映像情報は、装置１１０からの映像情報と同じように、経路案内のためのコンテンツを構成するために使用されてよく、装置１１０からの映像情報に対する補助的な情報（すなわち、装置１１０からの映像情報を補うためのデータ）として使用されてもよい。データベースから取得される映像情報も、撮影時点における位置情報、姿勢情報、および進行方向情報を含んでよい。

すなわち、経路案内のためのコンテンツを生成するために使用される映像情報は、装置１１０から取得される映像情報の他にも、ストリートビューまたはロードビューサービスを提供するサーバ（例えば、データベース１２５）から取得される（案内される経路内の位置と関連する）映像情報を含んでよい。

コンテンツ提供部２２４は、例えば、ユーザ端末１３０からの位置情報と関連する経路案内要求に従って、映像情報を含む経路案内のためのコンテンツをユーザ端末１３０に提供してよい。ユーザは、目的地への移動に伴い、ユーザ端末１３０に表示される経路案内のためのコンテンツに含まれる映像を参照しながら、迅速かつ正確に目的地に向かうことが可能となる。

ユーザ端末１３０は、サーバ１２０に対して経路案内を要求し、サーバ１２０から経路案内のためのコンテンツの提供を受ける、いかなる電子装置であってもよい。例えば、ユーザ端末１３０は、装置１１０と同じように、スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、タブレット（ｔａｂｌｅｔ）、ＩｏＴ（Ｉｎｔｅｒｎｅｔ Ｏｆ Ｔｈｉｎｇｓ）機器、またはウェアラブルコンピュータ（ｗｅａｒａｂｌｅ ｃｏｍｐｕｔｅｒ）など、ユーザが使用する端末であってよい。

ユーザ端末１３０は、通信部２３０、制御部２４０、表示部２５０、およびセンサ部２６０を含んでよい。ユーザ端末１３０は、装置１１０と類似する装置であってよく、通信部２３０、制御部２４０、およびセンサ部２６０に対して、装置１１０の通信部１１２、制御部１１４、およびセンサ部１１８と重複する内容については、その説明を省略する。

通信部２３０は、ユーザ端末１３０がサーバ１２０や他のユーザ端末と通信するための装置であって、サーバ１２０などとの間でデータおよび／または情報を送信／受信できるようにする装置であってよい。

制御部２４０は、ユーザ端末１３０の構成要素を管理してよく、経路案内要求を生成し、通信部２３０を経てサーバ１２０に経路案内要求を送信し、サーバ１２０からの経路案内のためのコンテンツを表示部２５０に表示する構成であってよい。制御部２４０は、ユーザ端末１３０の少なくとも１つのプロセッサまたはプロセッサ内の少なくとも１つのコア（ｃｏｒｅ）であってよい。

制御部２４０は、ユーザに経路案内を提供するためのアプリケーションまたはプログラム（例えば、地図アプリケーション、ナビゲーションアプリケーション、ストリートビューまたはロードビューアプリケーションなど）を実行させてよい。

制御部２４０は、経路案内要求部２４２およびコンテンツ提供部２４４を含んでよい。制御部２４０の構成２４２および２４４のそれぞれは、１つ以上のソフトウェアモジュールおよび／またはハードウェアモジュールによって実現されてよい。

経路案内要求部２４２は、ユーザが入力または選択した目的地（目的地と同じように、ユーザが入力または選択した目的地であるか、ユーザ端末１３０の現在地）と出発地を含む経路案内要求を生成してよく、生成された経路案内要求をサーバに送信してよい。

コンテンツ提供部２４４は、通信部２３０を経てサーバ１２０から経路案内のためのコンテンツを受信してよく、該当のコンテンツに含まれる映像を表示部２５０に表示してよい。経路案内のためのコンテンツは、出発地から目的地までの経路内に存在する少なくとも１つの位置と関連する映像情報を含んでよい。

コンテンツ提供部２４４は、受信した経路案内のためのコンテンツに含まれる映像（映像のフレーム）のうち、ユーザ端末１３０の現在地に対応するフレームを表示部２５０に表示してよい。すなわち、コンテンツ提供部２４４は、受信したコンテンツを利用しながら、ユーザ端末１３０が出発地から目的地に移動することに伴ってユーザ端末１３０の位置に対応する映像を表示部２５０に表示してよい。

表示部２５０は、ユーザ端末１３０のユーザが入力したデータを出力する装置であって、経路案内のためのコンテンツに含まれる映像を表示する装置であってよい。例えば、表示部２５０は、タッチスクリーンを含んでよく、この場合、表示部は、ユーザから設定および要求の入力を受けるための入力部の機能を備えるように構成されてよい。

センサ部２６０は、上述したセンサ部１１８と類似するように構成されてよい。すなわち、センサ部２６０は、ユーザ端末１３０と関連する位置情報、姿勢情報、および進行方向情報を取得するものであってよい。

制御部２４０は、ユーザ端末１３０の位置に対応する映像を表示部２５０に表示するにあたり、センサ部２６０で取得された情報を考慮することにより、ユーザに、目的地に対するより直観的な経路案内を提供することが可能となる。

装置１１０による映像情報の生成、サーバ１２０による経路案内のためのコンテンツの提供、およびユーザ端末１３０による映像の表示方法については、図３～図１２を参照しながらさらに詳しく説明する。

以上、図１を参照しながら説明した技術的特徴は、図２にもそのまま適用可能であるため、重複する説明は省略する。

図３は、一実施形態における、撮影を実行する装置が映像情報を取得（生成）してサーバに送信する方法を示したフローチャートである。

段階３１０において、装置１１０は、カメラ１１６を利用して所定の位置または場所の地物を撮影してよい。地物は、位置または場所内またはその付近の道路、道、または建物などを含んでよい。

段階３２０において、装置１１０は、段階３１０における撮影と関連し、撮影位置と関連する位置情報、装置１１０の姿勢情報、および装置１１０と関連する進行方向情報を取得してよい。段階３２０で取得する情報は、センサ部１１８によって取得されてよい。位置情報、姿勢情報、および進行方向情報は、撮影がなされた時点（ｔｉｍｉｎｇ）と関連する情報（すなわち、撮影がなされた時点に取得した情報）であってよい。

段階３３０において、装置１１０は、カメラ１１６を利用して撮影された映像と段階３２０で取得した位置情報、姿勢情報、および進行方向情報とを互いに関連させることによって映像情報を生成してよい。例えば、位置情報、姿勢情報、および進行方向情報は、撮影された映像に含まれる各フレームと関連してよい。

また、位置情報、姿勢情報、および進行方向情報を、所定の時間間隔（例えば、１秒または５秒）で取得して撮影された映像と関連させてもよいし、映像に含まれるフレームのうち所定のキーフレームだけに対して関連させてもよい。

したがって、生成された映像情報は、位置情報、姿勢情報、および進行方向情報を含むようになる。生成された映像情報は複数のフレームを含んでよく、位置情報、姿勢情報、および進行方向情報は、複数のフレームそれぞれが撮影された時点の情報であってよい。また、映像情報は、センサ部１１８によって取得された装置１１０の速度情報を含んでよい。速度情報も、類似の方式によって映像情報のフレームと関連させてよい。

段階３４０において、装置１１０は、生成された映像情報を、通信部１１２を経てサーバ１２０に送信してよい。例えば、装置１１０は、映像情報をサーバ１２０にアップロードしてよい。

一例として、装置１１０は、ＳＮＳアカウントと関連してよく、サーバ１２０は、ＳＮＳサービスを提供するサーバであってよい。このとき、装置１１０は、自身のＳＮＳアカウントに該当するタイムラインに映像情報をアップロードしてよい。

映像情報に含まれる映像は、複数の場所または位置に存在する地物を撮影したものであってよい。例えば、映像情報に含まれる映像は、装置１１０のユーザが特定の目的地（例えば、ブロガーであるユーザが紹介しようとする場所）に向かって移動する経路内に存在する場所または位置に存在する地物を撮影したものであってよい。このような映像は、ユーザが移動しながら撮影した動画を含んでよい。これにより、ユーザは、自身が撮影した動画を経路案内のためのコンテンツとしてＳＮＳサービスにアップロードしてよい。

サーバ１２０に送信された映像情報を利用ながら、サーバ１２０が経路案内のためのコンテンツを生成および提供する方法については、図４～図１２を参照しながらさらに詳しく説明する。

以上、図１および図２を参照しながら上述した技術的特徴についての説明は、図３にもそのまま適用可能であるため、重複する説明は省略する。

図４は、一実施形態における、サーバが映像情報を取得し、経路案内を要求したユーザ端末に経路案内のためのコンテンツを提供する方法を示したフローチャートである。

段階４１０において、サーバ１２０の映像情報取得部２２２は、通信部２１０を経て撮影位置と関連する位置情報、撮影のために使用された装置の姿勢情報、および撮影のために使用された装置と関連する進行方向情報を含む映像情報を取得してよい。上述したように、映像情報は、装置１１０によって撮影および生成されて受信された情報であってよい。

サーバ１２０は、複数の撮影者が撮影した映像情報を取得してよい。サーバ１２０が取得した映像情報は、データベース１２５に記録されて管理されてよい。

段階４２０において、サーバ１２０のコンテンツ提供部２２４は、段階４１０で取得した映像情報を含むコンテンツを、経路案内のためのコンテンツとして提供してよい。例えば、コンテンツ提供部２２４は、ユーザ端末１３０から位置情報と関連する経路案内要求を受信することにより、該当の位置情報を含む映像情報を含んだコンテンツを、経路案内のためのコンテンツとしてユーザ端末１３０に提供してよい。

すなわち、ユーザ端末１３０からの経路要求に従って、該当の経路要求と関連する位置を撮影した映像を含む経路案内のためのコンテンツが、ユーザ端末１３０に提供されてよい。

段階４２０については、段階４２２～段階４２９を参照しながらさらに詳しく説明する。

段階４２２において、コンテンツ提供部２２４は、通信部２１０を経てユーザ端末１３０から出発地および目的地を含む経路案内要求を受信してよい。ユーザ端末１３０からの経路案内要求には目的地（および出発地）が含まれていないこともあるが、このとき、経路案内要求は、サーバ１２０に対する動画形態のコンテンツの要求であってよい。

段階４２４において、コンテンツ提供部２２４は、経路案内要求に含まれる出発地から目的地までの最適経路を決定してよい。最適経路は複数であってよく、ユーザ端末１３０による選択によって最終的に決定されてよい。

段階４２６において、コンテンツ提供部２２４は、段階４１０で取得した映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、段階４２４で決定された最適経路内の少なくとも１つの位置に対して少なくとも１つの候補フレームを決定してよい。候補フレームは、最適経路内の複数の位置に対してそれぞれ決定（割り当て）されてよい。各位置に対する候補フレームは、複数であってよい。

候補フレーム（または後述する最適フレーム）は、それが決定される位置に対応する位置情報と関連するものであり、前記位置から目的地に向かう道路または道を正面（または、ほぼ正面を包括する）から撮影した進行方向情報および姿勢情報と関連するフレームを含んでよい。すなわち、最適経路内の特定の位置に対して決定される候補フレームは、その特定の位置で撮影された映像であって、その特定の位置から目的地に向かう道路または道を正面（または、ユーザが道路または道を最も容易に識別できるようにする形態）から撮影した映像を含んでよい。また、候補フレームは、複数のフレームのうち、このような基準に最も適合する所定の数のフレームを含んでよい。

一方、上述したように、経路案内のためのコンテンツを生成するための映像情報は、最適経路内に存在する少なくとも１つの位置を複数の撮影者が撮影した映像情報を含むものであってよい。複数の撮影者が撮影した映像情報に基づいて候補フレームが決定される場合、候補フレームは、複数の撮影者が撮影した映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、最適経路内の各位置に対して決定されてよい。

最適経路内の位置に対して候補フレームを割り当てる（マッチングさせる）方法については、図９を参照しながらさらに詳しく説明する。

段階４２８において、コンテンツ提供部２２４は、最適経路内の位置に対して決定された候補フレームに基づいて最適フレームを決定してよく、最適フレームを含む動画形態のコンテンツを生成してよい。最適経路内のある位置に対して候補フレームが複数である場合、最適フレームは、複数の候補フレームのうちからコンテンツ提供部２２４が相応しいフレームとして選択したフレームであってよい。また、最適フレームは、複数の候補フレームを合成して生成された再構成フレームであってよい。再構成フレームは、該当の位置と関連する３次元映像（あるいは、拡張現実またはＶＲ映像）を含んでよい。再構成フレームを生成する方法については、図１０を参照しながらさらに詳しく説明する。

段階４２９において、コンテンツ提供部２２４は、生成された動画形態のコンテンツを、通信部２１０を経てユーザ端末１３０に送信してよい。ユーザ端末１３０に提供されるコンテンツは、ユーザ端末１３０の出発地から目的地への移動に伴ってユーザ端末１３０の位置に対応する映像がユーザ端末１３０に表示されるように提供されるという点において、動画形態のコンテンツに該当するものと見なしてよい。

段階４２４で決定された最適経路内の複数の位置それぞれに対し、候補フレームおよび対応する最適フレームが決定されてよい。このとき、動画形態のコンテンツは、ユーザ端末１３０が最適経路に沿って移動するにあたり、ユーザ端末１３０が最適経路内の複数の位置のうち第１位置に位置したときに、第１位置（第１位置に該当する位置情報）と関連する最適フレームがユーザ端末１３０に表示されるように、ユーザ端末１３０に提供されてよい。これにより、ユーザは、ユーザ端末１３０に表示された映像と現在地の地物とを比べることにより、目的地に対して案内を受けた最適経路に沿って正しく移動しているのかを直観的に確認することが可能となる。

一方、動画形態のコンテンツは、ユーザ端末１３０に表示される映像に該当するフレームと共に、表示されるフレームの中心（すなわち、ユーザ端末１３０の画面の中心）には第１ガイド情報が、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方とユーザ端末１３０の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置には第２ガイド情報が表示されるように、ユーザ端末１３０に提供されてよい。

第１ガイド情報は、ユーザ端末１３０の位置または姿勢を示す情報であってよく、第２ガイド情報は、ユーザ端末１３０の所期の位置または姿勢への操作を誘導する情報であってよい。第１ガイド情報および第２ガイド情報の具体的な例については、図１２を参照しながらさらに詳しく説明する。

以上、図１～図３を参照しながら上述した技術的特徴についての説明は、図４にもそのまま適用可能であるため、重複する説明は省略する。

図５は、一実施形態における、ユーザ端末がサーバに経路案内要求を送信し、サーバから経路案内のためのコンテンツの提供を受ける方法を示したフローチャートである。

図５～図７を参照しながら、ユーザ端末１３０の観点から見た、経路案内のためのコンテンツの提供について説明する。

段階５１０において、ユーザ端末１３０の経路案内要求部２４２は、通信部２３０を経て経路案内要求をサーバ１２０に送信してよい。経路案内要求には、ユーザ端末１３０によって設定された出発地および目的地が含まれてよい。

また、このような経路案内要求には特別な目的地（および出発地）が含まれていないこともある。このとき、経路案内要求は、サーバ１２０に対する動画形態のコンテンツの要求であってよい。動画形態のコンテンツは、例えば、上述したように、ＳＮＳサービスにアップロードされた経路案内のためのコンテンツ（動画）であってよい。経路案内要求は、例えば、ＳＮＳサービスにアップロードされた動画をユーザがユーザ端末１３０にダウンロードするために選択することによってなされてよい。

段階５２０において、ユーザ端末１３０のコンテンツ提供部２４４は、通信部２３０により、サーバ１２０から、出発地から目的地までの経路内に存在する少なくとも１つの位置と関連する映像情報を含むコンテンツを受信してよい。経路は、図４を参照しながら説明した最適経路に対応してよい。映像情報を含むコンテンツは、上述した経路案内のためのコンテンツに対応してよい。サーバ１２０から受信したコンテンツに含まれる映像情報は、上述した装置１１０による撮影によって生成されたものであって、撮影位置と関連する位置情報、撮影のために使用された装置１１０と関連する姿勢情報、および進行方向情報を含んでよい。出発地および／または目的地は、ユーザ端末１３０によって設定されたものであってよい。

経路案内要求に特別な目的地が含まれない、サーバ１２０に対する動画形態のコンテンツの要求である場合、目的地は、動画形態のコンテンツに含まれている目的地であってよい。ここで、出発地は、ユーザ端末１３０の現在地であってよい。すなわち、ユーザ端末１３０は、他のユーザがＳＮＳサービスにアップロードした動画を、経路案内のための動画形態のコンテンツとして受信（ダウンロード）してよい。受信した動画を利用しながら、ユーザ端末１３０は、ユーザ端末１３０の出発地から、その動画に含まれる目的地への移動に伴って、ユーザ端末１３０の位置に対応する映像を表示してよい。したがって、ユーザは、他のユーザがＳＮＳサービスにアップロードした動画と実際に移動中の経路とを比べながら、目的地に移動することが可能となる。

段階５３０において、コンテンツ提供部２４４は、受信したコンテンツを利用し、ユーザ端末１３０の出発地から目的地への移動に伴ってユーザ端末１３０の位置に対応する映像を表示部２５０に表示してよい。

一例として、ユーザ端末１３０のユーザがＡレストランを目的地とし、現在地（出発地）からＡレストランまでの経路案内要求をサーバ１２０に送信した場合、ユーザ端末１３０は、Ａレストランまでの経路を撮影した映像情報を含むコンテンツを、最適経路の案内のためのコンテンツとしてサーバ１２０から受信し、このようなコンテンツを利用することで、Ａレストランまでの移動過程で撮影された映像による経路案内をユーザに提供してよい。このとき、映像情報は、以前にＡレストランを訪問したことのあるユーザが撮影してサーバ１２０にアップロードしたものであってよい。

図６を参照しながら、段階５３０についてさらに詳しく説明する。

図６は、一実施形態における、ユーザ端末が目的地への移動に伴い、ユーザ端末の位置に対応する経路案内のための映像を表示する方法を示したフローチャートである。

段階６１０において、コンテンツ提供部２４４は、段階５２０で受信したコンテンツに含まれる複数のフレームから、ユーザ端末１３０の位置に対応するフレームを決定してよい。決定されたフレームは、ユーザ端末１３０が前記位置に位置したときにユーザ端末１３０に表示される「再生フレーム」であってよい。コンテンツ提供部２４４は、複数のフレームと関連する位置情報とユーザ端末の位置情報とを比べることにより、ユーザ端末１３０の位置に対応するフレームを決定してよい。すなわち、複数のフレームのうち、その撮影位置がユーザ端末の（現在）位置に該当するか、その位置に最も近いフレームが、前記位置の再生フレームとして決定されてよい。ユーザ端末１３０の位置に相応しい再生フレームをマッチングさせる方法については、図１１を参照しながらさらに詳しく説明する。

段階６２０において、コンテンツ提供部２４４は、ユーザ端末１３０が該当の位置に位置したときに、再生フレーム（段階６１０で決定されたフレーム）を表示部２５０に表示してよい。したがって、ユーザ端末１３０がサーバ１２０から目的地までの経路の案内を受けるにあたり、ユーザ端末１３０が経路内の位置に位置することにより、該当の位置の地物を撮影した映像がユーザ端末１３０に表示されてよい。

一方、表示部２５０に表示される再生フレーム（段階６１０で決定されたフレーム）は、図４を参照しながら上述した最適フレーム、または複数の候補フレームを合成して生成された再構成フレームであってよい。

段階６２２において、コンテンツ提供部２４４は、表示部２５０において、再生フレームと共に、再生フレームの中心に第１ガイド情報を表示してよい。第１ガイド情報は、ユーザ端末１３０の位置または姿勢を示す情報であってよい。第１ガイド情報は、ユーザ端末１３０の基準位置を示す情報であってよい。

段階６２４において、コンテンツ提供部２４４は、表示部２５０において、再生フレームおよび第１ガイド情報と共に、再生フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方とユーザ端末１３０の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第２ガイド情報を表示してよい。

第２ガイド情報は、ユーザ端末１３０の所期の位置または姿勢への操作を誘導する情報であってよく、第２ガイド情報によって誘導されるユーザ端末１３０の所期の位置または姿勢への操作は、第１ガイド情報の表示位置と第２ガイド情報の表示位置とを一致させるユーザ端末１３０の操作であってよい。

第１ガイド情報および第２ガイド情報は、再生フレームと重なって表示されてよい。

第１ガイド情報および第２ガイド情報の具体的な例については、図１２を参照しながらさらに具体的に説明する。

図７を参照しながら、第２ガイド情報を表示する方法についてさらに詳しく説明する。図７は、一実施形態における、ユーザ端末が経路案内のための映像を表示するにあたり、第２ガイド情報を共に表示する方法を示したフローチャートである。

段階７１０において、コンテンツ提供部２４４は、再生フレームと関連する進行方向角度（ｈｅａｄｉｎｇ ａｎｇｌｅ）とユーザ端末１３０の進行方向角度（ｈｅａｄｉｎｇ ａｎｇｌｅ）とを比べることによって方向差角度を計算してよい。すなわち、方向差角度は、再生フレームの撮影時の進行方向角度とユーザ端末１３０の進行方向角度との差を示してよい。例えば、方向差角度は、再生フレームの撮影時の再生フレームと関連する進行方向に対するヨー角度（すなわち、進行方向情報による進行方向に対する姿勢情報によるヨー角度）とユーザ端末１３０のヨー角度（ユーザ端末１３０の進行方向に対するユーザ端末１３０のヨー角度）との差を示してよい。

段階７１０において、コンテンツ提供部２４４は、再生フレームと関連する姿勢情報とユーザ端末１３０の姿勢情報とを比べることによって姿勢差角度を計算してよい。再生フレームと関連する姿勢情報およびユーザ端末１３０の姿勢情報はそれぞれ、ロール（ｒｏｌｌ）角度、ピッチ（ｐｉｔｃｈ）角度、およびヨー（ｙａｗ）角度のうちの少なくとも１つを含んでよい。例えば、姿勢差角度は、再生フレームの撮影時のロール角度および／またはピッチ角度と、ユーザ端末１３０のロール角度および／またはピッチ角度との差を示してよい。姿勢差角度は、ピッチ角度差およびロール角度差をそれぞれ含んでよい。

段階７３０において、コンテンツ提供部２４４は、計算された方向差角度および姿勢差角度に基づき、第２ガイド情報の表示位置を決定してよい。第２ガイド情報の表示位置は、再生フレームの中心に表示される第１ガイド情報の表示位置を基準にして決定されてよい。例えば、第２ガイド情報の表示位置は、第１ガイド情報の表示位置から方向差角度および姿勢差角度に対応する値だけ移動した位置が決定されてよい。すなわち、第１ガイド情報の表示位置から方向差角度に該当する値だけ横（ｘ軸）に移動し、姿勢差角度（ピッチ角度差および／またはロール角度差）に該当する値だけ縦（ｙ軸）に移動した位置が、第２ガイド情報の表示位置として決定されてよい。一実施形態において、姿勢差角度は、ピッチ角度の差であってよい。

段階７４０において、コンテンツ提供部２４４は、決定された表示位置に第２ガイド情報を表示してよい。第１ガイド情報および第２ガイド情報は、再生フレームと重なって表示されてよい。

ユーザは、表示された第１ガイド情報および第２ガイド情報を参照しながらユーザ端末１３０を操作することにより（すなわち、動きとして）、第２ガイド情報が再生フレームの中心に表示されるようにしてよく、これにより、第１ガイド情報および第２ガイド情報の表示位置を一致させてよい。これにより、再生フレームの撮影時の進行方向情報および姿勢情報にユーザ端末の進行方向情報および姿勢情報をマッチングさせるようになり、ユーザは、表示された再生フレームと該当の位置の実際の地物とを容易に比較することが可能となる。

段階７５０において、コンテンツ提供部２４４は、計算された方向差角度および姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示部２５０に表示してよい。すなわち、図には示されていないが、コンテンツ提供部２４４は、計算された方向差角度および姿勢差角度のうちの少なくとも一方が所定の値以上であるかを判定し、通知メッセージを表示するかを決定してよい。

通知メッセージは、テキストメッセージ、および／または例えば、矢印のような記号を含んでよい。通知メッセージは、ユーザ端末１３０が操作されなければならない方向を指示するものであってよい。通知メッセージは、ユーザ端末１３０に表示される再生フレームと重なって表示されてよい。

通知メッセージは、視覚的な形態で出力される他にも、効果音や音声のようなサウンドで出力されてもよい。

また、通知メッセージは、案内される経路上の位置（緯度および経度）からユーザ端末１３０が所定の値以上だけ外れた場合に表示されてよい。通知メッセージは、ユーザ端末１３０が経路からどの方向に外れているのか、および／またはどのくらい外れているのかを示す矢印のような記号および／またはテキストを含んでよい。

一方、コンテンツ提供部２４４は、ユーザ端末１３０のセンサ部２６０によって取得されるユーザ端末１３０の位置情報および／または速度情報と、経路案内のためのコンテンツが含む映像情報の位置情報および／または速度情報とを比べることにより、ユーザ端末１３０に表示される映像（再生フレーム）の再生速度を調節してよい。例えば、経路に沿って移動するユーザ端末１３０が移動を止めた場合、表示される映像の再生も止められてよい（すなわち、停止画像がユーザ端末１３０に表示される）。

以上、図１～図４を参照しながら上述した技術的特徴についての説明は、図５～図７にもそのまま適用可能であるため、重複する説明は省略する。

図８は、一実施形態における、撮影を実行する装置による映像情報の取得方法を示した図である。

図８は、装置１１０がカメラ１１６を利用して場所または位置の地物を撮影する方法を示している。

θは、装置１１０の進行方向角度として、装置１１０と関連する進行方向情報が示す方向に対する装置１１０のヨー角度であってよい。装置１１０と関連する姿勢情報は、図に示すように、装置１１０のヨー回転、ロール回転、およびピッチ回転によって決定される角度（複数）を含んでよい。

装置１１０は、撮影時点（ｔｉｍｉｎｇ）における進行方向情報および姿勢情報と、その位置情報を撮影した映像とを関連させることにより、上述した映像情報を生成してよい。一方、装置１１０が移動しながら地物を撮影する場合（すなわち、動画撮影を実行する場合）、装置１１０の速度情報も映像と関連させてよく、生成される映像情報には速度情報が含まれてよい。

以上、図１～図７を参照しながら上述した技術的特徴についての説明は、図８にもそのまま適用可能であるため、重複する説明は省略する。

図９は、一実施形態における、サーバにおいて、経路案内が要求された経路内の位置に相応しい候補フレームをマッチングさせる方法を示した図である。

図９を参照しながら、サーバ１２０が取得して管理している映像情報（例えば、複数の撮影者が撮影した映像情報）に含まれる複数のフレームを所定の経路内の位置にマッチングさせる方法について説明する。図に示された経路は、ユーザ端末１３０が要求した目的地に対する最適経路であってよい。サーバ１２０は、所定のマッチングアルゴリズムを使用して経路内の各位置に相応しいフレームをマッチングさせてよい。

サーバ１２０は、各フレームと関連する位置情報（緯度、経度、高度）、進行方向情報（進行方向）、および姿勢情報（ロール角度、ピッチ角度、ヨー角度）をインデックス（ｉｎｄｅｘ）として目的地内の各位置と比べることにより、各位置に相応しいフレームをマッチングさせてよい。例えば、サーバ１２０は、緯度および経度が一致する（または類似する）位置およびフレームを互いにマッチングさせてよい。

緯度および経度値を使用して２つの地点の距離を計算する方法としては、球（地球）の上に位置する２つの点の距離を計算する方法が適用されてよい。すなわち、地球の中心からの夾角を２つの点の内積を利用して求めた後、弧の長さを計算することによって２つの点の距離を計算してよい。または、ｖｉｎｃｅｎｔｙ方法（ｈｔｔｐｓ：／／ｗｗｗ．ｎｇｓ．ｎｏａａ．ｇｏｖ／ＰＵＢＳ＿ＬＩＢ／ｉｎｖｅｒｓｅ．ｐｄｆ参照）を適用して２つの点の距離を計算してよい。

すなわち、サーバ１２０は、ＤＢ内のフレームのうちから、ユーザ端末１３０によって要求された経路内の位置に最も符合して経路案内提供時のユーザ端末１３０の方向および姿勢と最大限に一致するフレームを選択することにより、ユーザ端末１３０で自然な映像が再生されるようにすることが可能となる。

以上、図１～図８を参照しながら上述した技術的特徴についての説明は、図９にもそのまま適用可能であるため、重複する説明は省略する。

図１０は、一実施形態における、サーバが複数の撮影者によって撮影された映像情報を分析および加工することによって経路案内のための最適映像を生成する方法を示した図である。

図１０を参照しながら、上述した複数の候補フレーム（候補映像）に基づいて最適フレーム（最適映像）を生成する方法についてさらに詳しく説明する。図に示された最適映像は、ユーザ端末１３０に表示される再生フレームに対応してよい。

図に示すように、複数の候補フレームは、複数の撮影者の装置１１０－１～１１０－Ｎによって撮影されたものであってよい。例えば、装置１１０－１～１１０－Ｎによって場所または位置１６０の地物が多数の角度から撮影されたものであってよい。

装置１１０－１～１１０－Ｎによって撮影された映像に基づいて生成された映像情報に基づき、経路内の位置１６０に対する候補映像１～Ｎが決定されてよい。

サーバ１２０は、候補映像１～Ｎを分解、合成、および再構成することにより、最適映像に対応する再構成映像を生成してよい。最適映像は、ユーザ端末１３０のユーザが位置１６０に位置したときに、ユーザ端末１３０が最適映像と位置１６０の地物とを最も容易に比較できるようにする映像であってよい。最適映像は、候補映像に含まれる歪曲または欠陥が補正された映像であってよい。

候補映像１～Ｎの分解、合成、および再構成は、例えば、マシンラーニング、ディープラーニング、または人工神経網を基盤とした学習による映像処理方法を使用し、サーバ１２０または外部サーバによって実行されてよい。

したがって、サーバ１２０が取得した映像情報が多少不完全であって最適映像を含んでいない場合でも、サーバ１２０は、このような不完全な映像情報に含まれる映像を分解、合成、および再構成することにより、最適映像を含む経路案内のためのコンテンツを生成することが可能となる。

以上、図１～図９を参照しながら上述した技術的特徴についての説明は、図１０にもそのまま適用可能であるため、重複する説明は省略する。

図１１は、一実施形態における、ユーザ端末が、ユーザ端末の位置に相応しい再生フレームをマッチングさせる方法を示した図である。

図１１を参照しながら、ユーザ端末１３０の経路に沿った移動に伴ってユーザ端末１３０の位置に対応する適切な再生フレームが決定される方法についてさらに詳しく説明する。

図に示された経路は、ユーザ端末１３０が要求した目的地に対する最適経路であってよい。

ユーザ端末１３０は、経路案内のためのコンテンツが含むフレームの位置情報（緯度および経度）をユーザ端末１３０の位置情報と比べることにより、ユーザ端末１３０の位置に相応しい再生フレームを決定してよい。

緯度および経度値を利用して２つの地点の距離を計算する方法としては、例えば、上述したｖｉｎｃｅｎｔｙ方法（ｈｔｔｐｓ：／／ｗｗｗ．ｎｇｓ．ｎｏａａ．ｇｏｖ／ＰＵＢＳ＿ＬＩＢ／ｉｎｖｅｒｓｅ．ｐｄｆ参照）が適用されてよい。

すなわち、ユーザ端末１３０は、自身の位置に最も符合する再生フレームを表示することが可能となり、ユーザは、表示された再生フレームを参照しながら、該当の位置の地物と容易に比べることが可能となる。

以上、図１～図１０を参照しながら上述した技術的特徴についての説明は、図１１にもそのまま適用可能であるため、重複する説明は省略する。

図１２は、一実施形態における、経路案内のための映像と共にガイド情報をユーザ端末に表示する方法を示した図である。

図１２は、経路案内のためのコンテンツに含まれる再生フレームがユーザ端末１３０に表示された状態を示している。図に示すように、ユーザ端末１３０には、第１ガイド情報１２１０と第２ガイド情報１２２０が再生フレームに重なって表示されてよい。第１ガイド情報１２１０は、再生フレームの中心（すなわち、ユーザ端末１３０の画面の中心）に位置するものであって、ユーザ端末１３０を動かしてもその表示位置は維持されてよい。

第２ガイド情報１２２０は、図７を参照しながら説明したように、方向差角度および姿勢差角度の値だけ第１ガイド情報１２１０から離れた位置に表示されてよい。

ユーザは、ユーザ端末１３０を動かして第１ガイド情報１２１０および第２ガイド情報１２２０の表示位置を一致させてよい。これにより、ユーザは、表示された再生フレームと該当の位置の実際の地物とをより容易に比べることが可能となる。

なお、図には示されていないが、ユーザ端末１３０には、目的地までの全体経路が再生フレームと共に表示されてもよい。全体経路は、例えば、マップアプリケーションが提供する経路のような形態で表示されてよい。これにより、ユーザは、再生フレームと実際の地物とを比べると同時に、目的地までの全体的な経路を確認することが可能となる。

以上、図１～図１１を参照しながら上述した技術的特徴についての説明は、図１２にもそのまま適用可能であるため、重複する説明は省略する。

上述した実施形態において、サーバ１２０およびその構成によって実行される動作は、ユーザ端末１３０によって実行されるものとして実現されてもよい。例えば、サーバ１２０は、映像情報を記録および管理するだけであって、経路案内のためのコンテンツを生成するための全般的な動作は、ユーザ端末およびその構成によって実行されるものとして実現されてもよい。

言い換えれば、サーバ１２０によって実行される少なくとも一部の動作は、クライアントに該当するユーザ端末１３０によっても実行可能である。

これとは反対に、ユーザ端末１３０によって実行される少なくとも一部の動作は、クライアントに該当するサーバ１２０によっても実行可能である。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置、または送信される信号波に永久的または一時的に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであっても、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令が記録されて実行されるように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって代替されたり置換されたとしても、適切な結果を達成することができる。

１１０：装置
１２０：サーバ
１２５：データベース
１３０：ユーザ端末

Claims (19)

1. サーバが実行する経路案内のためのコンテンツ提供方法であって、
   撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む映像情報を取得する映像情報取得段階、および
   ユーザ端末から受信した前記位置情報と関連する経路案内要求に従って、前記映像情報を含む経路案内のための動画形態のコンテンツを提供するコンテンツ提供段階
   を含み、
   前記動画形態のコンテンツは、前記動画形態のコンテンツのフレームと共に、前記フレームの中心または前記ユーザ端末の画面の中心に第１ガイド情報が表示されるように、前記ユーザ端末に提供され、前記第１ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報である、
   経路案内のためのコンテンツ提供方法。
2. 前記映像情報は、複数のフレームを含み、
   前記位置情報、前記姿勢情報、および前記進行方向情報は、前記複数のフレームそれぞれが撮影された時点（ｔｉｍｉｎｇ）と関連する情報である、
   請求項１に記載の経路案内のためのコンテンツ提供方法。
3. 前記位置情報は、前記撮影位置のＧＰＳ情報を含み、
   前記進行方向情報は、前記撮影のために使用された装置の進行方向を含み、
   前記姿勢情報は、前記撮影のために使用された装置のロール（ｒｏｌｌ）角度、ピッチ（ｐｉｔｃｈ）角度、および前記進行方向に対するヨー（ｙａｗ）角度のうちの少なくとも１つを含む、
   請求項１に記載の経路案内のためのコンテンツ提供方法。
4. 前記動画形態のコンテンツは、前記ユーザ端末の出発地から目的地への移動に伴って前記ユーザ端末の位置に対応する映像を前記ユーザ端末に表示するように、前記ユーザ端末に提供される、
   請求項１に記載の経路案内のためのコンテンツ提供方法。
5. 前記コンテンツ提供段階は、
   前記出発地から前記目的地までの最適経路を決定する段階、
   前記映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づき、前記最適経路内の位置に対して少なくとも１つの候補フレームを決定する段階、
   前記候補フレームに基づき、前記位置に対して決定された最適フレームを含む前記動画形態のコンテンツを生成する段階、および
   前記動画形態のコンテンツを前記ユーザ端末に提供する段階
   を含む、請求項４に記載の経路案内のためのコンテンツ提供方法。
6. 前記候補フレームは複数であり、
   前記最適フレームは、複数の候補フレームを合成することによって生成された再構成フレームである、
   請求項５に記載の経路案内のためのコンテンツ提供方法。
7. 前記再構成フレームは、前記位置と関連する３次元映像を含む、
   請求項６に記載の経路案内のためのコンテンツ提供方法。
8. 前記最適経路内の位置は複数であり、
   前記候補フレームおよび前記最適フレームは、前記最適経路内の複数の位置それぞれに対して決定され、
   前記動画形態のコンテンツは、前記ユーザ端末が前記最適経路に沿って移動するにあたり、前記ユーザ端末が前記複数の位置のうち第１位置に位置したときに前記第１位置と関連する最適フレームが前記ユーザ端末に表示されるように、前記ユーザ端末に提供される、
   請求項５に記載の経路案内のためのコンテンツ提供方法。
9. 前記動画形態のコンテンツは、
   前記動画形態のコンテンツのフレームと共に、前記フレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第２ガイド情報が前記ユーザ端末に表示されるように、前記ユーザ端末に提供され、
   前記第２ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報である、
   請求項１に記載の経路案内のためのコンテンツ提供方法。
10. 前記候補フレームまたは前記最適フレームは、前記位置に対応する位置情報と関連し、前記位置から前記目的地に向かう道路または道を正面から撮影した進行方向情報および姿勢情報と関連するフレームを含む、
    請求項５に記載の経路案内のためのコンテンツ提供方法。
11. 前記映像情報取得段階は、複数の撮影者によって撮影された映像情報を取得し、
    前記候補フレームは、前記複数の撮影者によって撮影された映像情報に含まれる複数のフレームそれぞれと関連する位置情報、姿勢情報、および進行方向情報に基づいて前記最適経路内の位置に対して決定される、
    請求項５に記載の経路案内のためのコンテンツ提供方法。
12. ユーザ端末が実行する経路案内のためのコンテンツ提供方法であって、
    経路案内要求をサーバに送信する送信段階、
    前記サーバから、出発地から目的地までの経路内に存在する少なくとも１つの位置と関連する映像情報を含むコンテンツを受信する受信段階であって、前記映像情報は、撮影位置と関連する位置情報、撮影のために使用された装置と関連する姿勢情報、および進行方向情報を含む、受信段階、および
    前記コンテンツを使用し、前記ユーザ端末の前記出発地から前記目的地への移動に伴って前記ユーザ端末の位置に対応する映像を表示する表示段階
    を含み、
    前記表示段階において、前記映像は、前記ユーザ端末の位置に対応するフレームと共に表示され、表示される前記フレームの中心または前記ユーザ端末の画面の中心に第１ガイド情報が表示され、前記第１ガイド情報は、前記ユーザ端末の位置または姿勢を示す情報である、
    経路案内のためのコンテンツ提供方法。
13. 前記表示段階は、
    前記コンテンツに含まれる複数のフレームから前記ユーザ端末の位置に対応する前記フレームを決定する決定段階であって、前記フレームは、前記フレームと関連する位置情報と前記ユーザ端末の位置情報との比較結果に基づいて決定される決定段階、および
    前記ユーザ端末が前記位置に位置したときに前記決定されたフレームを表示するフレーム表示段階
    を含む、請求項１２に記載の経路案内のためのコンテンツ提供方法。
14. 前記決定されたフレームは、複数の候補フレームを合成して生成された再構成フレームである、
    請求項１３に記載の経路案内のためのコンテンツ提供方法。
15. 前記フレーム表示段階は、
    前記決定されたフレームおよび前記第１ガイド情報と共に、前記決定されたフレームと関連する進行方向情報および姿勢情報のうちの少なくとも一方と前記ユーザ端末の姿勢情報および進行方向情報のうちの少なくとも一方に基づいて決定された位置に第２ガイド情報を表示する第２ガイド情報表示段階
    を含み、
    前記第２ガイド情報は、前記ユーザ端末の所期の位置または姿勢への操作を誘導する情報であり、
    前記ユーザ端末の所期の位置または姿勢への操作は、前記第１ガイド情報の表示位置と前記第２ガイド情報の表示位置とを一致させる前記ユーザ端末の操作である、
    請求項１３に記載の経路案内のためのコンテンツ提供方法。
16. 前記第２ガイド情報表示段階は、
    前記決定されたフレームと関連する進行方向角度（ｈｅａｄｉｎｇ ａｎｇｌｅ）と前記ユーザ端末の進行方向角度とを比べることによって方向差角度を計算する段階、
    前記決定されたフレームと関連する姿勢情報と前記ユーザ端末の姿勢情報とを比べることによって姿勢差角度を計算する段階、および
    前記方向差角度および前記姿勢差角度に基づいて前記第２ガイド情報の表示位置を決定し、決定された表示位置に前記第２ガイド情報を表示する段階
    を含み、
    前記姿勢差角度は、前記決定されたフレームと関連するロール（ｒｏｌｌ）角度およびピッチ（ｐｉｔｃｈ）角度のうちの少なくとも１つと前記ユーザ端末と関連するロール（ｒｏｌｌ）角度およびピッチ（ｐｉｔｃｈ）角度のうちの少なくとも１つとの比較に基づいて生成される、
    請求項１５に記載の経路案内のためのコンテンツ提供方法。
17. 前記フレーム表示段階は、
    前記方向差角度および前記姿勢差角度のうちの少なくとも一方が所定の値以上となる場合、通知メッセージを表示する段階
    を含む、
    請求項１６に記載の経路案内のためのコンテンツ提供方法。
18. 前記映像情報は、前記経路内に存在する少なくとも１つの位置を複数の撮影者が撮影した映像情報を含む、
    請求項１２に記載の経路案内のためのコンテンツ提供方法。
19. 前記映像情報は、ストリートビューまたはロードビューサービスを提供するサーバから取得した前記経路内に存在する少なくとも１つの位置と関連する映像情報を含む、
    請求項１２に記載の経路案内のためのコンテンツ提供方法。

Images