JP6753785B2 - 場所に基づいた情報処理の方法及び装置 - Google Patents

Description

関連出願の相互参照
本願は、参照することにより本明細書にその全体として組み込まれる「場所に基づいた情報処理の方法及び装置」と題する、２０１４年６月９日に出願された中国特許出願第２０１４１０２５３６２８．２号に対する外国優先権を主張する。

本開示は、携帯端末装置におけるアプリケーションの技術分野に関し、特に場所に基づいた情報処理の方法及び装置に関する。

実生活では、多くの場合、人には特定の場所にメッセージを残す願望がある。例えば、人はレストランでの食事中、通常、いくつかの料理に対してコメントする、食事中の自分の気分を表現する、または当日の意味のある出来事を記録する等である。したがって、カスタマが自分のコメント、気分、出来事等を１枚の紙に書き、レストランの壁にそれらを掲示できるように、カスタマにいくつかのステッカー及びペンを提供するレストランのオーナーもいる。その後、レストランで食事をするカスタマは、他のカスタマによって残されたメッセージを見ることができる、または同じカスタマが同じレストランで食べたときに自分自身が以前に残したメッセージを見ることができる。多くの他の係る場所がある。例えば、観光客は、ある観光地を訪問するとき、例えば「ある人がここにいました」等、自分がそこに来たことがあることを証明するためにメッセージを残すまたは自分の名前を残すことを望むことがある。

しかしながら、レストランのオーナーがいずれの紙及びペンも提供しない、またはカスタマが壁にそれを掲示することを許さない状況では、カスタマは、レストランでタイムリに書き残すことを希望するメッセージを表すことができない。観光地の場合、今日では、観光客は通常景観保護のために景勝地に自分の名前等を刻まない。しかしながら、これは観光客の「そこに行ったことがある」等の記録を残す願望を満たすことができない。

したがって、ユーザーが特定の場所にメッセージを残す必要があるとき、ユーザーが書き込む場所の制限の対象にならずにいつでもどこでもメッセージを残し得るようにユーザーを助ける方法は、当業者によって解決するべき技術的問題になっている。

発明の概要は、発明を実施するための形態で以下にさらに説明される概念の選抜を簡略化された形で紹介するために提供される。本発明の概要は、主張されている主題のすべての重要な特徴または必須特徴を識別することを目的とするのでもなく、主張されている主題の範囲を決定する上での補助として単独で使用されることを目的とするのでもない。例えば、用語「技法」は、上述の文脈によって許されるように、及び本開示を通して装置（複数の場合がある）、システム（複数の場合がある）、方法（複数の場合がある）、及び／またはコンピュータ可読命令を指すことがある。

本開示は、ユーザーの「トレース」が、特定の場所での実際の状況に影響されることなく場所において保たれ得るように、場所に基づいた情報処理の方法及び装置を提供し、このことは本物の紙及びペンを必要とせず、場所の実際の景色に影響を及ぼさない。

本開示は以下の解決策を提供する。

場所に基づいた情報処理方法は、ユーザーによって入力された注釈情報を受信することと、携帯端末装置が位置する地理的位置の情報を取得することと、サーバに注釈情報及び地理的位置の情報を送信して、サーバが地理的位置の情報に基づいてユーザーが位置する場所の情報を決定し、注釈情報と、場所においてクエリーを行うユーザーに注釈情報を提供するための場所の情報との間の対応関係を確立し、記憶できるようにすることとを含む。

場所に基づいた情報処理方法は、クエリーを行うユーザーから周囲注釈情報を見る要求を受信することと、クエリーを行うユーザーの地理的位置情報を取得することと、サーバに地理的位置情報を送信して、サーバが、地理的位置情報に基づいてクエリーを行うユーザーが位置する目標場所を決定し、事前に記憶された各注釈情報と場所情報との間の対応関係に基づいて目標場所に対応する各注釈情報を決定し、返すことができるようにすることと、クエリーを行うユーザーにサーバによって返される各注釈情報を提供することと、を含む。

場所に基づいた情報処理方法は、注釈を付けるクライアントによってアップロードされる注釈情報及びユーザー携帯端末装置の地理的位置情報を受信することと、地理的位置情報に基づいてユーザーが位置する場所の情報を決定することと、注釈情報と場所の情報との間の対応関係を作成し、記憶して、注釈情報についてクエリーを行うこと及びクエリーを行うクライアントから要求を受信することに応えてクエリーを行うクライアントに対して目標場所に対応する注釈情報を返すことの要求に含まれる地理的位置情報に基づいて、クエリーを行うユーザーの目標場所の決定を可能にすることと、を含む。

場所に基づいた情報処理方法は、クエリーを行うクライアントによって送信された注釈情報についてクエリーを行う要求を受信することであって、要求がクエリーを行うユーザーの地理的位置情報を含む、注釈情報についてクエリーを行う要求を受信することと、地理的位置情報に従ってクエリーを行うユーザーが位置する目標場所を決定することと、注釈情報と場所情報との間の事前に作成された対応関係に基づいて目標場所に対応する注釈情報を決定し、クエリーを行うクライアントにそれを返すこととを含む。

場所に基づいた情報処理装置は、ユーザーによって入力された注釈情報を受信するための注釈情報受信ユニットと、携帯端末装置の地理的位置情報を取得するための第１の地理的位置情報取得ユニットと、サーバに注釈情報及び地理的位置情報を送信して、サーバが、地理的位置情報に基づいてユーザーが位置する場所情報を決定し、注釈情報と、場所においてクエリーを行うユーザーに注釈情報を提供するための場所情報との間の対応関係を確立し、記憶できるようにするための第１の送信ユニットと、を含む。

場所に基づいた情報処理装置は、クエリーを行うユーザーによって送信された周囲注釈情報を見る要求を受信するための表示要求受信ユニットと、クエリーを行うユーザーの地理的位置情報を取得するための第２の地理的位置情報取得ユニットと、サーバに地理的位置情報を送信して、サーバが地理的位置情報に従ってクエリーを行うユーザーが位置する目標場所を決定し、各注釈情報と場所の情報との間の事前に記憶された対応関係に従って目標場所に対応する各注釈情報を決定し、返すことができるようにするための第２の送信ユニットと、クエリーを行うユーザーにサーバによって返される各注釈情報を提供するように構成された注釈情報提供ユニットと、を含む。

場所に基づいた情報処理装置は、注釈を付けるクライアントによってアップロードされる注釈情報及びユーザー携帯端末装置の地理的位置情報を受信するための情報受信ユニットと、地理的位置情報に従ってユーザーが位置する場所情報を決定するための場所情報決定ユニットと、注釈情報と場所情報との間の対応を確立し、記憶して、注釈情報についてクエリーを行うための要求に含まれる地理的位置情報に基づいてクエリーを行うユーザーが位置する目標場所を決定すること、及びクエリーを行うクライアントから要求を受信することに応えてクエリーを行うクライアントに対して目標場所に対応する注釈情報を返すことを可能にするための記憶ユニットと、を含む。

場所に基づいた情報処理装置は、クエリーを行うクライアントによって送信される注釈情報についてクエリーを行う要求を受信するための要求受信ユニットであって、要求がクエリーを行うユーザーの地理的位置情報を伝える、クエリーを行う要求を受信するための要求受信ユニットと、地理的位置情報に従ってクエリーを行うユーザーが位置する目標場所を決定するための目標場所決定ユニットと、注釈情報と場所情報との間の事前に確立された対応に従って目標場所に対応する注釈情報を決定し、クエリーを行うクライアントにそれを返すための注釈情報返却ユニットと、を含む。

本開示によって提供される実施形態に従って、本開示は以下の技術的な効果を有する。

本開示の実施形態を使用し、ユーザーは、ユーザーが位置する場所において特定の情報コンテンツの注釈を達成するために携帯端末装置にインストールされるアプリケーションを活用してよく、係る情報コンテンツはテキストに制限されるのではなく、ピクチャまたは音声も含んでよい。ユーザーの「トレース」は、多様な形式の情報コンテンツを介して場所において保たれてよく、特定の場所の実際の状況に影響されず、このことは本物の紙及びペンを必要とせず、場所の実際の景色に影響を及ぼさない。

明らかに、本開示を実装する任意の製品は、上述された優位点のすべてを必ずしも同時に達成するわけではない。

本開示の実施形態の技術的な解決策または既存の技術をより明確に説明するために、実施形態を例示する例の図面は本明細書に簡潔に紹介される。明らかに、以下の説明の図面は単に本開示のいくつかの実施形態を表すにすぎず、当業者は創作的な努力なしにそれらの図面に従って他の図面をさらに取得することがある。

本開示に係る第１の例の方法のフローチャートである。 本開示の実施形態に係る第１のユーザーインタフェースの概略図である。 本開示の実施形態に係る第２のユーザーインタフェースの概略図である 本開示の実施形態に係る第３のユーザーインタフェースの概略図である。 本開示に係る第２の例の方法のフローチャートである。 本開示の実施形態に係る第４のユーザーインタフェースの概略図である。 本開示の実施形態に係る第５のユーザーインタフェースの概略図である。 本開示に係る第３の例の方法のフローチャートである。 本開示に係る第４の例の方法のフローチャートである。 本開示に係る第１の例の装置の概略図である。 本開示に係る第２の例の装置の概略図である。 本開示に係る第３の例の装置の概略図である。 本開示に係る第４の例の装置の概略図である。

本開示の実施形態における技術的な解決策は、本開示の実施形態の添付図面を参照して以下に明確に且つ完全に説明される。明らかに、説明されている実施形態は本開示のすべてではなくいくつかを表すにすぎない。本開示の実施形態に基づいて当業者によって取得される他のすべての実施形態は、本開示の保護範囲に属する。

本開示の実施形態では、携帯端末装置（例えば、携帯電話、タブレットコンピュータ等の携帯端末）でのアプリケーションは、特定の場所においてユーザーが表すことを望む気分、ユーザーが共有を望む話等の情報を「置く」というユーザーの願望を満たすために開発されてよい。したがって、場所において紙またはペンが提供されない場合または彫刻することが許されていない場合にも、ユーザーはユーザーがそこを訪問したことを示すために場所に「トレース」を残し得る。この種の「トレース」は仮想化され、裸眼で直接的に見ることができないが、ユーザーの携帯端末装置を介して見られて良く、このことは物理的な存在に同等であり、情報化時代の傾向により一致している。例示的な実装は以下に詳細に説明される。

第１の実施形態
図１を参照すると、本開示の第１の実施形態は最初に、以下の方法ブロックを含んで良い場所に基づいた情報処理方法を提供する。

Ｓ１０１はユーザーによって入力された注釈情報を受信する。

本開示の実施形態では、各方法ブロックの実行エンティティは携帯端末装置のために開発されたアプリケーションであって良く、該アプリケーションはクライアント‐サーバアーキテクチャを有して良い。クライアントはユーザーの携帯端末装置にインストールされて良く、ユーザーと対話するために使用される。サーバはバックエンドサーバで実行し、データベース態様等のサービスを提供する。実装では、アプリケーションは他のアプリケーション（複数の場合がある）に統合されても良い。例えば、本開示の実施形態の関係する機能は、既存のインスタントメッセージングアプリケーションまたはソーシャルネットワーキングアプリケーション等で注釈を付けられることもある。第１の実施形態はおもに、クライアントの観点から本開示の実施形態の解決策を紹介する。

アプリケーションのクライアント側にとって、ユーザーが情報コンテンツに注釈を付けるための操作入力はアプリケーションがどのような特定の形式で存在し得るのかに関わりなく、提供されて良い。例えば、図２を参照すると、ユーザーがアプリケーションを入力後、図２に示されるユーザーインタフェースがユーザーに表示されて良い。ユーザーがユーザーインタフェースの「あなたの情報を残してください」をクリックすると、図３に示されるユーザーインタフェースが入力されて良い。情報コンテンツを編集するための編集インタフェースは、図３に示されるユーザーインタフェースにおいてユーザーに提供されて良い。具体的には、テキスト入力及び音声入力等の複数の入力モードがユーザーに提供されて良い。言い換えると、本開示の実施形態に説明される注釈情報は、ユーザーが、ユーザーが位置する場所に「残す」必要がある情報を指す。この種の情報はテキスト及び音声等の多様な異なる形式で存在して良く、端末装置のアプリケーションを通してユーザーが位置する場所との関連付け関係を確立して良い。例えば、キーボード及びテキストコンテンツを入力するための編集ボックス等の制御装置はテキスト入力／編集インタフェースに提供されて良く、ピクチャ及びエモーティコン等の要素を追加するための制御装置（例えば、ボタン）がさらに設けられて良い。ユーザーは、例えばテキスト「新着！この美味しいベトナムのコーヒーをお試しください」を入力する等、入力を完了した後、ユーザーインタフェースでボタン「置き場所」をクリックして良い。それに応じて、アプリケーションのクライアント側は、現在の場所に残される必要がある注釈情報としてユーザーによって現在入力されている情報コンテンツを決定して良い。

Ｓ１０２は、携帯端末装置の地理的位置の情報を入手する。

ユーザーが現在の場所において注釈を付けることを所望する情報コンテンツを決定することに応えて、ユーザーの現在の地理的位置の情報がさらに決定されて良い。明らかに、実際のアプリケーションでは、この方法ブロックＳ１０２は方法ブロックＳ１０１の前に実行されても良い。例えば、ユーザーがアプリケーションのクライアント側にアクセスする限り、ユーザーが特定の注釈情報を入力する前に、ユーザーの地理的位置情報は取得されて良い。

具体的には、多くの異なる手法が地理的位置情報を入手するために存在して良い。例えば、既存の携帯端末装置は概してＧＰＳ等の位置決めシステムを具備する。ユーザーの位置の座標は、位置決めシステムを介して取得されて良い。さらに、通信基地局位置決め及びＷｉＦｉ位置決め等の位置決め方法も、地理的位置情報を決定するために使用されて良い。明らかに、実装では、操作入力は、その地理的位置情報を手作業で入力するためにユーザーに提供されても良い。ユーザーがＧＰＳ位置決め機能を有効にしない、またはユーザーの携帯端末装置がＧＰＳ位置決め機能を具備していない場合、ユーザーはユーザーの地理的位置情報を手作業で編集して良い。

Ｓ１０３は、サーバに注釈情報及び地理的位置情報を送信して、サーバが地理的位置情報に基づいてユーザーが位置している場所の情報を決定し、注釈情報と、その後該場所に来るユーザーに注釈情報を提供するための場所情報との間の対応関係を記憶できるようにする。

注釈情報及びユーザーの地理的位置情報を受信すると、クライアント側はサーバにこれらの情報をアップロードして良く、サーバはこれらの情報を記憶して良い。記憶する前に、サーバは、最初に地理的位置情報に基づいてユーザーが位置する場所をさらに決定して良い。このようにして、記憶することが実行されると、注釈情報と場所との間の対応が最後に記憶され、それによって場所に基づいた情報の注釈及びクエリーを実装する。

本開示の実施形態のいわゆる「場所」は、概してレストラン及びコーヒーショップ等のいくつかの屋内の場所を含んで良く、観光地等の屋外の場所を含んでも良い。通常、係る場所の位置は変化せず、明らかな地域の境界線を有する。さらに、これらの場所における装飾、設定値、オブジェクト等の変更の可能性は相対的に低い。これらの場所の場合、各場所と地理的地域のそれぞれの範囲との間の対応を記録するために、マップデータベースが事前に作成されて良い。したがって、ユーザーの現在の地理的位置情報を受信するのに応えて、マップデータベースに記憶される各場所の地域範囲情報に対する該地理的位置情報の照合が実行されて良い。ユーザーの現在の場所がある場所の範囲の中にあることが判明する場合、ユーザーが現在その場所に位置している旨の判断が下されて良い。

サーバは、ユーザーが現在位置する場所の情報を決定した後、注釈情報と場所情報との間の対応をサーバデータベースに記憶して良い。このようにして、サーバのデータベースのために、複数の類似した対応関係が記憶され得る。しばらく経って他のユーザーが場所に来る場合、このユーザーによって場所において注釈を付けられた情報コンテンツは見られて良い。例えば、係る対応関係は表１に示されるようにデータベースに記憶されて良い。

情報コンテンツの特定の形式は、テキスト、ピクチャ、音声等であって良い、または例えばテキストとピクチャ等、複数の形式の組合せであって良い。具体的には、例えば、ユーザーがレストランで食事をしているとき、ユーザーはテキストの形式で自分の気分を表し、同時に写真を撮影して良い。この場合、気分を表すためのテキスト及び写真は、ユーザーがレストランに残すことを希望する注釈情報に同等である。

実装では、係る機能を使用するユーザー数が増加するにつれ、多様な場所においてユーザーによって注釈を付けられる情報コンテンツの量は連続的に増加し、データベースの範囲の連続的な増加につながる。この場合、記憶される対応関係は対応する場所に従ってさらに管理されて良い。例えば、表は場所に従って記憶されて良い。つまり、同じ場所で注釈を付けられた情報コンテンツは同じデータテーブルに記憶される。それに応じて、異なる場所で注釈を付けられる情報コンテンツは異なるデータテーブルに表示され、各場所はデータテーブルに対応する。このようにして、ある場所にいるユーザーに、他のユーザーによって注釈を付けられた情報コンテンツを後に提供するとき、場所は先に決定されて良く、場所に対応するデータテーブルは次いで検出される。照合された情報コンテンツはデータテーブルから抽出され、返されて良く、それによって迅速な検索を可能にする。

上記の実装では、ユーザーがある場所である注釈情報に注釈を付けた後、該場所でユーザーによって注釈を付けられた注釈情報のコンテンツ（注釈情報を見るプロセスのための実装は以下に詳細に説明される）は、他のユーザーがその場所に到達したときに、その携帯端末装置にインストールされる本開示の実施形態のアプリケーションのクライアント側を使用し、別のユーザーによって見られて良い。

上述されたように、同じ場所で注釈を付けられた情報コンテンツの量は継時的に非常に大きいことがある。この場合、効果的な情報フィルタリング／選択機構を提供する方法、したがって係る機能をより面白くする方法が、さらに検討される必要のある問題となる。

したがって、本開示の例示的な実施形態では、ユーザーの注釈情報と場所情報との間の対応関係が記録されて良いだけではなく、注釈情報と場所における特定の注釈位置の情報との間の対応関係も記録されて良い。例えば、あるユーザーがある場所である机に注釈情報をラベル付けする。後に注釈情報を見るとき、他のユーザーまたは該ユーザーは、注釈情報が場所の他の位置に表示されるよりむしろ机の上にあることに気づく。これはある場所において紙のメモを残すまたは言葉を刻む実際のシナリオにより近い。実装では、注釈情報と特定の注釈位置との間の対応関係は、例えば最高である特定の点までの精度を有する等、非常に正確であって良い、またはある特定の範囲までほぼ正確であって良い。特定の実装は以下に詳細に説明される。

第１の実装
第１の実装では、注釈情報の注釈位置は特定の領域範囲にとって正確であって良い。位置情報が記録されるとき、注釈の位置情報は、関連付けられた設置位置が位置するシーン領域の画像特徴情報を使用して記述されて良い。具体的には、ユーザーによって入力され、注釈を付けられる必要がある情報コンテンツが受信された後、場所におけるシーン画像情報は収集されて良い。ユーザーが置く動作をトリガすると、現在収集されている画像特徴情報は、注釈情報及び現在の地理的位置情報がアップロードされるときにサーバにさらにアップロードされて良い。このようにして、注釈情報と場所との間の対応関係を記録するとき、サーバは対応関係に対応する画像特徴情報を記録して良い。

例えば、場所におけるシーン画像情報を収集するために、ユーザーの携帯端末装置の画像キャプチャ装置は自動的に活性化されて良い。このようにして、画像キャプチャ装置によってキャプチャされる、場所におけるシーンの画像は携帯端末装置のユーザーインタフェースに表示され、ユーザーインタフェースの画像のコンテンツは、視野角が変化するにつれ連続的に変化する。例えば、ユーザーが図３に示されるボタン「置き場所」をクリックした後、画像キャプチャ装置は起動されて良い。ある時点での表示ステータスは図４に示されるように与えられて良い。ユーザーインタフェースにキャプチャされた画像を表示するプロセスで、操作可能なオブジェクトがさらにユーザーに提供されて良い。例えば、図４に示されるボタン「ここ」の場合、画面内でのボタンの絶対位置は変更されないままとなって良い。ユーザーが画像キャプチャ装置の視野角を変更するので、ボタンと画像との間の相対位置は変更されないままであって良い。視野角の調整を完了した後、ユーザーはボタンを押して良い。アプリケーションのクライアント側は、それによって入力された情報コンテンツに注釈を付けるためのこの操作可能なオブジェクトの操作を介して関連付けられた位置に通知される。それに応じて、アプリケーションのクライアント側の場合、ユーザーから注釈のための確認メッセージを受信した後、画像キャプチャ装置によって現在キャプチャされている画像の特徴情報は注釈位置の画像特徴情報として抽出される。注釈位置の画像特徴情報は、次いでサーバに送信されて良い。

具体的には、画像特徴情報を抽出時、複数の次元の特徴情報が抽出されて良い。例は、画像内の各ピクセルポイントの色、画像内の識別可能なオブジェクトの形状または輪郭、画像のテクスチャ及び局所的な特徴等を含む。画像内のいわゆる識別可能なオブジェクトは、例えば（表示装置、コンピュータ、テレビ等の）電化製品、（例えば、机、いす、スツール、メッセージ板等の）家具、（花瓶、装飾品等の）芸術作品等、概して画像内に相対的に規則正しい形状を有するオブジェクトであって良く、彫像、ドア、壁等の構造建造物であっても良い。既存の画像認識技術では、この種のオブジェクトの形状及び／または輪郭のいくつかの部分またはすべての部分はキャプチャされた画像から認識されて良い。さらに、この種のオブジェクトは、通常、以下の特徴を有する。（１）場所における該オブジェクトの位置は概して変化しない、（２）特定の位置情報を認識する際の相対的に顕著なラベリング効果は固有である、及び（３）情報に注釈を付けるとき、ユーザーは現実世界における習慣に従ってあるオブジェクトを見つけ出し、該オブジェクトの上にまたは脇で情報を注釈付けして良い。例えば、カメラを通して現在の場所の画像を見るとき、ユーザーは場所においてコンピュータの表示を見つけ出し、したがって表示の右上角に情報コンテンツの注釈を付けて良い。同様に、ユーザーは、電化製品、器具、または芸術作品等の相対的に規則正しい形状を有するオブジェクト上で情報コンテンツに注釈を付けても良い、または構造建造物の上に注釈を付けても良い。

手短に言えば、各注釈情報の注釈位置で画像特徴情報を抽出するとき、各注釈情報は画像特徴セットに対応して良い。つまり、画像は、複数の次元の特徴を使用して描かれる。画像特徴セットがサーバにアップロードされた後、サーバは、表２に示される注釈情報と場所情報との間の対応関係にそれを追加し、記憶して良い。

このようにして、しばらく経ってクエリーを行うユーザーに注釈情報を提供すると、サーバは場所情報だけではなく、注釈情報の特定の配置位置の画像特徴情報も検討して良い。例えば、場所において注釈を付けられた情報コンテンツがしばらく経って場所を訪問した別のユーザーに提供されると、そのユーザーの画像キャプチャ装置は場所における各情報コンテンツの注釈位置の画像特徴に対してキャプチャされた画像の特徴情報を照合するために最初に起動されて良い。照合の成功に応えて、対応する情報コンテンツがそのユーザーに提供される。言い換えると、ユーザーは同じ場所の異なるキャプチャ範囲内の異なる情報コンテンツを見て良い。特定の注釈位置及びキャプチャ範囲に従って情報コンテンツをフィルタ処理するまたは選択することによって、ユーザーは過剰な情報を受信することを回避して良く、全体的な実装プロセスはより興味深くなり、「ある位置で注釈が付けられた『紙のメモ』だけをその場所で見ることができる」現実世界における現実のシナリオにより近い。

具体的には、以後のクエリー動作を実装するために、サーバは各注釈情報の画像特徴セットを受信した後、多様な次元の画像特徴に従ってインデックスを作成して良い。具体的には、クエリー要求を受信した後、クエリーを行う関係者の画像情報の特徴が要求から抽出されて良く、画像情報の画像特徴がデータベースに記録された各注釈情報に対応する画像特徴セットに対して照合される。照合を実行するとき、画像特徴は多様な次元で個別に照合されて良い。検索効率を改善するために、特徴の情報は、画像の特徴の情報を抽出するときに、一次特徴情報及び二次特徴情報に分割されて良い。概して、一次特徴情報は、例えば画像内のオブジェクトの色、形状、または輪郭等の情報等、簡略且つ明らかな情報である。二次特徴情報は、概して、テクスチャ、局所的特徴等を含んだ綿密な情報である。したがって、しばらく経って他のユーザーに情報コンテンツを提供するとき、情報コンテンツの一次インデックスは最初に、一次特徴情報に基づいて現在の場所における各情報コンテンツから作成されて良い。予備的な検索の後、二次インデックスは二次特徴情報に基づいて作成される。照合された情報コンテンツは最後に検索を通して見つけ出される。

第１の実装は、その配置位置が位置するシーンの範囲まで注釈情報を正確にして良い。例えば、ある注釈情報の画像特徴セットは画像Ａに対応する。クエリーを行うユーザーがその画像特徴の情報をアップロードすると、画像特徴は画像Ｂに相当する。画像Ａ及び画像Ｂは同一でない場合があるが、画像特徴に関する類似性の度合いは相対的に高い。したがって、注釈情報はクエリーを行うユーザー等に提供される。したがって、クエリーを行うユーザーは、（視野内の画像特徴セット間の類似性の度合いが一定の要件を満たす限り条件は満たされると考えられるため）ある視野でいくつかの注釈情報を受信して良い。しかしながら、追加の位置情報は存在しないので、条件を満たす係る注釈情報がクエリーを行うユーザーに表示されるとき、各注釈情報はクエリーを行うユーザーの視野の範囲内の画像に無作為に置かれて良い。言い換えると、注釈情報は適切な範囲でのみ表示されて良い。

第２の実装
前記の第１の実装は、ある範囲までの注釈情報を配置する位置の精度を達成して良い。第２の実装では、配置位置の精度をさらに改善するために、画像特徴が記憶されるときに追加の処理が実行されて良い。具体的には、画像内の識別可能なオブジェクトは画像特徴抽出中に抽出されて良く、ユーザーは通常相対的に顕著な特徴を有するオブジェクトを選択し、注釈実行時にオブジェクトのある位置に情報を配置する。したがって、第２の実装では、画像が画像特徴抽出に基づいて識別可能なオブジェクトを含むと判明する場合、注釈情報と識別可能オブジェクトとの間の関連付け関係が記録され、サーバに送信されて良い。このようにして、注釈情報、場所、及び画像特徴セットの間の対応関係が記憶されるとき、サーバは特定可能なオブジェクトとの関連付け関係をそれに追加して良い。

具体的には、サーバは以下の表３に示される対応関係を記憶して良い。

上記の対応関係が表３に従って記憶された後、注釈情報がクエリーを行うユーザーに提供されると、注釈情報は関連付けられた識別可能なオブジェクトの近くに表示されて良い。具体的には、クエリーを行うユーザーから要求を受信することに応えて、第１の実装の多様なタイプの画像特徴は、各注釈情報に対応するそれぞれの識別可能なオブジェクトの画像特徴に対してクエリーを行うユーザーによってキャプチャされた画像の特徴を照合し、照合された注釈情報を決定し、クエリーを行うクライアントに照合された注釈情報及び対応する識別可能なオブジェクトの画像特徴を返すために最初に使用されて良い。クエリーを行うクライアントは現在キャプチャされている画像における識別可能なオブジェクトの位置を突き止め、識別可能なオブジェクトの近くに各注釈情報を提供して良い。例えば、ユーザーはある場所におけるある表示装置の近くで情報に注釈を付けたと仮定される。別のユーザーの画像キャプチャ装置が表示装置をキャプチャすると、その注釈情報は見ているユーザーに提供されて良く、依然として表示装置近くに表示されて良い。明らかに、このモードでは、注釈情報が位置する識別可能なオブジェクトにおける特定の位置は確かめ得ない。言い換えると、ユーザーがある表示装置の右上角に注釈情報を置く場合、注釈情報がクエリーを行うユーザーに最終的に提供されるとき、それにも関わらずまだ表示装置の近くに表示される注釈情報は表示装置の左下角に表示されて良い。

第３の実装
第３の実装では、より正確な位置決めを達成するために、注釈情報がアップロードされると、注釈情報と識別可能なオブジェクトとの間の相対位置関係がさらに決定されて良く、相対位置関係の情報はサーバにアップロードされて良い。このようにして、関連付けられた識別可能なオブジェクトの注釈情報、場所、及び画像特徴の間の対応関係を記憶するとき、サーバは、後にクエリーを行うユーザーに注釈情報を提供するときに、より正確な位置決めで照合を達成するために相対位置関係の情報をそれに追加して良い。

具体的には、注釈情報と画像内の識別可能なオブジェクトとの間の相対位置関係を決定するとき、特定の画像が先に決定されて良い。ユーザーが配置確認のアクションを指定すると、端末装置の表示画面上の配置点の座標がさらに記録されて良い。キャプチャされた画像の各ピクセルの座標は表示画面の座標に一致する。したがって、表示画面上の配置点の座標を知ることは、キャプチャ画像内の配置点の特定の座標を確かめることと同等であることが知られている。識別可能なオブジェクトは、次いでキャプチャ画像から決定されて良い。オブジェクトは通常複数のピクセルを占めるので、ピクセルポイントは識別可能なオブジェクトの位置を表すために複数のピクセルポイントの中から選択されて良い。例えば、識別可能なオブジェクトが位置する領域を定義した後、領域の中心はあるアルゴリズムを使用して入手されて良く、中心は識別可能なオブジェクトの位置を表すために使用される。座標系は、次いで起点として中心を使用し、確立されて良く、座標系の注釈情報の座標は、画像内の注釈情報の位置に基づいて決定される。したがって、座標は、注釈情報と画像内の識別可能なオブジェクトとの間の相対位置関係を示すために使用されて良く、表４に示されるように記憶のためにサーバに送信されて良い。

上記表２の座標は、注釈情報が、起点として識別可能なオブジェクトの位置点を使用し、座標系の下に位置するそれぞれの位置点の座標を指す。識別可能なオブジェクトの位置は他の規則に従って決定されても良いことに留意されたい。例えば、領域の中心が上述されたように選択されて良いだけではなく、領域の左上角、右下角等も選択されて良い。ただし、特定の選択モードはよくても以後のクエリー中に使用される選択モードと一致し、それにより照合の精度を保証する。

第２の実装を使用し、別のユーザーが後に場所に来て、周囲で注釈が付けられている情報コンテンツを見る必要があるとき、画像がユーザーの画像キャプチャ装置を介してキャプチャされている場合、最初に第１の実装の多様なタイプの画像特徴を使用し、照合が実行されて良い。照合が成功すると、画像の中の照合された注釈情報及び対応する座標情報のそれぞれと関連付けられた識別可能なオブジェクトがクエリーを行うクライアントに返されて良い。クエリーを行うクライアントは、識別可能なオブジェクトがキャプチャされた画像の中に位置する領域で識別可能なオブジェクトの位置を決定し、次いで座標情報に基づいて識別可能なオブジェクトに注釈情報が表示される必要がある位置を決定する。このようにして、ユーザーがある場所における（例えば、右上角での）ある表示装置の近くで情報に注釈を付ける場合、別のユーザーの画像キャプチャ装置が表示装置をキャプチャするとき、画像内の他の特徴とこの情報コンテンツの注釈位置の画像特徴との間の高い類似性の度合いが比較により判明する場合、表示装置の右上角にラベルが付けられている注釈情報は、まだユーザーが見るために表示装置の右上角に提供されて良い。

上記の実装では、サーバは、注釈情報と場所との間の対応関係にクライアント側によってアップロードされる画像特徴情報を追加する。このようにして、ユーザーはしばらく経って注釈情報についてクエリーを行うと、クエリーを行うユーザーによってアップロードされる画像情報は各注釈情報に対応する画像特徴情報に対して照合されて良い。ただし、上記実装では、各注釈情報に対応する画像特徴セットは記憶される必要があり、このことがサーバの記憶スペースを占有する。さらに、データベースのサイズが連続的に増加するにつれ、検索に要する時間も増加し、このことが遅い反応速度につながる。さらに、上記実装では、注釈を付けるユーザーは無作為に注釈位置を選択して良い。配置操作の柔軟性は改善されるが、これは以下の不利な点を有することがある。第１に、ユーザーによって選択された注釈位置が位置するシーンの画像が著しく独特ではない場合、以後の照合中にエラーが発生することがある。例えば、ユーザーが注釈を付ける場所は白い壁であることがあり、この場合、画像から抽出される特徴は簡略であり、注釈情報の注釈位置は画像特徴に従って容易に決定できない。第２に、ユーザーによってキャプチャされ、サーバ側に記憶されている画像の場合、画像の質は不十分であることがあり、したがって一方ではユーザーの不十分な写真撮影技術等の要因のために以後の照合が困難になる場合があり、他方では異なるユーザーによって使用される端末装置におけるピクセル等の要因のために正確な結果が照合で取得されないことがある。上記の要因を鑑みて、以下に説明される他の実装が本開示の実施形態で提供される。

第４の実装
本実装では、サーバは事前に場所ごとにモデリングを実行し、場所ごとに個別に画像特徴ライブラリを確立して良い。場所ごとの画像特徴ライブラリには、それぞれの場所の１つまたは複数のランドマークオブジェクトの画像特徴が記憶されて良い。ランドマークオブジェクトは何らかの家具または電化製品等であって良く、これらの画像特徴は場所で事前にキャプチャされるランドマークオブジェクトの写真から抽出されて良い。ランドマークオブジェクトの写真を撮影するとき、ユーザーがその周りに自分の注釈情報を置くことを所望することがあるオブジェクトは、場所の実際のレイアウトに基づいて予測されて良く、これらのオブジェクトは次いで、それぞれの特徴がそこから抽出される場所の代表的なランドマークオブジェクトとして写真撮影される。抽出された画像特徴のそれぞれのセットは各ランドマークオブジェクトを表すために使用される。要するに、サーバは、表５に示されるように事前にランドマークオブジェクトの画像特徴ライブラリを作成して良い。

各場所は複数のランドマークオブジェクトを有することがあり、各ランドマークオブジェクトの画像特徴は複数の次元で特徴セットによって表されても良い。このようにして、注釈を付けるユーザーによってアップロードされる注釈情報及び対応するシーンの画像特徴情報を受信することに応えて、サーバは、最初にシーンの画像がランドマークオブジェクトの（１つまたは複数の）画像特徴と調和するコンテンツを含むかどうかを判断し、肯定の場合は、注釈情報と関連付けられた場所との間の対応関係を記憶し、調和したランドマークオブジェクトの識別子を対応関係に追加して良い。例えば、ある場所が机、表示装置、及び空調装置等のランドマークオブジェクトを含み、あるユーザーが表示装置の近くに注釈情報を置くことを必要とする場合、端末装置のカメラは表示装置に焦点を合わせて良い。クライアント側が注釈情報及び場所の画像特徴をアップロードした後、サーバは画像を解析し、画像がランドマークオブジェクト（表示装置）を含むことを検出する。上記のように、表示装置に対応する識別子は画像特徴ライブラリから読み取られ、注釈情報と場所の現在との間の対応関係に追加される。表６に例が示される。

その後、クエリーを行うユーザーからある場所で注釈情報を見る要求を受信すると、クエリーを行うユーザーによってアップロードされる画像が現在の場所におけるあるランドマークオブジェクトを含むかどうかに関する判断が下されて良い。含まれている場合、照合されたランドマークオブジェクトに対応する注釈情報が関連付けられた対応関係から抽出され、クエリーを行うユーザーに返されて良い。注釈情報が提供されるとき、注釈情報はランドマークオブジェクトの近くに表示されても良い。分かるように、上記表６に記録された対応関係は、表３に記録された対応関係が達成するのに類似した効果、または表３に記録されている対応関係が達成するよりもなおさらに優れた効果を達成して良いが、前者の記憶構造はより簡略であり、その対応関係は画像特徴情報を記憶する必要はなく、関連付けられたランドマークオブジェクトを記憶しさえすればよい。

このモードでは、場所のどの位置に注釈情報が置かれて良いのかが事前に定められ、それによってユーザーの無作為な注釈に起因して生じる可能性がある問題を回避する。さらに、ユーザーによって各注釈情報についてアップロードされた画像特徴セットは、相応して記憶される必要はなく、したがって記憶スペースを節約する。場所の場合、記憶されているランドマークオブジェクトの数は大きくなく、固定されており、これにより必要とされる作業の量は基本的に、場所のクエリーを行うための要求に応えて画像特徴照合が実行されるときに毎回固定されている。ただし、このモードでは、注釈情報とランドマークオブジェクトとの間の関連付け関係だけが決定され得、その間の特定の相対位置関係は決定されないことは明らかである。したがって、注釈情報は、クエリーを行うユーザーに表示されるとき、ランドマークオブジェクトの近くに無作為に表示され、このようにして潜在的に元の配置位置と矛盾しない可能性がある。

第５の実装
クエリーを行うユーザーに対して、注釈情報とランドマークオブジェクトとの間のより正確な相対位置関係を提供するために、第３の実装での手法に類似した手法が使用されても良い。言い換えると、識別可能なオブジェクトに対する注釈情報の配置点の座標は、画像特徴情報をアップロードする過程で計算され、サーバに記憶される。代わりに、このプロセスを簡略化するために、第５の実装は最適化方法をさらに提供する。

第５の実装は、第４の実装に基づいて実装される。具体的には、場所ごとにモデリングを実行する過程の間、ランドマークオブジェクトの画像特徴が場所ごとに記憶されるだけではなく、選択可能な注釈点もランドマークオブジェクトごとに指定され、画像特徴ライブラリに記憶されて良い。各注釈点の位置は、関連付けられたランドマークオブジェクトの中心として係る位置に対するそれぞれの注釈点の座標によって表されても良い。このようにして、画像特徴ライブラリに記憶されている対応関係は、以下の表７に示されるように示されて良い。

具体的には、同じ場所の同じランドマークオブジェクトは、複数の選択可能な注釈点を含んで良く、関連付けられたランドマークオブジェクトに関する各注釈点の座標は、画像特徴ライブラリに個々に記録される。

このようにして、注釈を付けるユーザーから注釈付け要求を受信すると、注釈を付けるユーザーによってアップロードされる画像特徴セットに含まれるランドマークオブジェクトは、最初に認識される。ランドマークオブジェクトの画像特徴及びランドマークオブジェクトの選択可能な各注釈点の相対座標は、注釈付けするクライアントに返される。上記のように、注釈付けするクライアントは、返される画像特徴に基づいて現在キャプチャされている画像に含まれる（１つまたは複数の）識別可能なオブジェクトの位置を突き止め、座標に応じて（１つまたは複数の）識別可能なオブジェクトに対応するそれぞれの（１つまたは複数の）点における選択可能な（１つまたは複数の）注釈点の（１つまたは複数の）アイコンを表示し、それぞれの（１つまたは複数の）選択操作入力を提供することができる。このようにして、注釈を付けるユーザーは、注釈点を選択することができ、対応して、クライアント側は、ユーザーによって選択される注釈点の識別子を、サーバにアップロードすることができ、結果としてサーバが、ユーザーによって選択される注釈点についての情報を、表８に示すような、注釈情報、関連付けられた場所、及びランドマークオブジェクトの間の対応関係に追加することができる。

複数の注釈情報は、同じ場所の同じランドマークオブジェクトに近い異なる場所でラベルを付けられて良い。上記表８では、他のランドマークオブジェクト及び他の場所のレコードは省略されている。

この手法では、注釈情報のクエリーを行うための以後の要求を受信することに応えて、サーバは最初に、クエリーを行うクライアントによってアップロードされるシーン画像情報の照合されたランドマークオブジェクトが存在するかどうかを判断してよく、肯定の場合、ランドマークオブジェクトと関連付けられる注釈情報及び対応する注釈点の座標情報のそれぞれを返して良い。それを受信すると、クエリーを行うクライアントは、ランドマークオブジェクト情報及び注釈点の座標情報に基づいて、各注釈情報が表示される位置を決定し、対応する位置に各注釈情報を提供して良い。

分かるように、注釈情報とこの手法で入手された注釈位置との間の照合の最終的な精度は、表４に示される手法の精度に類似する、または表４に示される手法の精度よりもなおさらに高い。ただし、表８に示される記憶構造はより簡略であり、実装の効率を改善して良い。

いくつかの実装はそれぞれ詳細に上述されている。実際のアプリケーションでは、上記実装のいずれも実際の必要性によって選択されて良く、このことは本明細書で制限されていない。

さらに、実装では、情報コンテンツに注釈を付ける操作は、概してユーザーがログインした後に実行されて良い。この場合、注釈を付けるユーザーのアイデンティティ情報はさらにサーバに送信されて良く、これによりサーバは記憶のための対応関係にアイデンティティ情報を追加して良い。このようにして、データベースは以下の情報、つまり、どの情報コンテンツ（複数の場合がある）が各場所で注釈を付けられているのか、どのユーザー（複数の場合がある）が係る情報コンテンツ（複数の場合がある）に注釈を付けるのか、及びどの特定の位置（複数の場合がある）で係る情報（複数の場合がある）が注釈を付けられるのかを記憶する。その後、情報コンテンツが他のユーザーに提供されるとき、注釈位置情報は参照されて良いだけではなく、注釈を付けるユーザーのアイデンティティ情報に基づいてスクリーニングも実行されて良い。例えば、友人だけが注釈が付けられた情報コンテンツの詳細を見て良い。代わりに、同じ好みを有するユーザーだけが情報コンテンツ等を見て良い。例えば、ユーザーによって公開された注釈情報を見たことがある友人の数のカウント等、見ることについての情報は、さらに注釈を付けるユーザーにフィードバックされて良い。明らかに、実際のアプリケーションでは、設定値は以下を含んで良い。つまり、友人ではないユーザーも互いの注釈情報を見ることを許される。この場合、視聴者のアイデンティティ情報がさらに注釈を付けるユーザーに表示されて良く、ユーザーは視聴者を友人等として追加するようにプロンプトを出されて良い。

ユーザーのアイデンティティ情報が記憶されている状況では、データベースの対応関係は表９に示されるように示されて良い。

要するに、本開示の実施形態によって、ユーザーは、ユーザーが位置する場所において特定の情報コンテンツに注釈を付けるためにユーザーの携帯端末装置にインストールされたアプリケーションを活用して良い。この種の情報コンテンツはテキストに限られるのではなく、ピクチャまたは音声等であっても良い。したがって、ユーザーの「トレース」は多様な形式の情報コンテンツを介して場所に残されて良い。係る「トレース」は、ユーザーによって表現された感情を反映して良い、またはユーザーが過去のある瞬間に場所において見聞きしたことを記録して良く、特定の場所のいかなる実際の状況にも影響されることなく、このことは本物の紙及びペンを必要とせず、場所の実際の景色に影響を及ぼさない。

第２の実施形態
上述の第１の実施形態は、おもに情報コンテンツにどのようにして詳細に注釈を付けるのかの観点から本開示の実施形態を説明している。第２の実施形態は、おもに注釈情報のクエリーをどのようにして行うのかの観点を説明する。方法ブロックは、依然としてアプリケーションのクライアント側によって実行される。実際のアプリケーションでは、クライアント側は第１の実施形態で言及されるクライアント側と同じであって良い。言い換えると、同じクライアント側が場所において情報に注釈を付ける機能、及び場所において他のユーザーの注釈情報を見る機能を実装して良い。

図５を参照すると、本開示の第２の実施形態は、以下の方法ブロックを含んで良い場所に基づいた情報処理方法を提供する。

Ｓ５０１は、クエリーを行うユーザーから周囲注釈情報を見るための要求を受信する。

ユーザーがアプリケーションのクライアント側を始動すると、クライアント側はユーザーの現在の場所において注釈情報を見る要求を受信して良い。明らかに、アプリケーションのユーザーインタフェースがアクセスされた後、２つの機能のそれぞれの操作入力もインタフェースで提供されて良い。例えば、図２を参照すると、「あなたの情報を残してください」の操作入力を表示することの他に、「周囲を見つける」の操作入力も表示されて良い。さらに、図２に示されるユーザーインタフェースにおけるユーザーによる「周囲を見つける」の操作入力をクリックする操作は、周囲の情報コンテンツを見るユーザーの要求として解釈されて良い。

Ｓ５０２は、クエリーを行うユーザーの地理的位置情報を入手する。

周囲の情報コンテンツを見るための要求を受信することに応えて、ユーザーの地理的位置情報も先に取得されて良い。明らかに、実際のアプリケーションでは、方法ブロックＳ５０２は、方法ブロックＳ５０１の前に実行されても良い。実装の特定のプロセスは第１の実装でのプロセスに類似しており、ここに詳細に説明されない。

Ｓ５０３はサーバに地理的位置情報を送信して、サーバが、地理的位置情報に基づいてクエリーを行うユーザーが位置する目標場所を決定し、それぞれの注釈情報と場所情報との間の事前に記憶された対応関係に従って目標場所に対応する各注釈情報を決定し、返すことができるようにする。

各ユーザーによって注釈を付けられた情報コンテンツと場所との間の対応関係は、ユーザーが情報コンテンツに注釈を付けるときにサーバのデータベースに記憶されるので、現在の場所において注釈を付けられた情報コンテンツを見る要求は、サーバが場所に対応する各注釈情報を取得し、場所の情報を決定すると、クエリーを行うクライアントにそれを返すようにサーバに送信されて良い。

Ｓ５０４は、クエリーを行うユーザーが見るためにサーバによって返される各注釈情報を受信する。

場所に対応する各注釈情報は、取得された後、現在のユーザーに提供されて良い。具体的には、係る情報コンテンツは多くの異なる形式で提供されて良い。例えば、各情報コンテンツは、直接的に提示されて良い、または各情報コンテンツのプロンプト情報（例えば音声注釈情報は「警笛」のアイコンで表されて良く、テキスト注釈情報は「楕円」のアイコンによって表されて良い等、例えば、潜在的に異なるアイコンを使用する異なるタイプの注釈情報を有するアイコン）は、先にリストの形で、ユーザーインタフェースに提供されて良い。ユーザーがあるプロンプト情報を見るためにクリックした後、そのプロンプト情報に対応する情報コンテンツの詳細がユーザーに提示される。

明らかに、データベースがさらに場所における情報コンテンツの特定の注釈位置情報を記憶している場合、場所における画像情報も先にキャプチャされ、次いで他のユーザーによって場所において注釈を付けられた情報コンテンツをユーザーに提供するときにサーバに送信されて良い。場所において注釈情報のクエリーを行うとき、サーバは画像情報に従って対応する注釈位置で注釈情報を見つけ、返しても良い。例えば、サーバが各注釈情報に対応する画像特徴情報を記憶する場合、ユーザーが現在位置している場所における各注釈情報の注釈位置と関連付けられた画像特徴情報がデータベースから取得されて良い。さらに、現在キャプチャされている画像の特徴情報は各注釈情報に対応する注釈位置の画像特徴情報に対して照合される。代わりに、各注釈情報と関連付けられる識別可能オブジェクトの画像特徴情報はサーバから受信されて良く、各注釈情報は現在キャプチャされているシーン画像内の識別可能なオブジェクトの近くに相応して表示される。代わりに、各注釈情報と関連付けられる識別可能なオブジェクトの画像特徴情報及び各注釈情報と識別可能なオブジェクトとの間の相対位置関係の情報は、サーバから受信されて良い。各注釈情報は次いで現在キャプチャされているシーン画像内の識別可能なオブジェクトに対応する位置に表示される。

情報コンテンツの特定の注釈位置の画像に従って、見るユーザーに対して現在の場所において他のユーザーによって注釈が付けられた情報コンテンツを提供するとき、別の画像層がキャプチャされた画像層の上部で作成されて良く、現在の視野内の注釈情報の識別子はこの画像層に表示される。例えば、図６に示されるように、ユーザーが図２のボタン「周囲の情報を見つける」をクリックした後、携帯端末装置の画像キャプチャ装置は自動的に起動されて良い。図６の背景画像は、キャプチャの現在の範囲の中の画像であり、画像上に表示される識別子情報６０１、６０２、及び６０３は、キャプチャの範囲で注釈が付けられた情報コンテンツの識別子情報に対応する。ユーザーが識別子情報６０１に対応する識別子情報をクリックする場合、対応する情報コンテンツの詳細が提示されて良い。図７に示されるように、情報コンテンツは「レイチェル」等の注釈を付けるユーザーのユーザー名を含んで良く、ユーザーが場所において注釈を付けるものは音声情報である。したがって、音声情報を再生するためのプレイバックボタンが詳細ページにさらに設けられて良い。

検索結果が、他のユーザーがユーザーの現在のキャプチャの範囲で情報コンテンツに注釈を付けていないことに同等である、類似注釈位置を有する画像を発見することができないことに相当する場合、ユーザーによって注釈を付けられた情報コンテンツは他のキャプチャの範囲で発見され得るので、ユーザーは、この場合キャプチャ角度を調整し、キャプチャの範囲を変更するようにプロンプトを出されて良い。

さらに、実装では、本開示の実施形態で提供されるアプリケーションのユーザーごとに、ユーザーのアカウントはアプリケーションに正常に登録されて良く、情報コンテンツに注釈を付けるまたは他のユーザーの情報コンテンツを見る特定の動作は、自身のアカウントのためのアイデンティティ情報を使用しログインした後に実行されて良い。言い換えると、ユーザーごとに、ユーザーが情報コンテンツの注釈者であるのか、それとも視聴者であるのかに関わりなく、関連付けられたシステムは、ユーザーのアイデンティティ情報を取得できる。さらに、実際のアプリケーションでは、友人関係はユーザー間で確立されて良い。したがって、本開示の他の実施形態では、情報コンテンツは友人の間で見られて良い。具体的には、ある場所でユーザーによって注釈を付けられた情報コンテンツは、ユーザーの友人によってだけ見られて良い。相応して、ユーザーがある場所で他のユーザーによって注釈を付けられた情報コンテンツを見る必要があるとき、ユーザーは該場所においてユーザーの友人によって注釈を付けられた情報コンテンツだけを見て良い。実装では、注釈を付けられた情報コンテンツと場所情報との間の対応関係が記憶されるとき、注釈を付けるユーザーのアイデンティティ情報も表３に示されるように記憶されて良い。このようにして、あるユーザーの現在の場所で注釈を付けられた情報を見る要求が受信されると、現在のユーザーの友達ユーザーのアイデンティティ情報が先に取得されて良く、ユーザーが現在位置している場所での各情報コンテンツの注釈を付けるユーザーのアイデンティティ情報は、サーバのデータベースからさらに取得される。次いで、視聴している現在のユーザーの友達ユーザーがその中に含まれるかどうかに関する判断が下される。肯定の場合、現在の場所における現在のユーザーの友達ユーザーによって注釈を付けられた情報コンテンツは、現在のユーザーに提供されて良い。

第３の実施形態
上述の第１の実施形態及び第２の実施形態は、おもにクライアント側の観点から本開示の技術的な解決策を説明する。サーバの観点からの解決策が以下に説明される。第３の実施形態では、注釈を付けるユーザーによる注釈付けを実行する過程でのサーバ側の実装プロセスの詳細が説明される。

図８を参照すると、第３の実施形態は、以下の方法ブロックを含んで良い、場所に基づいた情報処理方法を提供する。

Ｓ８０１は、注釈を付けるクライアント側によってアップロードされる注釈情報、及びユーザーの携帯端末装置の地理的位置情報を受信する。

Ｓ８０２は、地理的位置情報に基づいてユーザーが位置する場所の情報を決定する。

Ｓ８０３は、クエリーを行うクライアント側によって送信される注釈情報のクエリーを行う要求が受信されるときに、照会を行うユーザーが位置する目標場所が要求に含まれる地理的位置情報に基づいて決定され、目標場所に対応する注釈情報がクエリーを行うクライアント側に返されるように、注釈情報と場所情報との間の対応関係を作成し、記憶する。

正確な注釈位置を取得して照合をより正確に実行するために、サーバは、注釈を付けるクライアント側によってアップロードされる場所における注釈情報の注釈位置情報をさらに受信し、対応関係に注釈位置情報を追加し、記憶して良い。このようにして、注釈情報のクエリーを行うための要求を受信後、サーバは、クエリーを行うクライアント側によってアップロードされるシーン位置情報を、目標場所の各注釈情報に対応する注釈位置情報に対して照合し、クエリーを行うクライアント側に照合された注釈情報を返して良い。

実装では、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報であって良い。代わりに、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像に含まれる識別可能なオブジェクトの画像特徴情報であって良く、これにより注釈情報の位置は、特定の識別可能なオブジェクト近くの点まで正確であって良い。代わりに、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる、場所におけるシーン画像に含まれる識別可能なオブジェクトの画像特徴情報、及び注釈情報と識別可能なオブジェクトとの間の相対位置関係情報であって良い。

別の実装では、サーバは事前に場所のために第１の画像特徴ライブラリを作成して良い。第１の画像特徴ライブラリは、場所における少なくとも１つのランドマークオブジェクトの識別子、及び対応する画像特徴（複数の場合がある）を記憶する。この場合、注釈を付けるクライアント側によってアップロードされる、場所におけるシーン画像の画像特徴情報が受信されるとき、場所におけるあるランドマークオブジェクトが含まれるかどうかに関する判断が下されて良い。肯定の場合、そのランドマークオブジェクトの識別子は場所における注釈情報の注釈位置情報として解釈される。

代わりに、第２の画像特徴ライブラリは、事前に場所のために作成されて良い。第２の画像特徴ライブラリは、場所における少なくとも１つのランドマークオブジェクトの識別子、対応する画像特徴（複数の場合がある）、及びそれぞれのランドマークオブジェクトに対する各ランドマークオブジェクトでの少なくとも１つの選択可能な注釈点の相対座標情報を記憶する。この場合、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報が受信されるとき、場所におけるあるランドマークオブジェクトがその中に含まれるかどうかに関する判断が下されて良い。肯定の場合、そのランドマークオブジェクトの画像特徴（複数の場合がある）及び注釈点（複数の場合がある）の相対座標情報が返される。注釈を付けるクライアント側によってアップロードされる選択された注釈点の情報を受信した後、ランドマークオブジェクトの識別子及び注釈点の情報が注釈情報の注釈位置情報として解釈される。

第４の実施形態
第４の実施形態は、おもにクエリーを行う関係者の問い合わせをサポートする観点からサーバ側の実装を詳細に説明する。

図９を参照すると、第４の実施形態は、以下の方法ブロックを含んで良い、場所に基づいた情報処理方法を提供する。

Ｓ９０１は、クエリーを行うクライアント側から注釈情報のクエリーを行うための要求を受信し、要求はクエリーを行うユーザーの地理的位置情報を含む。

Ｓ９０２は、地理的位置情報に基づいてクエリーを行うユーザーが位置する目標場所を決定する。

Ｓ９０３は、注釈情報と場所情報との間の事前に確立された対応関係に従って目標場所に対応する注釈情報を決定し、クエリーを行うクライアント側にそれを返す。

対応関係は、場所における注釈情報の注釈位置情報をさらに含んで良い。この場合、現在の場所においてクエリーを行うユーザーのシーン位置情報がさらに取得されて良い。照合された注釈情報は、次いで各注釈情報に対応する注釈位置情報に基づいて獲得され、照合された注釈情報は、クエリーを行うクライアント側が対応する注釈位置で注釈情報を提供できるようにするためにクエリーを行うクライアント側に返される。

具体的には、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報であって良い。この場合、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報が受信されて良く、受信された画像特徴情報は、照合された注釈情報を取得するために各注釈情報に対応する画像特徴情報と比較される。

代わりに、注釈位置情報は、場所における識別可能なオブジェクトの画像特徴情報であって良い。この場合、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報が受信されて良い。次いで、受信された画像特徴情報に基づいて識別可能なオブジェクトが存在するかどうかに関する判断が下されて良い。肯定の場合、識別可能なオブジェクトの画像特徴（複数の場合がある）は、照合された注釈情報を取得するために各注釈情報に対応するそれぞれの識別可能なオブジェクトの画像特徴（複数の場合がある）と比較される。識別可能なオブジェクトの画像特徴情報は、注釈を付けるクライアント側によってアップロードされて良く、またはサーバ側によって事前に作成される画像特徴ライブラリに記憶されて良く、関連付けられた対応関係は識別可能なオブジェクトの識別子を記憶する。

また、注釈位置情報は、場所における識別可能なオブジェクトの画像特徴情報、及び注釈情報と識別可能なオブジェクトとの間の相対位置情報を含んでも良い。この場合、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報が受信されて良く、識別可能なオブジェクトが存在するかどうかに関する判断が、受信された画像特徴情報に基づいて下される。肯定の場合、識別可能なオブジェクトの画像特徴（複数の場合がある）は、照合された注釈情報を取得するために各注釈情報に対応するそれぞれの識別可能なオブジェクトの画像特徴（複数の場合がある）と比較される。照合された注釈情報及び対応する相対位置関係情報に対応する識別可能なオブジェクトの画像特徴情報は、クエリーを行うクライアント側に返される。識別可能なオブジェクトの画像特徴情報及び相対位置関係情報は、注釈を付けるクライアント側によってアップロードされて良い、またはサーバ側によって事前に確立された画像特徴ライブラリに記憶されて良い。関連付けられた対応関係は、識別可能なオブジェクトの識別子及び注釈点の識別子を記憶する。

上記の第２の実施形態、第３の実施形態、及び第４の実施形態の実装詳細は、第１の実施形態の説明に参照されて良く、ここでは詳細に説明されないことに留意されたい。

本開示の第１の実施形態に提供される場所に基づいた情報処理方法に対応して、本開示の実施形態は、場所に基づいた情報処理装置１０００をさらに提供する。図１０を参照すると、装置１０００は、
ユーザーによって入力された注釈情報を受信するための注釈情報受信ユニット１００１と、
携帯端末装置の地理的位置情報を取得するための第１の地理的位置情報取得ユニット１００２と、
サーバに注釈情報及び地理的位置情報を送信して、サーバが地理的位置情報に基づいてユーザーが位置する場所の情報を決定し、注釈情報と、場所においてクエリーを行うユーザーに注釈情報を提供するための場所の情報との間の対応関係を作成し、記憶できるようにするための第１の送信ユニット１００３と、
を含んで良い。

実装では、より正確な位置で注釈情報を提供するために、装置１０００は、
記憶のために対応関係に注釈位置の情報を追加するためにサーバに対して場所における注釈情報の注釈位置の情報を送信し、場所にいて、その視野が注釈位置を含むクエリーを行うユーザーに対して注釈情報を提供するための注釈位置情報送信ユニット１００４と、
をさらに含んで良い。

注釈位置情報送信ユニット１００４は、
ユーザーによって入力される注釈情報を受信する前または後に、場所におけるシーン画像情報をキャプチャするためのシーン画像情報キャプチャサブユニット１００５と、
注釈確認メッセージを受信することに応えて、キャプチャされたシーン画像の特徴情報を抽出し、注釈位置情報としてサーバに特徴情報を送信するための画像特徴情報送信サブユニット１００６と、
を含んで良い。

サーバは、記憶のために対応関係に受信された画像特徴情報を追加する。

代わりに、サーバは事前に場所のために第１の画像特徴ライブラリを作成する。第１の画像特徴ライブラリは、場所における少なくとも１つのランドマークオブジェクトの識別子及び対応する画像特徴を記憶する。シーン画像の画像特徴を受信後、サーバは、場所におけるあるランドマークオブジェクトがその中に含まれるかどうかを判断する。肯定の場合、ランドマークオブジェクトの識別子は記憶のために対応関係に追加される。

代わりに、サーバは事前に場所のために第２の画像特徴ライブラリを確立する。第２の画像特徴ライブラリは、場所の少なくとも１つのランドマークオブジェクトの識別子、対応する画像特徴、及びそれぞれのランドマークオブジェクトに対する各ランドマークオブジェクトの少なくとも１つの選択可能な注釈点の相対座標情報を記憶する。シーン画像の画像特徴を受信後、サーバは、場所におけるあるランドマークオブジェクトがその中に存在するかどうかを判断する。肯定の場合、ランドマークオブジェクトの画像特徴及び関連付けられた注釈点の相対座標情報が返される。

装置１０００は、
ランドマークオブジェクトの受信された画像特徴に基づいて、現在キャプチャされているシーン画像においてランドマークオブジェクトの位置を突き止め、相対座標情報に従ってシーン画像の上部に選択可能な各注釈点を表示するためのランドマークオブジェクト位置決めユニット１００７と、
ユーザーの選択操作を受けた後にサーバに対して選択された注釈点についての情報を送信して、サーバがランドマークオブジェクトの識別子及び選択された注釈点の情報を、注釈情報の注釈位置情報として対応関係に追加し、記憶できるようにするための注釈点情報送信ユニット１００８と、
をさらに含んで良い。

別の実装では、注釈位置情報送信ユニット１００４は、
ユーザーによって入力された注釈情報が受信される前または後に場所においてシーン画像情報をキャプチャするための第１の画像情報キャプチャサブユニット１００９と、
注釈確認メッセージを受信することに応えて、現在キャプチャされているシーン画像の特徴情報を抽出するための第１の特徴情報抽出サブユニット１０１０と、
特徴情報が識別可能なオブジェクトの画像特徴を含むかどうかを判断し、肯定の場合、注釈位置情報としてサーバに識別可能なオブジェクトの画像特徴を送信するための第１の判断サブユニット１０１１と、
をさらに含んで良い。

代わりに、別の実装では、注釈位置情報送信ユニット１００４は、
ユーザーによって入力される注釈情報が受信される前または後に場所においてシーン画像情報をキャプチャするための第２の画像情報キャプチャサブユニット１０１２と、
注釈確認メッセージを受信することに応えて、現在キャプチャされているシーン画像の特徴情報を抽出するための第２の特徴情報抽出サブユニット１０１３と、
特徴情報が識別可能なオブジェクトの画像特徴を含むかどうかを判断するための第２の判断サブユニット１０１４と、
第２の判断サブユニットの判断結果が肯定であることに応えて、注釈情報と識別可能なオブジェクトとの間の相対位置関係情報を取得するための相対位置関係取得サブユニット１０１５と、
識別可能なオブジェクトの画像特徴情報、及び注釈位置情報として相対位置関係情報をサーバに送信するための送信サブユニット１０１６と、
を含んで良い。

実装では、相対位置関係取得サブユニット１０１５は、シーン画像における識別可能なオブジェクトを表す位置点の位置を決定し、ユーザーの操作に従って端末装置の表示画面上の注釈情報の注釈位置点の位置を決定し、座標系を確立するための起点として識別可能なオブジェクトの位置点を使用し、座標系の注釈位置点の座標を決定し、注釈情報と識別可能なオブジェクトとの間の相対位置関係情報として座標を使用して良い。

実際のアプリケーションでは、装置１０００は、
ユーザーのアイデンティティ情報を取得するためのユーザーアイデンティティ情報取得ユニット１０１７と、
ユーザーのアイデンティティ情報をサーバに送信して、サーバが対応関係にアイデンティティ情報を追加し、記憶できるようにするためのユーザーアイデンティティ情報送信ユニット１０１８と、
をさらに含んで良い。

実施形態では、装置１０００は、１つまたは複数のプロセッサ１０１９、入出力インタフェース１０２０、ネットワークインタフェース１０２１、及びメモリ１０２２をさらに含んで良い。

メモリ１０２２は、例えば非永続記憶装置、ランダムアクセスメモリ（ＲＡＭ）、及び／または読み出し専用メモリ（ＲＯＭ）またはフラッシュＲＡＭ等の不揮発性内部記憶等のコンピュータ可読媒体の形であって良い。メモリは、コンピュータ可読媒体の例である。コンピュータ可読媒体は、任意の方法または技術を使用し、情報の記憶を達成して良い、永続性タイプまたは非永続性タイプの取り外し可能なまたは取り外しできない媒体を含んで良い。情報は、コンピュータ可読コマンド、データ構造、プログラムモジュール、または他のデータを含んで良い。コンピュータ記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去・プログラム可能型読み取り専用メモリ（ＥＥＰＲＯＭ）、クイックフラッシュメモリ、または他の内部記憶技術、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、または他の光学記憶装置、磁気カセットテープ、磁気ディスク記憶装置、若しくは他の磁気記憶装置、またはコンピューティングデバイスによってアクセスされて良い情報を記憶するために使用されて良い任意の他の非伝送媒体を含んで良いが、これに限定されるものではない。本明細書に定められるように、コンピュータ可読媒体は、変調されたデータ信号及び搬送波等の一過性の媒体を含まない。

実施形態では、メモリ１０２２は、プログラムユニット１０２３及びプログラムデータ１０２４を含んで良い。プログラムユニット１０２３は、装置１０００の上記の実施形態に記載されるように、上記のユニット及び／またはサブユニットのうちの１つまたは複数を含んで良い。

本開示の第２の実施形態で提供される場所に基づいた情報処理方法に対応して、本開示の実施形態は場所に基づいた処理装置１１００をさらに提供する。図１１を参照すると、装置１１００は、
クエリーを行うユーザーから周囲注釈情報を見るための要求を受信するための表示要求受信ユニット１１０１と、
クエリーを行うユーザーの地理的位置情報を取得するための第２の地理的位置情報取得ユニット１１０２と、
サーバに地理的位置情報を送信して、サーバが、地理的位置情報に基づいてクエリーを行うユーザーが位置する目標場所を決定し、それぞれの注釈情報及び場所情報の間の事前に記憶された対応関係に基づいて目標場所に対応する各注釈情報を決定し、返すための第２の送信ユニット１１０３と、
サーバによってクエリーを行うユーザーに返される各注釈情報を提供するための注釈情報提供ユニット１１０４と、
を含んで良い。

サーバは、注釈情報のそれぞれに対応する注釈位置情報をさらに記憶する。装置１１００は、
場所のシーン画像情報をキャプチャし、サーバに送信して、サーバが、場所にあり、クエリーを行うユーザーの視野の中にある注釈情報を、それによって受信されたシーン画像情報に従って決定するのを容易にするための画像情報キャプチャ送信ユニット１１０５と、
をさらに含んで良い。

実装では、装置１１００は、
サーバによって返された各注釈情報と関連付けられる識別可能なオブジェクトの画像特徴情報を受信し、現在キャプチャされているシーン画像における識別可能なオブジェクトの近くに各注釈情報を相応して表示するための識別可能オブジェクト情報受信ユニット１１０６と、
をさらに含んで良い。

さらに、装置１１００は、
サーバによって返された各注釈情報と関連付けられる識別可能なオブジェクトの画像特徴情報、及び各注釈情報と識別可能オブジェクトとの間の相対位置関係情報を受信し、現在キャプチャされているシーン画像における識別可能なオブジェクトに対応する位置に各注釈情報を相応して表示するための相対位置関係情報受信ユニット１１０７と、
をさらに含んで良い。

さらに、装置１１００は、
サーバによって返された情報が照合された注釈情報を含まない場合、第１のプロンプト情報を提供するための第１のプロンプト情報提供ユニット１１０８であって、第１のプロンプト情報がユーザーに視野を変更するようにプロンプトを出すために使用される、第１のプロンプト情報を提供するための第１のプロンプト情報提供ユニット１１０８と、
をさらに含んで良い。

サーバが情報コンテンツの注釈を付けるユーザーの識別情報を記憶する場合、装置１１００は、
サーバにクエリーを行うユーザーのアイデンティティ情報を送信して、サーバがクエリーを行うユーザーの友達ユーザーのアイデンティティ情報を取得するのを容易にし、ユーザーが現在位置している場所の各情報コンテンツの注釈を付けるユーザーのアイデンティティ情報を取得し、クエリーを行うユーザーの友人ユーザーが存在するかどうかを判断するためのアイデンティティ情報送信ユニット１１０９と、
肯定の場合、場所においてクエリーを行うユーザーの友達ユーザーの注釈情報を返すための返却ユニット１１１０と、
をさらに含んで良い。

さらに、装置１１００は、クエリーを行うユーザーに第２のプロンプト情報を提供するための第２のプロンプト情報提供ユニット１１１１であって、第２のプロンプト情報が、クエリーを行うユーザーが現在の場所に注釈情報を残すことを許されていることを示すために使用される、第２のプロンプト情報提供ユニット１１１１と、
をさらに含んで良い。

実施形態では、装置１１００は１つまたは複数のプロセッサ１１１２、入出力インタフェース１１１３、ネットワークインタフェース１１１４、及びメモリ１１１５をさらに含んで良い。メモリ１１１５は上記説明に説明されたコンピュータ可読媒体の形を含んで良い。

実施形態では、メモリ１１１５はプログラムユニット１１１６及びプログラムデータ１１１７を含んで良い。プログラムユニット１１１６は、装置１１００の上記実施形態に説明される上記のユニット及び／またはサブユニットのうちの１つまたは複数を含んで良い。

本開示の第３の実施形態に提供される場所に基づいた情報処理方法に対応して、本開示の実施形態は場所に基づいた情報処理装置をさらに提供する。図１２を参照すると、装置１２００は、
注釈を付けるクライアント側によってアップロードされる注釈情報、及びユーザーの携帯端末装置の地理的位置情報を受信するための情報受信装置１２０１と、
地理的位置情報に従って、ユーザーが位置する場所についての場所情報を決定するための場所情報決定ユニット１２０２と、
注釈情報と場所情報との間の対応関係を確立し、記憶して、注釈情報のクエリーを行うための要求に含まれる地理的位置情報に基づいて、クエリーを行うユーザーが位置する目標場所を決定することと、クエリーを行うクライアント側からクエリーを行う要求を受信すると、クエリークライアント側に目標場所に対応する注釈情報を返すことを可能にするための記憶ユニット１２０３と、
を含んで良い。

実装では、装置１２００は、
注釈を付けるクライアント側によってアップロードされる場所における注釈情報の注釈位置情報を受信し、記憶のために対応関係に注釈位置情報を追加し、場所にいて、その視野が注釈位置を含むクエリーを行うユーザーに対して注釈情報を提供するための注釈位置情報受信ユニット１２０４と、
をさらに含んで良い。

注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を含む。

代わりに、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像に含まれる識別可能なオブジェクトの画像特徴情報を含む。

さらに代わりに、注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像に含まれる識別可能なオブジェクトの画像特徴情報、及び注釈情報と識別可能なオブジェクトとの間の相対位置関係情報を含む。

実装では、第１の画像特徴ライブラリが事前に場所のために確立されて良く、第１の画像特徴ライブラリは場所における少なくとも１つのランドマークオブジェクトの識別子、及び対応する画像特徴を記憶する。注釈位置情報受信ユニット１２０４は、
注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を受信するための第１の画像特徴情報受信サブユニット１２０５と、
場所におけるランドマークオブジェクトが画像特徴情報に存在するかどうかを判断し、肯定の場合、場所における注釈情報の注釈位置情報としてランドマークオブジェクトの識別子を設定するための第１の決定サブユニット１２０６と、
を含んで良い。

代わりに、第２の画像特徴ライブラリは、事前に場所のために確立され、第２の画像特徴ライブラリは、場所における少なくとも１つのランドマークオブジェクトの識別子、対応する画像特徴、及びそれぞれのランドマークオブジェクトに対して各ランドマークオブジェクトの少なくとも１つの選択可能な注釈点の相対座標情報を記憶する。注釈位置情報受信ユニット１２０４は、
注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を受信するための第２の画像特徴情報受信サブユニット１２０７と、
場所におけるランドマークオブジェクトが画像特徴情報に存在するかどうかを判断し、肯定の場合、ランドマークオブジェクトの画像特徴及びその注釈点（複数の場合がある）の相対座標情報を返すための第２の判断サブユニット１２０８と、
注釈を付けるクライアント側によってアップロードされる選択された注釈点の情報を受信し、注釈情報の注釈位置情報としてランドマークオブジェクトの識別子及び注釈点の情報を設定するための注釈点情報受信ユニット１２０９と、
を含んで良い。

実施形態では、装置１２００は、１つまたは複数のプロセッサ１２１０、入出力インタフェース１２１１、ネットワークインタフェース１２１２、及びメモリ１２１３をさらに含んで良い。メモリ１２１３は、上述の説明に説明されるコンピュータ可読媒体の形を含んで良い。

実施形態では、メモリ１２１３はプログラムユニット１２１４及びプログラムデータ１２１５を含んで良い。プログラムユニット１２１４は、装置１２００の上記実施形態に説明される上記ユニット及び／またはサブユニットのうちの１つまたは複数を含んで良い。

本開示の第４の実施形態に提供される場所に基づいた情報処理方法に対応して、本開示の実施形態は、場所に基づいた情報処理装置をさらに提供する。図１３を参照すると、装置１３００は、
クエリーを行うクライアント側から注釈情報のクエリーを行うための要求を受信するための要求受信ユニット１３０１であって、要求がクエリーを行うユーザーの地理的位置情報を含む、要求受信ユニット１３０１と、
地理的位置情報に従ってクエリーを行うユーザーが位置する目標場所を決定するための目標場所決定ユニット１３０２と、
注釈情報と場所情報との間の事前に確立された対応関係に従って、目標場所に対応する注釈情報を決定し、クエリーを行うクライアント側に注釈情報を返すための注釈情報返却ユニット１３０３と、
を含んで良い。

対応関係は、場所における注釈情報の注釈位置情報をさらに含む。装置１３００は、
現在の場所においてクエリーを行うユーザーのシーン位置情報を取得するためのシーン位置情報取得ユニット１３０４と、
各注釈情報に対応するそれぞれの注釈位置情報に従って照合された注釈情報を取得し、クエリーを行うクライアント側がそれぞれの注釈位置で注釈情報を提供できるようにするためにクエリーを行うクライアント側に照合注釈情報を返すための照合注釈情報取得ユニット１３０５と、
をさらに含んで良い。

注釈位置情報は、注釈を付けるクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を含む。

シーン位置情報取得ユニット１３０４は、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を受信して良い。

照合注釈情報取得ユニット１３０５は、受信された画像特徴情報を各注釈情報に対応する画像特徴情報と比較し、照合された注釈情報を取得して良い。

代わりに、注釈位置情報は、場所における識別可能なオブジェクトの画像特徴情報を含む。

シーン位置情報取得ユニット１３０４は、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を受信して良い。

照合注釈情報取得ユニット１３０５は、受信された画像特徴情報に従って識別可能なオブジェクトが存在するかどうかを判断して、肯定の場合、識別可能なオブジェクトの画像特徴を各注釈情報に対応するそれぞれの識別可能なオブジェクトの画像特徴と比較し、照合注釈情報を取得して良い。

さらに代わりに、注釈位置情報は、場所における識別可能なオブジェクトの画像特徴情報、及び注釈情報と識別可能なオブジェクトとの間の相対位置関係情報を含む。

シーン位置情報取得ユニット１３０４は、クエリーを行うクライアント側によってアップロードされる場所におけるシーン画像の画像特徴情報を受信して良い。

照合注釈情報取得ユニット１３０５は、受信された画像特徴情報に従って識別可能なオブジェクトが存在するかどうかを判断して、識別可能なオブジェクトの画像特徴を各注釈情報に対応するそれぞれの識別可能なオブジェクトの画像特徴と比較し、照合された注釈情報を取得して良い。

この場合、装置１３００は、クエリーを行うクライアント側に、照合された注釈情報に対応する識別可能なオブジェクトの画像特徴情報、及び相対位置関係情報をさらに返して良い。

実施形態では、装置１３００は、１つまたは複数のプロセッサ１３０６、入出力インタフェース１３０７、ネットワークインタフェース１３０８、及びメモリ１３０９をさらに含んで良い。メモリ１３０９は、上記の説明に説明されるコンピュータ可読媒体の形を含んで良い。

実施形態では、メモリ１３０９はプログラムユニット１３１０及びプログラムデータ１３１１をさらに含んで良い。プログラムユニット１３１０は、装置１３００の上記実施形態に説明される上記のユニット及び／またはサブユニットのうちの１つまたは複数を含んで良い。

本開示の実施形態によって、ユーザーは、ユーザーが位置する場所において特定の情報コンテンツに注釈を付けるためにユーザーの携帯端末装置にインストールされたアプリケーションを活用して良い。この種の情報コンテンツはテキストに限られるのではなく、ピクチャまたは音声等であっても良い。したがって、ユーザーの「トレース」は多様な形式の情報コンテンツを介して場所に残されて良い。係る「トレース」は、ユーザーによって表現された感情を反映して良い、またはユーザーが過去のある瞬間に場所において見聞きしたことを記録して良く、特定の場所のいかなる実際の状況に影響されることもなく、このことは本物の紙及びペンを必要とせず、場所の実際の景色に影響を及ぼさない。

上記実施形態の説明から、当業者は、本開示が必要な汎用ハードウェアプラットフォームを有するソフトウェアを使用し、実装できることを明確に理解できる。この理解に基づいて、本開示における技術解決策または既存の技術に貢献する部分の本質は、ソフトウェア製品の形で実装され得る。コンピュータソフトウェア製品は、（パーソナルコンピュータ、サーバ、ネットワークデバイス等であって良い）コンピューティングデバイスに本開示の実施形態または実施形態のある部分に説明される方法を実行するように命令するための複数の命令を含む、読み出し専用メモリ（ＲＯＭ）／ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク、または光ディスク等の記憶媒体に記憶されて良い。

本明細書の実施形態は漸次的に説明されている。参照は、実施形態の同じまたは類似した部分に対して互いになされて良い。各実施形態の強調は他の実施形態の強調とは異なる。特に、装置または装置の実施形態は、基本的に方法の実施形態に類似しているため、相対的に簡略に説明されている。関連性のある部分について、参照は方法実施形態の部分の説明に対してなされて良い。上述されたシステムまたはシステムの実施形態は単に例示的にすぎない。別個の構成要素として説明されるユニットは物理的に分離されることもあれば、分離されないこともある。ユニットとして示される構成要素は、物理ユニットであることもあれば、物理ユニットでないこともあり、単一の場所に位置することもあれば、複数のネットワークユニットの間で分散されることもある。モジュールのいくつかまたはすべては実施形態の解決策の目的を達成するために実際のニーズに従って選択されて良い。当業者は、創作的な努力を行うことなく実施形態を理解し、実装できる。

本開示によって提供される場所に基づいた処理の方法及び装置は上記に詳細に説明される。特定の例は、本開示の原理及び実装を説明するために本明細書で使用されている。ただし、上記実施形態の説明は、本開示の方法及び核となる考えの理解を単に容易にするために使用される。当業者は、本開示の考えに基づいて特定の実装及びアプリケーションの範囲に対して修正を加えることができる。したがって、本明細書の内容は本開示に対する制限として解釈されてはならない。

Claims (19)

1. １つまたは複数のコンピューティングデバイスによって実装される方法であって、
   第１のユーザーによって入力される注釈情報を第１のコンピューティングデバイスにより受信することと、
   前記第１のユーザーによって入力された前記注釈情報を受信する前または後に、前記第１のユーザーが位置する場所においてシーン画像を前記第１のコンピューティングデバイスによりキャプチャすることと、
   少なくとも１つのランドマークオブジェクトの画像特徴を前記第１のコンピューティングデバイスにより受信することと、
   前記受信された画像特徴に少なくとも部分的に基づいて前記キャプチャされたシーン画像において前記少なくとも１つのランドマークオブジェクトの位置を前記第１のコンピューティングデバイスにより突き止めることと、
   前記第１のコンピューティングデバイスの地理的位置情報を前記第１のコンピューティングデバイスにより取得することと、
   サーバに前記注釈情報、及び前記地理的位置情報を前記第１のコンピューティングデバイスにより送信することと、
   を備え、
   前記サーバが、
   前記地理的位置情報に少なくとも部分的に基づいて前記第１のユーザーが位置する場所の情報を決定し、
   前記注釈情報と前記場所の前記情報との間の対応関係を確立して記憶し、
   前記少なくとも１つのランドマークオブジェクトの識別子を前記注釈情報の注釈位置情報として前記対応関係に追加して記憶することであって、前記少なくとも１つのランドマークオブジェクトの前記識別子は前記サーバによって生成される、ことを行い、
   第２のユーザーが前記場所を訪問したときに前記場所において第２のコンピューティングデバイスに前記注釈情報を提供するように構成される、方法。
2. 前記対応関係に注釈位置情報を追加し、記憶するために、前記サーバに前記場所における前記注釈情報の前記注釈位置情報を前記第１のコンピューティングデバイスにより送信することをさらに備え、
   前記サーバが、前記場所において前記第２のコンピューティングデバイスに前記注釈情報を提供することは、前記第２のユーザーの視野が前記注釈位置情報に関連付けられた位置を含むときに前記第２のユーザーに前記注釈情報を提供するようにさらに構成される、請求項１に記載の方法。
3. 前記シーン画像の特徴情報を前記第１のコンピューティングデバイスにより抽出することと、
   前記対応関係に注釈位置情報を追加し、記憶するために前記サーバに前記場所における前記注釈情報の前記注釈位置情報として前記サーバに前記特徴情報を前記第１のコンピューティングデバイスにより送信することと、
   をさらに備える、請求項１に記載の方法。
4. 前記サーバから、前記少なくとも１つのランドマークオブジェクトのうちの各ランドマークオブジェクトに対して少なくとも１つの選択可能な注釈点の相対座標情報を前記第１のコンピューティングデバイスにより受信することと、
   前記相対座標情報に少なくとも部分的に基づいて前記キャプチャされたシーン画像に各ランドマークオブジェクトの前記少なくとも１つの選択可能な注釈点のうちの各選択可能注釈点を前記第１のコンピューティングデバイスにより表示することと、
   選択された注釈点に関連付けられるランドマークオブジェクトの識別子、及び前記対応関係に前記選択された注釈点についての情報を前記注釈情報の注釈位置情報として追加し、記憶するために、前記サーバに前記第１のユーザーの選択操作を受けたことに応えて、前記サーバに前記選択された注釈点の前記情報を前記第１のコンピューティングデバイスにより送信することと、
   をさらに備える、請求項１に記載の方法。
5. 特徴情報が識別可能なオブジェクトの画像特徴を含むかどうかを前記第１のコンピューティングデバイスにより判断することと、
   前記特徴情報が前記識別可能なオブジェクトの前記画像特徴を含むと判断することに応えて、前記対応関係に注釈位置情報を追加し、記憶するために、前記サーバに前記場所における前記注釈情報の前記注釈位置情報として前記サーバに前記識別可能なオブジェクトの前記画像特徴を前記第１のコンピューティングデバイスにより送信することと、
   をさらに備える、請求項１に記載の方法。
6. 特徴情報が識別可能なオブジェクトの画像特徴を含むかどうかを前記第１のコンピューティングデバイスにより判断することと、
   前記特徴情報が前記識別可能なオブジェクトの前記画像特徴を含むと判断することに応えて、前記注釈情報と前記識別可能なオブジェクトとの間の相対位置関係情報を前記第１のコンピューティングデバイスにより取得することと、
   前記対応関係に注釈位置情報を追加し、記憶するために、前記場所における前記注釈情報の前記注釈位置情報として、前記サーバに前記識別可能なオブジェクトの前記画像特徴及び前記相対位置関係情報を前記第１のコンピューティングデバイスにより送信することと、
   をさらに備える、請求項１に記載の方法。
7. 前記注釈情報と前記シーン画像における識別可能なオブジェクトとの間の相対位置関係情報を前記第１のコンピューティングデバイスにより取得することであって、
   前記シーン画像における前記識別可能なオブジェクトを表す第１の位置点を決定することと、
   前記第１のユーザーの操作に少なくとも部分的に基づいて前記第１のコンピューティングデバイスの表示画面に前記注釈情報と関連付けられた第２の位置点を決定することと、
   確立するための起点として前記識別可能なオブジェクトを表す前記第１の位置点を有する座標系を確立することと、
   前記座標系の前記注釈情報と関連付けられた前記第２の位置点の座標を決定することと、
   前記注釈情報と前記識別可能なオブジェクトとの前記相対位置関係情報として前記座標系における前記注釈情報に関連付けられた前記第２の位置点の前記座標を使用することと、
   を含む、ことをさらに備える、請求項１に記載の方法。
8. 前記第１のユーザーのアイデンティティ情報を前記第１のコンピューティングデバイスにより取得することと、
   前記対応関係に前記アイデンティティ情報を追加し、記憶するために前記サーバに前記第１のユーザーの前記アイデンティティ情報を前記第１のコンピューティングデバイスにより送信することと、
   をさらに備える、請求項１に記載の前記方法。
9. １つまたは複数のプロセッサによって実行されるときに、前記１つまたは複数のプロセッサに、
   クエリーを行うユーザーから周囲の注釈情報を見るための要求を第１のコンピューティングデバイスにより受信することと、
   前記クエリーを行うユーザーによって入力された前記注釈情報を前記第１のコンピューティングデバイスにより受信する前または後に、前記クエリーを行うユーザーが位置する場所においてシーン画像を前記第１のコンピューティングデバイスによりキャプチャすることと、
   前記クエリーを行うユーザーの地理的位置情報を前記第１のコンピューティングデバイスにより入手することと、
   サーバが、
   前記地理的位置情報に少なくとも部分的に基づいて前記クエリーを行うユーザーが位置する目標場所を決定すること、
   前記目標場所の情報と、前記目標場所に対応する１つまたは複数の前記注釈情報との事前に記憶されている対応関係に少なくとも部分的に基づいて前記目標場所に対応する前記１つまたは複数の注釈情報及び前記場所における少なくとも１つのランドマークオブジェクトに対応する注釈情報を返すこと、および、
   前記場所における前記少なくとも１つのランドマークオブジェクトが、前記場所における前記シーン画像の画像特徴情報に存在するかどうかを判断すること、
   を可能にするために、前記サーバに前記地理的位置情報及び前記場所における前記シーン画像の画像特徴情報を前記第１のコンピューティングデバイスにより送信することと、
   前記クエリーを行うユーザーに、前記サーバから返される前記目標場所に対応する前記１つまたは複数の前記注釈情報を前記第１のコンピューティングデバイスにより提供することと、
   を含む行為を実行させる実行可能な命令を記憶する１つまたは複数のコンピュータ可読媒体。
10. 前記行為が、
    前記目標場所に対応する前記各注釈情報と関連付けられる識別可能なオブジェクトの画像特徴情報を第２のコンピューティングデバイスにより受信することと、
    前記クエリーを行うユーザーの端末装置に示されるシーン画像における前記識別可能なオブジェクトの回りに前記各注釈情報を前記第２のコンピューティングデバイスにより表示することと、
    をさらに含む、請求項９に記載の１つまたは複数のコンピュータ可読媒体。
11. 前記行為が、
    前記目標場所に対応する前記各注釈情報と関連付けられる識別可能なオブジェクトの画像特徴情報を第２のコンピューティングデバイスにより受信することと、
    前記目標場所に対応する前記各注釈情報と前記識別可能なオブジェクトとの間の相対位置関係情報を前記第２のコンピューティングデバイスにより受信することと、
    前記クエリーを行うユーザーの端末装置に示されるシーン画像における前記識別可能なオブジェクトに対して対応する位置で前記目標場所に対応する前記各注釈情報を前記第２のコンピューティングデバイスにより表示することと、
    をさらに含む、請求項９に記載の１つまたは複数のコンピュータ可読媒体。
12. 前記行為が、
    前記１つまたは複数の前記注釈情報が調和した注釈情報を含まない場合、プロンプト情報を提供することであって、前記プロンプト情報が視野を変更するように前記クエリーを行うユーザーに指示する、プロンプト情報を前記第２のコンピューティングデバイスにより提供することをさらに含む、請求項９に記載の１つまたは複数のコンピュータ可読媒体。
13. 前記行為が、前記クエリーを行うユーザーの１人または複数の友人ユーザーのアイデンティティ情報を入手するために前記サーバに前記クエリーを行うユーザーのアイデンティティ情報を１つまたは複数のコンピューティングデバイスにより送信することをさらに含み、前記目標場所に対応する前記１つまたは複数の前記注釈情報のうちの少なくとも１つが、前記１人または複数の友人ユーザーのうちの少なくとも１人のユーザーについて注釈を付けるアイデンティティ情報を含む、請求項９に記載の１つまたは複数のコンピュータ可読媒体。
14. 前記行為が、前記クエリーを行うユーザーに、前記目標場所に新しい注釈情報を残すようにプロンプトを出すために前記クエリーを行うユーザーにプロンプト情報を前記第１のコンピューティングデバイスにより提供することをさらに含む、請求項９に記載の１つまたは複数のコンピュータ可読媒体。
15. １つまたは複数のプロセッサと、
    メモリと、
    注釈を付けるクライアント側によってアップロードされる注釈情報及びユーザーの携帯端末装置の地理的位置情報を受信するために、前記メモリに記憶され、前記１つまたは複数のプロセッサによって実行可能な情報受信ユニットと、
    前記地理的位置情報に少なくとも部分的に基づいて、前記ユーザーが位置する場所の場所情報を決定するために、前記メモリに記憶され、前記１つまたは複数のプロセッサによって実行可能な場所情報決定ユニットと、
    前記場所のために確立された第１の画像特徴ライブラリであって、前記第１の画像特徴ライブラリが、前記場所における少なくとも１つのランドマークオブジェクトの識別子、及び対応する画像特徴を記憶する、第１の画像特徴ライブラリと、
    前記注釈情報と前記地理的位置情報との間の対応関係を確立し、記憶するために、前記メモリに記憶され、前記１つまたは複数のプロセッサによって実行可能な記憶ユニットと、
    注釈位置情報受信ユニットであって、
    前記注釈を付けるクライアント側によってアップロードされる前記場所におけるシーン画像の画像特徴情報を受信するための画像特徴情報受信サブユニットと、
    前記場所における前記少なくとも１つのランドマークオブジェクトが前記画像特徴情報に存在するかどうかを判断し、肯定の場合、前記場所における前記注釈情報の注釈位置情報として前記少なくとも１つのランドマークオブジェクトの前記識別子を設定するための判断サブユニットと、
    を備える、注釈位置情報受信ユニットと、
    を備える、装置。
16. 前記対応関係が、前記注釈情報についてクエリーを行う要求に含まれる地理的位置情報に少なくとも部分的に基づいてクエリーを行うユーザーが位置する目標場所を決定することと、前記クエリーを行うクライアントから前記要求を受信することに応えて前記クエリーを行うクライアントに前記目標場所に対応する前記注釈情報を返すことと、を可能にする、請求項１５に記載の装置。
17. 前記注釈位置情報受信ユニットは、前記１つまたは複数のプロセッサによって、
    前記注釈を付けるクライアント側によってアップロードされる前記場所における前記注釈情報の注釈位置情報を受信する、
    前記対応関係に前記注釈位置情報を追加し、記憶する、
    クエリーを行うユーザーと関連付けられた視野が前記注釈位置を含むことに応えて、前記場所において前記クエリーを行うユーザーに前記注釈情報を提供する、
    ようにさらに実行可能である、請求項１５に記載の装置。
18. 前記注釈位置情報が、
    前記注釈を付けるクライアント側によってアップロードされる前記場所におけるシーン画像の画像特徴情報と、
    前記注釈を付けるクライアント側によってアップロードされる前記場所におけるシーン画像に含まれる識別可能なオブジェクトの画像特徴情報と、
    前記注釈情報と前記識別可能なオブジェクトとの間の相対位置関係情報と、
    のうちの１つまたは複数を備える、請求項１７に記載の装置。
19. 前記場所のために確立された第２の画像特徴ライブラリをさらに備え、前記第２の画像特徴ライブラリが、前記場所における少なくとも１つのランドマークオブジェクトの識別子、対応する画像特徴、及び前記ランドマークオブジェクトに対して各ランドマークオブジェクトと関連付けられた少なくとも１つの選択可能な注釈点の相対座標情報を記憶し、前記注釈位置情報受信ユニットが、
    前記注釈を付けるクライアント側によってアップロードされる前記場所におけるシーン画像の画像特徴情報を受信するための画像特徴情報受信サブユニットと、
    前記場所における前記少なくとも１つのランドマークオブジェクトが前記画像特徴情報に存在するかどうかを判断し、肯定の場合、前記少なくとも１つのランドマークオブジェクトの画像特徴、及び前記少なくとも１つのランドマークオブジェクトのうちの１つまたは複数の注釈点の相対座標情報を返すための判断サブユニットと、
    前記注釈を付けるクライアント側によってアップロードされる選択された注釈点の情報を受信し、前記注釈情報の前記注釈位置情報として前記少なくとも１つのランドマークオブジェクトの前記識別子及び前記注釈点の前記情報を設定するための注釈点情報受信ユニットと、
    を備える、請求項１７に記載の装置。