JP6634173B2 - 画像注釈情報の処理方法、装置およびシステム - Google Patents

Description

本発明は、電子地図技術の分野に関し、特に、画像注釈情報の処理方法、装置およびシステムに関する。

電子地図では、関心地点（Ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ、ＰＯＩ）が地理情報システムの重要な要素の１つであり、都市建設の急速な発展に伴い、電子地図内のデータも、日々変化しており、ＰＯＩ情報の正確さに対するユーザーの要求が益々高くなってきているため、電子地図販売業者がＰＯＩを迅速かつ正確に採取する能力は、特に重要である。

関連技術では、電子地図における関心地点などのデータの採取は、専門のチームによってデータ採取が行われ、データが前処理された後、専門のモバイルデバイスによって包括的に記憶され、リムーバブル記憶媒体によってデータの転送が行われる。転送後、データ処理チームによって専門のツールを使用してデータを処理して、正確なＰＯＩデータ情報を抽出し、地図上のＰＯＩデータの更新を実現するが、このような方式により、データの採取からデータの処理終了まで時間がかかるだけでなく、専門のチームは多くの時間を費やし、効率が悪い。

本発明の目的は、関連技術における少なくとも１つの技術的課題をある程度で解決することである。
そのため、本発明は、端末の撮影画像を取得して、端末の撮影画像に現れる対象に対して重複しているか判定する処理を行い、その結果に基づいて電子地図内の対応する位置に注釈をつけることにより、端末の撮影画像に現れる対象の迅速な認識および処理を実現し、電子地図によって関心地点の情報を取得する効率を向上させる画像注釈情報の処理方法を提供することを第１の目的とする。
本発明は、画像注釈情報の処理装置を提供することを第２の目的とする。
本発明は、サーバを提供することを第３の目的とする。
本発明は、画像注釈情報の処理システムを提供することを第４の目的とする。
本発明、非一時的コンピュータ読み取り可能な記憶媒体を提供することを第５の目的とする。
本発明は、コンピュータプログラム製品を提供することを第６の目的とする。

上記目的を達成するために、本発明の第１の側面の実施例は、端末から撮影画像および対応する撮影位置を取得するステップと、前記撮影画像に対して対象認識を行い、前記撮影画像に現れる第１の対象を決定するステップと、前記撮影位置に関連付けられた履歴画像において、前記第１の対象が現れた第１のターゲット画像をクエリするステップと、前記第１のターゲット画像がクエリされた場合、前記第１の対象が電子地図内の注釈情報と重複していると決定するステップと、前記第１のターゲット画像がクエリされなかった場合、前記撮影位置に基づいて、電子地図内の対応する位置に前記第１の対象に対して注釈をつけるステップと、を含む画像注釈情報の処理方法を提供する。

上記目的を達成するために、本発明の第２の側面の実施例は、クライアントから撮影画像および対応する撮影位置を取得する取得モジュールと、前記撮影画像に対して対象認識を行い、前記撮影画像に現れる第１の対象を決定する決定モジュールと、前記撮影位置に関連付けられた履歴画像において、前記第１の対象が現れた第１のターゲット画像をクエリするクエリモジュールと、前記第１のターゲット画像がクエリされた場合、前記第１の対象が電子地図内の注釈情報と重複していると決定し、前記第１のターゲット画像がクエリされなかった場合、前記撮影位置に基づいて、電子地図内の対応する位置に前記第１の対象に対して注釈をつける処理モジュールと、を含む画像注釈情報の処理装置を提供する。

上記目的を達成するために、本発明の第３の側面の実施例は、メモリと、プロセッサと、メモリに記憶され且つプロセッサで動作可能なコンピュータプログラムと、を含むサーバを提供し、前記プロセッサが前記プログラムを実行するとき、前述した方法の実施例に記載の画像注釈情報の処理方法が実現される。

上記目的を達成するために、本発明の第４の側面の実施例は、撮影画像を取得し、前記撮影画像および対応する撮影位置情報をサーバに送信する端末と、前記撮影画像および対応する撮影位置に基づいて、前述した方法の実施例に記載の画像注釈情報の処理方法を実行する前記サーバと、を含む画像注釈情報の処理システムを提供する。

上記目的を達成するために、本発明の第５の側面の実施例は、コンピュータプログラムが記憶されている非一時的コンピュータ読み取り可能な記憶媒体を提供し、当該プログラムがプロセッサによって実行されるとき、前述した方法の実施例に記載の画像注釈情報の処理方法が実現される。

上記目的を達成するために、本発明の第６の側面の実施例は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品における命令がプロセッサによって実行されるとき、前述した方法の実施例に記載の画像注釈情報の処理方法が実行される。

本発明によって提供される技術的解決策は、以下の有益な効果を含むことができる。
端末から撮影画像および対応する撮影位置を取得し、撮影画像に対して対象認識を行い、撮影画像に現れる第１の対象を決定し、撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリし、第１のターゲット画像がクエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定し、第１のターゲット画像がクエリされなかった場合、撮影位置に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。端末の撮影画像を取得して、端末の撮影画像に現れる対象に対して重複しているか判定する処理を行い、その結果に基づいて電子地図内の対応する位置に注釈をつけることにより、端末の撮影画像に現れる対象の迅速な認識および処理を実現し、電子地図によって関心地点の情報を取得する効率を向上させる。

本発明の前述したおよび／または付加的な特徴および利点は、以下に図面を参照して実施例を説明することにより、明らかになり、理解され易くなる。
本発明の実施例によって提供される画像注釈情報の処理方法の概略フローチャートである。 本発明の実施例によって提供される他の画像注釈情報の処理方法の概略フローチャートである。 本発明の実施例によって提供される撮影画像の認識結果の概略図である。 本発明の実施例によって提供される領域画像の概略図である。 本発明の実施例によって提供される他の画像注釈情報の処理方法の概略フローチャートである。 本発明の実施例によって提供される対象間隣接関係の概略図である。 本発明の実施例によって提供される画像注釈情報の処理装置の概略構成図である。 本発明の実施例によって提供される画像注釈情報の処理システムの概略構成図である。 本出願の実施形態の実現に使用するのに適した例示的なコンピュータ装置のブロック図である。

以下に本発明の実施例を詳細に説明し、前記実施例の例が図面に示されており、同一数字または類似の符号は、常に同一または類似の要素または同一または類似の機能を有する要素を示す。図面を参照して以下に説明される実施例は、例示するものであり、本発明を解釈するためのものであり、本発明を限定するものと理解してはいけない。

以下に図面を参照しながら本発明の実施例に係る画像注釈情報の処理方法、装置およびシステムを説明する。

図１は、本発明の実施例によって提供される画像注釈情報の処理方法の概略フローチャートである。
図１に示すように、当該方法は、以下のステップ１０１〜ステップ１０５を含む。

ステップ１０１において、端末から撮影画像および対応する撮影位置を取得する。ここで、端末は、画像取得モジュールを搭載したモバイル端末、例えば、携帯電話、カメラ、ｉＰａｄ（登録商標）などである。

具体的には、サーバが端末から撮影画像を取得する前に、端末は、画像採取モジュールにより撮影画像を取得し、撮影画像を採取するとともに、測位して撮影位置情報を取得する。一実現可能な方式として、端末におけるグローバル測位システムＧＰＳモジュールを呼び出してリアルタイムに測位して、現在の撮影位置情報を取得することができる。他の一実現可能な方式として、端末と基地局との間の通信によって現在の撮影位置情報を取得することもできる。撮影位置情報を取得する方法は、本実施例において限定されない。

ステップ１０２において、撮影画像に対して対象認識を行い、撮影画像に含まれる第１の対象を決定する。ここで、撮影画像に現れる対象が複数である可能性があり、容易に区分するために、撮影画像に現れた対象をそれぞれ第１の対象および第２の対象として記録し、第２の対象は、第１の対象とは異なる。

具体的には、サーバは、取得された撮影画像に対して対象認識を行い、一実現可能な方式として、撮影画像の特徴抽出を行い、対象が現れた領域を決定し、光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）技術により領域内の対象を抽出し、第１の対象を抽出することができる。

ステップ１０３において、撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリする。第１のターゲット画像は、電子地図の情報データベースに記憶されている第１の対象物が現れた画像を指すものであり、説明の便宜上、第１のターゲット画像と呼ぶ。同様に、その他の対象を含む画像について、第２のターゲット画像と呼んでもよく、順番に類推する。

具体的には、撮影画像に対応する撮影位置に基づいて、地図情報データベース内で関連付けられた履歴画像をクエリし、第１の対象が現れた第１のターゲット画像をクエリする。

ステップ１０４において、第１のターゲット画像がクエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定する。具体的には、履歴画像において第１の対象が現れた第１のターゲット画像がクエリされた場合、電子地図において第１の対象の注釈が既につけられていると決定し、第１の対象が重複した注釈情報であり、注釈をつける必要はない。

ステップ１０５において、第１のターゲット画像がクエリされなかった場合、撮影位置に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。具体的には、履歴画像において第１のターゲット画像がクエリされなかった場合、第１の対象が新しい注釈情報となり、撮影位置情報に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつけて、電子地図における関心地点情報の更新を実現し、更新の効率を向上させる。

本発明の実施例に係る画像注釈情報の処理方法において、端末から撮影画像および対応する撮影位置を取得し、撮影画像に対して対象認識を行い、撮影画像に現れる第１の対象を決定し、撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリし、第１のターゲット画像がクエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定し、第１のターゲット画像がクエリされなかった場合、撮影位置情報に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。端末の撮影画像を取得して、端末の撮影画像に現れる対象に対して重複しているか判定する処理を行い、その結果に基づいて電子地図内の対応する位置に注釈をつけることにより、端末の撮影画像に現れる対象の迅速な認識および処理を実現し、電子地図によって関心地点の情報を取得する効率を向上させる。

上記の実施例では、サーバが端末から撮影画像を取得し、撮影画像から認識して取得された第１の対象が電子地図内の重複した注釈情報であるか否かを判断し、重複した注釈情報でない場合に電子地図において注釈をつける。サーバによって認識された第１の対象の正確さをさらに向上させるために、第１の対象が認識された後に端末に送信して確認させることができる。そのため、本実施例は、他の画像注釈情報の処理方法を提供し、図２は、本発明の実施例によって提供される他の画像注釈情報の処理方法の概略フローチャートである。

図２に示すように、当該方法は、以下のステップ２０１〜ステップ２１１を含む。

ステップ２０１において、端末から撮影画像および対応する撮影位置を取得する。ステップ２０２において、撮影画像に対して対象認識を行い、撮影画像に現れる第１の対象を取得する。ここで、撮影画像に含まれる認識する対象は、電子地図内の地図要素、例えば関心地点などに対応しており、これらの関心地点は、現実世界では広告看板の形で存在する。従って、本実施例では、撮影画像に含まれる広告看板を認識し、認識された広告看板内の対応する対象を例とし、具体的に説明する。

具体的には、サーバは、端末から取得された撮影画像に対して対象認識を行い、図３は、本発明の実施例によって提供される撮影画像の認識結果の概略図であり、図３に示すように、左側の画像は、端末から取得された撮影画像であり、右側の画像は、サーバが撮影画像の看板情報に対して特徴情報を抽出して、右側の画像内の看板情報を認識し、撮影画像に現れる第１の対象である「嘉和一品」を取得する。

なお、撮影画像から認識された撮影画像に現れる第１の対象は、便利蜂であってもよい。図３の右側の画像内の数字「１．０００」は、文字認識の信頼度を表し、文字認識結果の正確さを指示するものである。

ステップ２０３において、検証メッセージを端末に送信する。具体的には、サーバは、認識の結果に基づいて、検証メッセージを端末に送信し、検証メッセージは、サーバが撮影画像に対して対象認識を行うことによって取得された第１の対象を指示するためのものである。

ステップ２０４において、端末から確認メッセージを受信し、撮影画像に現れる第１の対象を決定する。具体的には、サーバは、端末から確認メッセージを受信し、確認メッセージは、撮像画像に第１の対象が現れていることを確認するためのものであり、端末のユーザの確認により、認識された第１の対象の正確さが向上し、その後のデータ処理の複雑さおよびコストが削減され、処理効率が向上する。

ステップ２０５において、撮影位置に関連づけられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリする。ここで、第１のターゲット画像にも第１の対象が現れている。撮影位置に基づいて、電子地図のデータベースにおいて、撮影位置に関連づけられた履歴画像おける、第１の対象が現れた第１のターゲット画像を検索し、撮影画像から抽出された第１の対象の重複性の判定を行うことにより、データの重複的注釈が防止され、その後のデータ処理の効率および正確さが向上する。

ステップ２０６において、第１のターゲット画像がクエリされたか否かを判断し、クエリされた場合、ステップ２０９に進み、クエリされなかった場合、ステップ２０７に進む。ステップ２０７において、撮影位置に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。ステップ２０８において、撮像画像から、第１の対象が現れた領域画像を抽出し、第１の対象の領域画像を撮影位置に関連づけ、第１の対象の領域画像を履歴画像に追加する。

具体的には、電子地図内の対応する位置に第１の対象に対して注釈をつけた後、撮影画像から、第１の対象が現れた領域画像を抽出し、図４は、本発明の実施例によって提供される領域画像の概略図であり、図４に示すように、図に示されたのが第１の対象である「嘉和一品」の領域画像であり、第１の対象が現れた領域画像を撮影位置に関連づけ、当該領域画像を履歴画像に追加して、電子地図内の関心地点データの更新を実現する。

ステップ２０９において、第１の対象が電子地図内の注釈情報と重複していると決定する。ステップ２１０において、撮影画像から、第１の対象が現れた領域画像を抽出する。ステップ２１１において、第１の対象の領域画像と第１のターゲット画像との間に差異がある場合、第１の対象の領域画像を用いて第１のターゲット画像を入れ替える。

具体的には、第１の対象が電子地図内の注釈情報と重なっていると判断された場合、撮影画像から、第１の対象が現れた領域画像を抽出し、図４に示すように、第１の対象の領域画像と第１のターゲット画像との特徴比較を行い、第１の対象の領域画像と第１のターゲット画像との間に差異がある場合、例えば、第１の対象の領域画像において、第１の対象に対応するフォントサイズ、色などが変化した場合、または第１の対象の領域画像の背景が変化した場合、いずれも最も新しく取得された第１の対象の領域画像と、履歴画像における第１のターゲット画像との間に差異が存在することになり、第１のターゲット画像を更新する必要があり、第１の対象の領域画像を用いて第１のターゲット画像を入れ替え、第１の対象の地図データ内の対応する画像の更新を実現する。

本発明の実施例に係る画像注釈情報の処理方法において、サーバは、端末から撮影画像および対応する撮影位置を取得し、撮影画像に対して対象認識を行い、認識の結果を端末に送信して確認させ、端末の確認の結果に基づいて、撮影画像に現れる第１の対象を決定し、端末の確認により、その後のサーバで処理されたデータの正確さが向上し、データ処理の効率が向上する。撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリし、クエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定し、撮像画像から第１の対象が現れた領域画像を抽出し、第１の対象の領域画像と第１のターゲット画像との間に差異がある場合、第１の対象の領域画像を用いて第１のターゲット画像を入れ替え、第１の対象が重複した情報である場合、第１の対象の電子地図内の対応する画像の更新を実現し、すなわち、電子地図のデータの更新を実現する。第１のターゲット画像がクエリされなかった場合、撮影位置情報に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつけ、抽出された第１の対象の領域画像を撮影位置に関連付け、第１の対象の領域画像を履歴画像に追加して、電子地図内のデータの更新を実現する。端末とサーバーとの間のリアルタイムなインタラクションを通じて、端末の撮影画像に現れる対象の迅速な認識および処理を実現し、電子地図によって関心地点情報を取得する効率および正確さを向上させる。

上記実施例において、撮影画像の認識を行って第１の対象を取得した場合、認識された第１の対象および撮影位置に基づいて、電子地図において情報の注釈をつける処理方法について説明したが、実際の活用において、端末の撮影画像に含まれる対象が第１の対象だけでなく、隣接する第２の対象も含まれる場合がある。そのため、本発明の実施例は、ほかの画像注釈情報的処理方法をさらに提供する。図５は、本発明の実施例によって提供される他の画像注釈情報の処理方法の概略フローチャートである。図５に示すように、図１に対応する実施例に基づいて、ステップ１０２の後に、当該方法は、以下のステップ５０１〜ステップ５０４をさらに含む。

ステップ５０１において、撮影画像に第１の対象と異なる第２の対象がさらに現れる場合、第１の対象と第２の対象との隣接関係を決定する。具体的には、図３に示すように、撮影画像に、第１の対象の「嘉和一品」と異なる第２の対象の「便利蜂」も含まれると、第２の対象と第１の対象との隣接関係を決定し、例えば、第２の対象の「便利蜂」と第１の対象の「嘉和一品」とは、図３に示すような隣接関係である。

ステップ５０２において、履歴画像に現れた各対象において、第１の対象とは隣接関係に一致する第３の対象を決定する。具体的には、撮影位置に基いて、関連づけられた履歴画像を検索し、履歴画像に現れた各対象において、第１の対象とは隣接関係に一致する第３の対象を決定する。図６は、本発明の実施例によって提供される対象間の隣接関係の概略図である。図６に示すように、履歴画像において第１の対象とは隣接関係に一致する第３の対象の「李連貴焙り肉大餅」を検索し、第３の対象の「李連貴焙り肉大餅」と第１の対象の「嘉和一品」との隣接関係と、撮影画像において取得された第２の対象の「便利蜂」と第１の対象の「嘉和一品」との隣接関係とが同じであることを決定する。ここで、図６の左側の画像における数字「０.９９７」、「０.９９９」も文字認識の信頼度を表し、文字認識結果の正確さを指示するものである。

ステップ５０３において、電子地図において、第２の対象を用いて第３の対象を入れ替えて注釈をつける。具体的には、撮影画像が最も新しく取得された画像であるため、それに含まれる第１の対象と第２の対象とは、いずれも最も新しい対象情報であり、第２の対象と第３の対象との特徴比較を行い、一実現可能な方式として、ＯＣＲ認識技術により第２の対象と第３の対象とを取得し、第２の対象と第３の対象とが同じでない情報であると決定した場合、電子地図において、第２の対象を用いて第３の対象を入れ替えて注釈をつけ、電子地図内の関心地点データの更新を実現し、電子地図内の関心地点の更新効率を向上させる。

例えば、撮影画像に、第１の対象の「嘉和一品」と隣接関係を有する第２の対象の「便利蜂」が存在した場合、電子地図の履歴画像に現れる各対象から、第１の対象の「嘉和一品」と隣接関係を有する第３の対象の「李連貴焙り肉大餅」が検索されると、直前に取得された第２の対象の「便利蜂」を用いて履歴データにおける第３の対象の「李連貴焙り肉大餅」を入れ替え、電子地図内の関心地点の情報更新を実現し、電子地図内の関心地点の情報更新の効率を向上させる。

ステップ５０４において、第２の対象の領域画像を用いて第２のターゲット画像を入れ替え、第１の対象と第２の対象との隣接関係を記憶する。具体的には、履歴画像において、第３の対象が現れた第２のターゲット画像を決定し、撮影画像から、第２の対象が現れた領域画像を抽出し、第２の対象の領域画像を用いて第２のターゲット画像を入れ替え、第１の対象と第２の対象との隣接関係を記憶する。

本発明の実施例に係る画像注釈情報の処理方法において、撮影画像に、第１の対象と異なる第２の対象が存在する場合、第２の対象と第１の対象との隣接関係を決定し、履歴画像に現れた各対象において、第１の対象と同じ隣接関係に一致する第３の対象を検索して決定し、電子地図において直前に採取された第２の対象を用いて第３の対象を入れ替え、第２の対象の領域画像を用いて、第３の対象を含むターゲット画像を入れ替えるとともに、第１の対象と第２の対象との隣接関係を記憶し、端末によって撮影画像をリアルタイムに取得し、撮影画像に現れる対象情報を用いて、電子地図内の対象データを更新し、電子地図内の関心地点の情報更新の効率を向上させる。

上記実施例を実現するために、本発明は、画像注釈情報の処理装置をさらに提供する。
図７は、本発明の実施例によって提供される画像注釈情報の処理装置の概略構成図である。

図７に示すように、当該装置は、取得モジュールと、決定モジュールと、クエリモジュールと、処理モジュールと、を含む。取得モジュールは、クライアントから撮影画像および対応する撮影位置を取得する。決定モジュールは、撮影画像に対して対象認識を行い、撮影画像に現れる第１の対象を決定する。クエリモジュールは、撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリする。処理モジュールは、第１のターゲット画像がクエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定し、第１のターゲット画像がクエリされなかった場合、撮影位置に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。

さらに、本発明の実施例の一実現可能な方式において、当該装置は、撮影画像から、第１の対象が現れ領域画像を抽出し、第１の対象の領域画像と第１のターゲット画像との間に差異がある場合、第１の対象の領域画像を用いて第１のターゲット画像を入れ替える抽出入れ替えモジュールをさらに含む。

本発明の実施例の一実現可能な方式において、当該装置は、撮像画像から、第１の対象が現れた領域画像を抽出し、第１の対象の領域画像を撮影位置に関連づけ、第１の対象の領域画像を履歴画像に追加する抽出追加モジュールをさらに含む。

本発明の実施例の一実現可能な方式において、当該装置は、第１の対象を指示するための検証メッセージを端末に送信する送信モジュールと、端末から、撮影画像に第１の対象が現れていることを確認するための確認メッセージを受信する受信モジュールと、をさらに含む。

本発明の実施例の一実現可能な方式において、当該装置は、撮影画像には第１の対象と異なる第２の対象がさらに現れる場合、第１の対象と第２の対象との隣接関係を決定し、履歴画像に含まれる各対象において、第１の対象とは隣接関係に一致する第３の対象を決定する決定サブモジュールと、電子地図において、第２の対象を用いて第３の対象を入れ替えて注釈をつける入れ替えモジュールと、をさらに含む。

本発明の実施例の一実現可能な方式において、当該装置は、履歴画像において、第３の対象が現れた第２のターゲット画像を決定し、撮影画像から、第２の対象が現れた領域画像を抽出し、第２の対象の領域画像を用いて第２のターゲット画像を入れ替え、第１の対象と第２の対象との隣接関係を記憶する決定記憶モジュールをさらに含む。

なお、方法の実施例に関する前述した説明が当該実施例の装置にも適するため、本明細書では説明を省略する。画像注釈情報の処理装置のモジュールの上記分割は、例示するものに過ぎなく、他の実施形態では、必要に応じて画像注釈情報の処理装置を他のモジュールに分割して、画像注釈情報の処理装置の全部または一部の機能を実現することができる。

本発明の実施例に係る画像注釈情報の処理装置において、端末から撮影画像および対応する撮影位置を取得し、撮影画像に対して対象認識を行い、撮影画像に現れる第１の対象を決定し、撮影位置に関連付けられた履歴画像において、第１の対象が現れた第１のターゲット画像をクエリし、第１のターゲット画像がクエリされた場合、第１の対象が電子地図内の注釈情報と重複していると決定し、第１のターゲット画像がクエリされなかった場合、撮影位置情報に基づいて、電子地図内の対応する位置に第１の対象に対して注釈をつける。端末の撮影画像を取得して、端末の撮影画像に現れる対象に対して重複しているか判定する処理を行い、その結果に基づいて電子地図内の対応する位置に注釈をつけることにより、端末の撮影画像に現れる対象の迅速な認識および処理を実現し、電子地図によって関心地点の情報を取得する効率を向上させる。

上記実施例を実現するために、本発明は、画像注釈情報の処理システムをさらに提供する。図８は、本発明の実施例によって提供される画像注釈情報の処理システムの概略構成図である。図８に示すように、当該システムは、端末８１と、サーバ８２と、を含む。端末８１は、撮影画像を取得し、撮影画像および対応する撮影位置をサーバ８２に送信する。サーバ８２は、撮影画像および対応する撮影位置に基いて、前述した方法の実施例に記載の画像注釈情報の処理方法を実行する。

本発明の実施例の他の一実現可能な方式において、端末８１は、さらに、サーバ８２によって送信された、サーバ８２が撮影画像に対して対象認識を行うことによって取得された第１の対象を指示するための検証メッセージを受信し、撮影画像に第１の対象の情報を表示し、ユーザの操作に応答して、撮影画像に第１の対象が現れていることを確認したとき、サーバ８２に確認メッセージを送信する。

本発明の実施例によって提供される画像注釈情報の処理システムにおいて、サーバは、端末から撮影画像を取得し、撮影画像から認識された第１の対象を端末に送信して、端末に第１の対象を確認させ、確認情報をサーバに送信し、サーバが端末の確認情報を受信した後、撮影画像から認識して取得された第１の対象が電子地図内の重複した注釈情報であるか否かを判断し、重複した注釈情報でない場合に電子地図内において注釈をつけ、サーバによって認識された第１の対象の正確さを向上させ、サーバがデータを処理する効率を向上させる。

上記実施例を実現するために、本発明の実施例は、コンピュータプログラムが記憶されている非一時的コンピュータ読み取り可能な記憶媒体を提供し、該プログラムがプロセッサによって実行されるとき、前述した方法の実施例に記載の画像注釈情報の処理方法が実現される。

上記実施例を実現するために、本発明の実施例は、コンピュータプログラム製品を提供し、前記コンピュータプログラム製品における命令がプロセッサによって実行されるとき、前述した方法の実施例に記載の画像注釈情報の処理方法が実行される。

図９は、本出願の実施形態の実現に使用するのに適した例示的なコンピュータ装置のブロック図である。図９に示すコンピュータ装置１２は、一例に過ぎなく、本願の実施例の機能や使用範囲を限定するものではない。

図９に示すように、コンピュータ装置１２は、汎用計算装置の形で具体化されている。コンピュータ装置１２の構成要素は、１つまたは複数のプロセッサまたは処理ユニット１６、システムメモリ２８、（システムメモリ２８および処理ユニット１６を含む）異なるシステム構成要素を接続するバス１８を含んでもよいが、これらに限定されない。

バス１８は、いくつかのタイプのバス構造のうちの１つまたは複数を表し、メモリバスまたはメモリコントローラ、周辺バス、グラフィックスアクセラレーションポート、プロセッサまたは複数種類のバス構成のうちいずれかのバス構成を使用するローカルバスを含む。例えば、これらのアーキテクチャは、業界標準のアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，以下ＩＳＡと略する）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ，以下ＭＡＣと略する）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダードアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ，以下ＶＥＳＡと略する）ローカルバス、および周辺機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ，以下ＰＣＩと略する）バスを含むが、これらに限定されない。

コンピュータ装置１２は、通常、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、コンピュータ装置１２によってアクセス可能な任意の利用可能な媒体であって、揮発性および非揮発性媒体、移動可能および非移動可能な媒体を含む。

メモリ２８は、揮発性メモリ形態のコンピュータシステム読み取り可能な媒体、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，以下ＲＡＭと略する）３０および／またはキャッシュメモリ３２を含んでもよい。コンピュータ装置１２は、他の移動可能/非移動可能な、揮発性/非揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単に例として、ストレージシステム３４は、非移動可能な非揮発性磁気媒体（図９に図示せず、通常「ハードディスクドライバ」と呼ばれる）に読み取り/書き込みするためのものである。図９に図示されていないが、移動可能な非揮発性磁気ディスク（例えば、「フロッピー」）に読み出し/書き込みするための磁気ディスクドライバ、および移動可能な非揮発性ＣＤ（例えば、コンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，以下ＣＤ-ＲＯＭと略する）、デジタルビデオディスク読み出し専用メモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ，以下ＤＶＤ-ＲＯＭと略する）または他の光媒体）に読み出し/書き込みするためのＣＤドライバを提供することができる。これらの場合、各ドライバは、１つまたは複数のデータ媒体インタフェースを介してバス１８に接続することができる。メモリ２８は、少なくとも１つのプログラム製品を含み、当該プログラム製品は、一群（例えば、少なくとも１つ）のプログラムモジュールを備え、これらのプログラムモジュールは本発明の各実施例の機能を実行するように構成されてもよい。

１群（少なくとも１つ）のプログラムモジュール４２を備えるプログラム/ユーティリティ４０は、例えば、メモリ２８に記憶されてもよい。このようなプログラムモジュール４２は、オペレーティングシステム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュールおよびプログラムデータを含むが、これに限定されない。これらの例のそれぞれまたはある組み合わせには、ネットワーク環境の実装が含まれてもよい。プログラムモジュール４２は、通常、本発明に記載の実施例における機能および／または方法を実行する。

コンピュータ装置１２は、１つまたは複数の外部デバイス１４（例えば、キーボード、ポインティング装置、ディスプレイ２４など）と通信することができ、また、ユーザーが当該コンピュータ装置１２とインタラクションすることを可能にする１つまたは複数の装置と通信することができ、および／または、当該コンピュータ装置１２が１つまたは複数の他のコンピューティング装置と通信することを可能にする任意の装置（例えば、ネットワークカード、モデムなど）と通信することができる。このような通信は、入力/出力（Ｉ/O）インターフェス２２を介して行うことができる。また、コンピュータ装置１２は、ネットワークアダプター２０を介して１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ，以下ＬＡＮと略する）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ，以下ＷＡＮと略する）、および／またはパブリックネットワーク、例えば、インターネット）と通信することもできる。図に示すように、ネットワークアダプター２０は、バス１８を介してコンピュータ装置１２の他のモジュールと通信する。なお、図に示されていないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータバックアップストレージシステムなどを含むがこれらに限定されない他のハードウェアおよび／またはソフトウェアモジュールをコンピュータ装置１２と組み合わせて使用することができる。

処理ユニット１６は、システムメモリ２８に記憶されたプログラムを実行することで、各機能アプリケーションおよびデータ処理を実行し、例えば、前述した実施例に係る方法を実現する。

本発明の説明において、「一実施例」、「一部の実施例」、「例」、「具体的な実施例」、または「一部の例」などの用語を参照した説明とは、該実施例または実施例に結合して説明された具体的な特徴、構成、材料または特徴が、本発明の少なくとも一実施例または実施例に含まれることを意味する。本明細書において、上記用語に対する例示的な記述は、必ずしも同一の実施例または実施例を示すことではない。また、説明された具体的な特徴、構成、材料または特徴は、いずれか１つまたは複数の実施例または実施例において適切に組み合わせることができる。さらに、互いに矛盾しない場合、当業者であれば、本明細書に記載の異なる実施例または例、および異なる実施例または例示的な特徴に対して結合および組み合わせを行うことができる。

また、「第１」、「第２」の用語は単に説明するためのものであり、比較的な重要性を指示または暗示するか、または示された技術的特徴の数を黙示的に指示すると理解してはいけない。従って、「第１」、「第２」が限定された特徴は、少なくとも１つの前記特徴を含むことを明示または暗示する。本発明の説明において、別途明確且つ具体的な限定がない限り、「複数」とは、少くとも２つ、例えば、または２つ、３つなどを意味する。

フローチャートにおける、またはここで他の形態で記載された任意のプロセスまたは方法は、カスタムロジック機能またはプロセスのステップを実現するための１つまたは複数の実行可能な命令コードを含むモジュール、セグメントまたは一部を表すと理解されてもよい。また、本発明の好ましい実施形態の範囲は、ここで、示されたまたは論議された順番ではなく、係る機能に応じてほぼ同時の形態または逆の順番で機能を実行することができる他の実現を含むことができる。これは、当業者であれば理解すべきものである。

フローチャートで示されたまたはここで他の形態で説明されたロジックおよび/またはステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、またはデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、または他の命令実行システム、装置またはデバイスから命令を獲得して命令を実行するシステム）に利用されるか、またはこれらの命令実行システム、装置またはデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置またはデバイスによって、または、命令実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含む、記憶する、通信する、伝播する、または伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、１つまたは複数の配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバデバイス、およびポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙または他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、または必要な場合に他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに記憶するからである。

なお、本発明の各部分は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって実現することができる。上記実施形態において、複数のステップまたは方法は、メモリに記憶された且つ適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現することができる。例えば、ハードウェアで実現される場合に、もう１つの実施形態と同様に、本分野において周知である、データ信号に対してロジック機能を実現するためのロジックゲート回路を備える離散ロジック回路、適切な組み合わせロジックゲート回路を備える特定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの当分野の周知技術のうちいずれか１つまたはこれらの組み合わせによって実現することができる。

普通の当業者であれば、上記の実施例に係る方法に含まれる全部または一部のステップは、プログラムによってハードウェアを命令することで実行することができると理解することができる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶することができ、当該プログラムが実行される場合に、方法の実施例におけるステップの１つまたはそれらの組み合わせが実行される。

また、本発明の各実施例における各機能ユニットは、１つの処理モジュールに集積されてもよいし、それぞれが個別の物理的存在であってもよいし、２つ以上のユニットが１つのモジュールに集積されてもよい。前記集積モジュールは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能モジュールの形態で実現されてもよい。前記集積モジュールがソフト機能モジュールの形態で実現されるとともに、独立した製品として販売または使用される場合に、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。

上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、またはＣＤなどであってもよい。なお、以上、本発明の実施例を示して説明したが、上記実施例は例示するものであって、本発明を制限するためのものであると理解してはいけない。普通の当業者であれば、本発明の範囲内で上記実施例に対して変更、修正、取り替え、変形を行うことができる。

Claims (11)

1. 取得モジュールが端末から撮影画像および対応する撮影位置を取得するステップと、
   決定モジュールが、前記撮影画像に対して対象認識を行い、前記撮影画像に現れる第１の対象を決定するステップと、
   クエリモジュールが、前記撮影位置に関連付けられた履歴画像において、前記第１の対象が現れた第１のターゲット画像をクエリするステップと、
   前記第１のターゲット画像がクエリされた場合、処理モジュールが、前記第１の対象が電子地図内の注釈情報と重複していると決定するステップと、
   前記第１のターゲット画像がクエリされなかった場合、前記処理モジュールが、前記撮影位置に基づいて、電子地図内の対応する位置に前記第１の対象に対して注釈をつけるステップと、を含み、
   前記第１のターゲット画像がクエリされた後に、
   抽出入れ替えモジュールが、前記撮影画像から、第１の対象が現れた領域画像を抽出するステップと、
   前記第１の対象の領域画像と前記第１のターゲット画像との間に差異がある場合、前記抽出入れ替えモジュールが、前記第１の対象の領域画像を用いて前記第１のターゲット画像を入れ替えるステップと、をさらに含む、
   ことを特徴とする画像注釈情報の処理方法。
2. 前記第１のターゲット画像がクエリされなかった後に、
   抽出追加モジュールが、前記撮影画像から、前記第１の対象が現れた領域画像を抽出するステップと、
   前記抽出追加モジュールが、前記第１の対象の領域画像を前記撮影位置に関連づけ、前記第１の対象の領域画像を前記履歴画像に追加するステップと、をさらに含む、
   ことを特徴とする請求項１に記載の処理方法。
3. 前記撮影画像に対して対象認識を行った後に、
   送信モジュールが前記第１の対象を指示するための検証メッセージを前記端末に送信するステップと、
   受信モジュールが、前記端末から、前記撮影画像に前記第１の対象が現れていることを確認するための確認メッセージを受信するステップと、をさらに含む、
   ことを特徴とする請求項１に記載の処理方法。
4. 前記撮影画像に対して対象認識を行った後に、
   前記撮影画像に前記第１の対象と異なる第２の対象がさらに現れる場合、決定サブモジュールが前記第１の対象と前記第２の対象との隣接関係を決定するステップと、
   前記決定サブモジュールが、前記履歴画像に現れた各対象において、前記第１の対象と前記隣接関係に一致する第３の対象を決定するステップと、
   入れ替えモジュールが、前記電子地図において、前記第２の対象を用いて前記第３の対象を取り替えて注釈をつけるステップと、をさらに含む、
   ことを特徴とする請求項１〜３のいずれかに記載の処理方法。
5. 前記第２の対象を用いて前記第３の対象を取り替えて注釈をつけた後に、
   決定記憶モジュールが、前記履歴画像において、前記第３の対象が現れた第２のターゲット画像を決定するステップと、
   前記決定記憶モジュールが、前記撮影画像から、前記第２の対象が現れた領域画像を抽出するステップと、
   前記決定記憶モジュールが前記第２の対象の領域画像を用いて前記第２のターゲット画像を入れ替えるステップと、
   前記決定記憶モジュールが前記第１の対象と前記第２の対象との隣接関係を記憶するステップと、をさらに含む、
   ことを特徴とする請求項４に記載の処理方法。
6. クライアントから撮影画像および対応する撮影位置を取得する取得モジュールと、
   前記撮影画像に対して対象認識を行い、前記撮影画像に現れる第１の対象を決定する決定モジュールと、
   前記撮影位置に関連付けられた履歴画像において、前記第１の対象が現れた第１のターゲット画像をクエリするクエリモジュールと、
   前記第１のターゲット画像がクエリされた場合、前記第１の対象が電子地図内の注釈情報と重複していると決定し、前記第１のターゲット画像がクエリされなかった場合、前記撮影位置に基づいて、電子地図内の対応する位置に前記第１の対象に対して注釈をつける処理モジュールと、
   前記撮影画像から、第１の対象が現れた領域画像を抽出し、前記第１の対象の領域画像と前記第１のターゲット画像との間に差異がある場合、前記第１の対象の領域画像を用いて前記第１のターゲット画像を入れ替える抽出入れ替えモジュールと、を含む、
   ことを特徴とする画像注釈情報の処理装置。
7. メモリと、プロセッサと、メモリに記憶され且つプロセッサで動作可能なコンピュータプログラムと、を含むサーバであって、前記プロセッサが前記プログラムを実行するとき、請求項１〜５のいずれかに記載の画像注釈情報の処理方法が実現される、
   ことを特徴とするサーバ。
8. 撮影画像を取得し、前記撮影画像および対応する撮影位置情報をサーバに送信する端末と、
   前記撮影画像および対応する撮影位置に基づいて、請求項１〜５のいずれかに記載の画像注釈情報の処理方法を実行する前記サーバと、を含む、
   ことを特徴とする画像注釈情報の処理システム。
9. 前記端末は、さらに、
   前記サーバによって送信された、前記サーバが前記撮影画像に対して対象認識を行うことによって取得された第１の対象を指示するための検証メッセージを受信し、
   前記撮影画像に前記第１の対象の情報を表示し、
   ユーザの操作に応答して、前記撮影画像に第１の対象が現れていることを確認したとき、前記サーバに確認メッセージを送信する、
   ことを特徴とする請求項８に記載の処理システム。
10. コンピュータプログラムが記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、当該プログラムがプロセッサによって実行されるとき、請求項１〜５のいずれかに記載の画像注釈情報の処理方法が実現される、
    ことを特徴とする非一時的コンピュータ読み取り可能な記憶媒体。
11. コンピュータプログラム製品であって、前記コンピュータプログラム製品における命令がプロセッサによって実行されるとき、請求項１〜５のいずれかに記載の画像注釈情報の処理方法が実行される、
    ことを特徴とするコンピュータプログラム製品。