JP5844920B2 - 移動端末のナビゲーション機能に基づく画像位置特定方法およびシステム - Google Patents

移動端末のナビゲーション機能に基づく画像位置特定方法およびシステム Download PDF

Info

Publication number
JP5844920B2
JP5844920B2 JP2014545077A JP2014545077A JP5844920B2 JP 5844920 B2 JP5844920 B2 JP 5844920B2 JP 2014545077 A JP2014545077 A JP 2014545077A JP 2014545077 A JP2014545077 A JP 2014545077A JP 5844920 B2 JP5844920 B2 JP 5844920B2
Authority
JP
Japan
Prior art keywords
time
trajectory
point
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014545077A
Other languages
English (en)
Other versions
JP2015505180A (ja
Inventor
永堅 呉
永堅 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2015505180A publication Critical patent/JP2015505180A/ja
Application granted granted Critical
Publication of JP5844920B2 publication Critical patent/JP5844920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/51—Relative positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、移動通信技術に関わり、特には、移動端末のナビゲーション機能に基づいた、画像位置特定方法およびシステムに関するものである。
移動通信技術において、ＧＰＳは「全地球測位システム（global positioning system）」の略称であり、１９７０年代に、米国陸軍、海軍および空軍により開発された新世代の宇宙衛星航法・測位システムである。ＧＰＳは、陸軍、海軍、空軍の三分野に対して、航海、航行、飛行における役務を、地球規模で２４時間、リアルタイムで提供すること、また、機密情報の収集、核爆発の監視、緊急時の通信等の軍事目的を遂行することを、主な目的としている。
ＧＰＳ技術の開発は、２０年にわたる研究や実験を経て、急速に進んだ。他の多くの無線測位技術と比較して、ＧＰＳ技術は、対象エリアが広く、場所の特定を短時間で精度高く行え、また、位置依存度が低い、といった利点がある。これらの利点により、本来軍事用であるＧＰＳ技術は日常生活に普及し、ＧＰＳスマート電話や車載ＧＰＳ等に用いられている。
しかしながら、ＧＰＳ技術が日常生活にまで普及している反面、ＧＰＳナビゲーション機能を搭載する撮像装置は、通常の撮像装置よりもかなり高価格であるため、未だ普及には至っていない。また、通常の撮像装置で撮られた画像は、その地理的位置情報が附加されていないことがあり、撮像後、画像の地理的位置情報を活用した画像管理に支障が出る場合がある。したがって、本発明は、画像が通常の撮像装置で撮られた場合における、地理的位置情報の判定方法が求められている。
本発明の実施例では、ナビゲーション機能が搭載されていない通常の撮像装置で撮られた画像でも、その地理的位置情報が判定され得るように、移動端末のナビゲーション機能に基づいて、画像の位置を特定する方法およびシステムが開示される。
本発明の開示による技術的課題の解決手段は、下記の構成を備える。
移動端末のナビゲーション機能に基づいて画像の位置を特定する方法は、
撮像装置で前記画像を撮像する間、現在の時間情報と現在の軌道点の地理的位置情報とを、前記移動端末によって、前記移動端末の前記ナビゲーション機能を用いて取得しかつ記録することと、
前記画像が撮像された場所の地理的位置情報が判定されるように、前記撮像画像が持つ画像取得時間と前記移動端末が取得した前記時間情報とを関連付けることと、
を含み、
前記撮像装置の時間は前記移動端末の時間と同期しており、
前記移動端末により、前記移動端末のナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得し記録する際に、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得し記録することは、
Δt時間待機した後、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを、前記移動端末によって、前記移動端末の前記ナビゲーション機能を用いて取得することと、
前記移動端末が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功すると、前記移動端末によって、取得した現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを記録し、前記取得が最初の取得である場合、または最初の取得ではないが前回の取得が成功している場合、前記Δt時間待機する前記移動端末による工程を実行し、そうでない場合、前記Δt時間を更新し、更新後の前記Δt時間待機した後、前記移動端末の前記ナビゲーション機能を利用して、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する前記移動端末による工程を実行することと、
前記移動端末が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗すると、統計失敗回数を更新し、更新後の前記統計失敗回数が設定閾値以下であるか否かを判定し、前記設定閾値以下であると判定すると、前記Δt時間を更新し、更新後の前記Δt時間待機した後、前記移動端末のナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する前記移動端末の工程を実行し、そうでない場合、前記Δt時間待機する前記移動端末の工程を実行することと、
を含み、
前記移動端末が、前記移動端末の前記ナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功し、かつ前記取得が最初の取得ではなく、かつ前回の取得が失敗している場合、前記Δt時間を更新することは、
前記Δt時間が設定デフォルト時間未満であるか否かを判定することを含み、
前記Δt時間が前記設定デフォルト時間未満であると判定した場合、前記Δt時間を前記設定デフォルト時間に更新し、そうでない場合、前記Δt時間を第１設定値に短縮し、
前記移動端末が、前記移動端末の前記ナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗し、かつ前記統計失敗回数が前記設定閾値以下である場合、前記Δt時間を更新することは、
前記Δt時間が設定最大時間以上であるか否か判定することを含み、
前記Δt時間が前記設定最大時間以上であると判定した場合、前記Δt時間を前記設定最大時間に更新し、そうでない場合、前記Δt時間を第２設定値に延長する。
移動端末のナビゲーション機能に基づいて画像の位置を特定するシステムは、
前記システムは、前記ナビゲーション機能を有する移動端末と照会サーバとを備え、
撮像装置の時間は前記移動端末の時間と同期しており、
前記移動端末は、取得部と記録部とを備え、
前記取得部は、前記撮像装置を用いて前記画像を撮像する間、現在の時間情報と現在の軌道点の地理的位置情報とを、前記移動端末のナビゲーション機能を用いて取得するよう構成され、
前記記録部は、前記取得部が取得した前記情報を記録するよう構成され、
前記照会サーバは、前記撮像画像が持つ画像取得時間と前記移動端末が取得した時間情報とを関連付けて、前記画像が撮像された場所の地理的位置情報を判定する位置判定部を備え、
前記取得部は、副取得部と、副判定部と、第１副更新部と、第２副更新部とを備え、
前記副取得部は、Δt時間待機した後、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを、前記移動端末のナビゲーション機能を用いて取得し記録する動作を実行するよう構成され、
前記副判定部は、前記副取得部が、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功したか否かを判定するよう構成され、
前記副判定部はさらに、前記副取得部が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗したと判定すると、前記第２副更新部に通知するよう構成され、
前記副判定部はさらに、前記副取得部が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功したと判定すると、前記副取得部が取得に成功した前記情報を前記記録部に記録させたうえで、さらに前記取得が最初の取得である、または最初の取得ではないが前回の取得が成功していると判定すると、前記副取得部が実行する前記動作に戻り、そうでない場合、通知を前記第１副更新部へ送信するよう構成され、
前記第１副更新部は、前記副判定部から前記通知を受信すると、前記Δt時間を更新し、前記Δt時間が設定デフォルト時間未満であるか否かを判定することを含み、前記Δt時間が前記設定デフォルト時間未満であると判定した場合、前記Δt時間を前記設定デフォルト時間に更新し、そうでない場合、前記Δt時間を第１設定値に短縮し、更新後の前記Δt時間待機した後、前記副取得部で、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する動作を実行させるよう構成され、
前記第２副更新部は、前記副判定部から通知を受信後、統計失敗回数を更新し、更新後の前記統計失敗回数が設定閾値以下であるか否か判定するよう構成され、
前記第２副更新部はさらに、更新後の前記統計失敗回数が前記設定閾値以下であると判定すると、前記Δt時間を更新し、前記Δt時間が設定最大時間以上であるか否か判定することを含み、前記Δt時間が前記設定最大時間以上であると判定した場合、前記Δt時間を前記設定最大時間に更新し、そうでない場合、前記Δt時間を第２設定値に延長し、更新後の前記Δt時間待機した後、前記副取得部で、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する動作を実行させ、そうでない場合、前記副取得部が実行する前記動作に戻るよう構成される。
以上説明した技術課題の解決手段によれば、本発明の開示では、例えば、撮像装置を用いて画像を取得中、移動端末は自身のナビゲーション機能を用いて、現在の時間情報と現在の軌道点の地理的位置情報とを取得して、これを記録する。その上で、画像が撮られた場所の地理的位置情報が判定されるように、撮像画像が持つ画像取得時間を、移動端末が取得した時間情報に関連付けている。すなわち、本発明の開示では、撮像画像の画像取得時間と移動端末が取得した時間情報とが、撮像装置と移動端末の間で行う通信の橋渡しとして取得され、これにより、移動端末装置のナビゲーション機能を画像に上手く関連付けることが可能になり、コスト増加を招くことなく、画像に地理的位置情報を持たせることができる。
図１は、本発明の一実施例による方法を示すフローチャートである。 図２は、本発明の別の実施例による方法を示すフローチャートである。 図３は、本発明の一実施例による、工程１０１または２０２の実行の仕方を示すフローチャートである。 図４は、本発明の一実施例による、ＧＰＳナビゲーションの精度を示す概略図である。 図５は、本発明の一実施例による、工程２０４の実行の仕方を示すフローチャートである。 図６は、本発明の一実施例による、マッピング候補点を示す概略図である。 図７は、本発明の一実施例による、各マッピング候補点の間の、遷移確率を示す概略図である。 図８は、本発明の一実施例による、分析工程５０４と５０５を示す概略図である。 図９は、本発明の一実施例による、工程２０５の実行の仕方を示すフローチャートである。 図１０は、本発明の一実施例によるシステムの構造を示す概略図である。 図１１は、本発明の別の実施例によるシステムの構造を示す概略図である。
本発明を、その目的、技術的課題の解決手段、作用効果をより明らかにするために、添付の図面と実施例で詳細に説明する。
本発明が開示する方法を用いることで、ナビゲーション機能を搭載していない通常の撮像装置、例えば、ＧＰＳナビゲーション機能のない通常の撮像装置によって得られた画像であっても、地理的位置情報を持つことができる。以降、本発明が提供する方法を説明する。
図１は、本発明の一実施例による方法を示すフローチャートである。図１に示すように、本方法は、下記の工程を含む。
工程１０１では、撮像装置を用いて画像を撮像する間、移動端末は、現在の時間情報と現在の軌道点の地理的位置情報とを、自身が持つナビゲーション機能を用いて取得し、これを記録する。撮像装置の時間は移動端末の時間と同期している。
工程１０１において、撮像装置は、例えば、上述したようなナビゲーション機能のない通常の撮像装置である。下記の説明では、例を挙げて説明を理解しやすくしている。また、下記の説明におけるナビゲーション機能は、ＧＰＳナビゲーション機能のことであるが、それ以外の場合も、原則として同様である。
工程１０２では、撮像画像の地理的位置情報を特定できるように、この画像が持つ画像取得時間を、移動端末が取得した時間情報に関連付ける。この工程１０２は、クラウドサービスを利用して実行されるが、これに限定されるものではない。
すなわち、本発明では、画像が持つ画像取得時間と移動端末が記録した時間情報とが、例えば、撮像装置と移動端末との間で行う通信の橋渡しとして取得され、これにより、移動端末のＧＰＳナビゲーション機能を画像に上手く関連付けることができ、コスト増加を招くことなく、画像に地理的位置情報を持たせることができる。
ここまでが、図１に示すフローである。図１に示すフローがより明確になるよう、図１に示すフローを、各実施例に基づいて説明する。
図２は、本発明の別の実施例による方法を示すフローチャートである。図２に示すように、本方法は、下記の工程を含む。
工程２０１では、ユーザが撮像装置を用いて撮像する前に、ユーザの移動端末が有する下記の機能を実行する。移動端末のＧＰＳナビゲーション機能に基づき、時間情報と軌道点の地理的位置情報とを取得し、かつ、記録し、撮像装置の時間が移動端末の時間と同期していることを確認する。
工程２０２では、移動端末は、例えば、撮像装置を用いて撮像している間、上記の機能に基づいて、現在の時間情報と現在の軌道点の地理的位置情報とをＧＰＳナビゲーション機能により取得し、取得した情報を移動端末に対応する軌道ログに記録する。
工程２０２では、移動端末は、例えば、ＧＰＳナビゲーション機能を用いて、現在の時間情報と現在の軌道点の地理的位置情報とを、定期的に取得する処理を行う。この処理は、例えば、図３のフローに示す。軌道点の地理的位置情報は、軌道点の緯度と経度であってもよいが、本発明はこれに限定されない。
表１では、軌道ログの形式の一例を示す。この表では、軌道点の地理的位置情報は、軌道点の緯度と経度である。
Figure 0005844920
表１では、P( )が軌道点を表す。例えば、p(g)は、軌道点ｇを表す。
工程２０３では、撮像装置を用いて撮像した後、撮像画像の画像情報と軌道ログとを、それぞれクライアントへインポートする。その後、クライアントは、インポートされた画像情報と軌道ログとをサーバへ送信する。
工程２０３のサーバは、例えば、画像の地理的位置情報を判定するのに用いられるサーバであって、照会サーバであってもよい。以降、照会サーバとして説明する。
さらに、工程２０３では、インポートされた画像情報は、画像の識別情報（ＩＤ）や画像が持つ画像取得時間であってもよいが、本発明はこれに限定されない。
工程２０４では、照会サーバは、例えば、軌道ログにおける軌道点を分析し、マップ内で、軌道点の地理的位置情報との整合度がより高い整合点を検索する。
工程２０４の目的は、ユーザの実際の軌跡を復元できるように、軌道ログにおける軌道点の地理的位置情報を修正することである。
工程２０５では、画像情報の画像取得時間と、軌道ログの時間情報と、軌道点の地理的位置情報とに基づき、サーバは、例えば、工程２０４で特定した整合点を分析して、画像が撮られた場所の地理的位置情報を判定し、クライアントへ戻る。
上記の工程２０３から２０５までは、工程１０２を実行するための具体的なフローである。ここまでで、図２に示すフローの終了としてもよい。
図１と図２とに示すフローを参照すると、本発明を実行するには、移動端末のＧＰＳナビゲーション機能による支援が必要である。しかし、移動端末にとっては、ＧＰＳナビゲーション機能が長時間使用されると、移動端末のリソース消費量が大きくなり、ついに移動端末が電力をすべて使い果たす、という状況が起こりやすくなる。これは、移動端末の他の機能を実行する際に影響を及ぼすことがある。この問題に対処するため、本発明では、独創的な手法を採用する。本発明では、移動端末のＧＰＳリソース消費量を削減することを前提条件として、ＧＰＳナビゲーション機能を用いて時間情報と軌道点の地理的位置情報とを取得しかつ記録する、ことを提案している。
図３は、本発明の一実施例による、工程１０１または２０２の実行の仕方を示すフローチャートである。衛星により位置の検索や特定を行うことがＧＰＳリソース消費量増大の理由である点を考慮して、図示のフローにより、ＧＰＳの利用を最小限に抑え、リソース消費量の増大を効果的に抑えることが可能になる。図３に示すように、本フローは、例えば、下記の工程を含む。
工程３０１では、移動端末は、Δt時間待機した後、工程３０２に進む。
工程３０２では、移動端末は、現在の時間情報と現在の軌道点の地理的位置情報とを、ＧＰＳナビゲーション機能を用いて取得する。移動端末は、現在の時間情報と現在の軌道点の地理的位置情報との取得に成功すると、工程３０３に進む。移動端末は、現在の時間情報と現在の軌道点の地理的位置情報との取得に失敗すると、工程３０４に進む。
移動端末がまず時間情報と軌道点の地理的位置情報とを取得すると、工程３０１におけるΔt時間（単位は分）は、例えば、設定デフォルト時間Tstartである。Tstartは、リソース消費量と情報精度との２つの観点から決定される。
さらに、本発明では、移動端末が時間情報と軌道点の地理的位置情報とを取得するのにかかるΔt時間のデータ範囲は、およそ２≦Δt≦５である。リソース消費量と情報精度を考慮するのに加えて、Δt時間はさらに、中央演算処理装置（ＣＰＵ）の処理頻度等、移動端末のハードウェアによるリソース消費量の情報に基づいて決定されてもよい。
工程３０３では、取得した現在の時間情報と現在の軌道点の地理的位置情報とを、対応する軌道ログに記録する。この取得が最初の取得である場合、または、最初の取得ではないが前回の取得が成功している場合、工程３０１へ戻る。そうでない場合、移動端末のＧＰＳリソース消費量削減の原則に基づいてΔt時間を更新し、更新後の前記Δt時間待機した後、工程３０２へ戻る。
工程３０３では、移動端末のＧＰＳリソース消費量削減の原則に基づくΔt時間の更新は、下記の構成を含んでもよい。
Δt時間が設定デフォルト時間より短いか否かを判定する。Δt時間が設定デフォルト時間より短いと判定した場合、Δt時間を上記設定デフォルト時間に更新する。そうでない場合、Δt時間を、第１設定値、例えば、２分の１の長さに短縮する。下記のコード（数式１）を用いて、Δt時間を２分の１に短縮する場合の、移動端末のＧＰＳリソース消費量削減の原則に基づいたΔt時間の更新の仕方を説明する。
Figure 0005844920
 工程３０４では、統計失敗回数を更新し、更新後の統計失敗回数が設定閾値以下であるかを判定する。更新後の統計失敗回数がこの閾値以下であると判定した場合、移動端末のＧＰＳリソース消費量削減の原則に基づいてΔt時間を更新し、更新後のΔt時間待機した後、工程３０２へ戻り、そうでない場合、工程３０１へ戻る。
工程３０４では、++countfailというコードを用いて、統計失敗回数を更新してもよい。
工程３０４において、移動端末のＧＰＳリソース消費量削減の原則に基づくΔt時間の更新は、下記の構成を含んでもよい。
Δt時間が設定最大時間Tmax以上であるかを判定する。Δt時間が設定最大時間Tmax以上であると判定した場合、Δt時間をこの最大時間Tmaxに更新する。そうでない場合、Δt時間を第２設定値、例えば、２倍の長さに延長する。Δt時間を２倍に延長する場合の、移動端末のＧＰＳリソース消費量削減の原則に基づいたΔt時間の更新の仕方を記述するコード（数２）を下に示す。
Figure 0005844920
ここまでで、図３に示すフローの終了としてもよい。
図３に示すフローの目的は、ＧＰＳの使用を最小限に抑えることにより、移動端末のリソース消費量を削減することである。上記の工程３０４では、ＧＰＳによる時間情報と軌道点の地理的位置情報との取得（ＧＰＳ情報と略することもある）が失敗に終わった場合、例えば、ユーザが屋内に入った後、そこで長時間活動に参加している（例えば、買い物、食事、友人と会う等）といったことが推測される。このような場合、Δt時間を延長する必要があるが、必ずしも無制限に延長するわけではない。
例えば、ユーザが、ＧＰＳ情報を取得できないある場所からＧＰＳ情報を取得できる別の場所へ移動した後、さらに長時間待機してから次回のＧＰＳ情報の取得を実行する場合があり、このような状況への対処として、Δt時間をTmax未満にしてもよい。
逆に、ユーザがＧＰＳ情報を取得後は、Δt時間を、例えば、２分の１に短縮する。状況の急激な変化が偶発的に起こることもあり（例えば、ＧＰＳ信号が良好な部屋の窓まで急に移動した場合等）、Δt時間は直ちにTstartまで短縮されない場合もある。
図３に示すフローにより、移動端末のリソース消費量増加が抑えられる。しかしながら、現在のＧＰＳナビゲーション精度は比較的高いとはいえ、数メートルから数十メートルの精度誤差が発生する可能性はある。例えば、図４を参照して、この図４に示す太線は、ユーザの実際の軌跡を示し、一方、図４のａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇは現在の軌道点である。これらの軌道点は、移動端末によって、そのＧＰＳナビゲーション機能を用いて取得され、記録される。図４に示す太線と、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇで示す現在の軌道点との間に精度誤差があるのは明らかである。このＧＰＳ精度誤差はその後、特定した撮像場所の地理的位置情報に影響を及ぼすことがある。このように、上記工程２０４において、照会サーバは、軌道ログの軌道点を分析し、マップ内で、各軌道点の地理的位置情報との整合度がより高い整合点を検索する必要がある。
工程２０４を実行するには、後述する３つの要因を考慮する必要がある。
第１の要因は、ＧＰＳナビゲーションに、数メートルから数十メートルの精度誤差があることである。
第２の要因としては、図３に示すフローを参照すると、移動端末はΔt時間の設定間隔毎に１回、ＧＰＳ情報を取得して記録することがわかるが、このように、移動端末に対応する軌道ログのＧＰＳ情報は情報量が少なく、これはデータ統計を取るには不都合である。
軌道点の中には位置を特定しにくいものがあり、例えば、図４のｄ点は、東西方向の通りにマッピングされることもあれば、南北方向の通りにマッピングされる場合もあるが、これが第３の要因として挙げられる。
上記３つの要因に関して、本発明の開示では、上記工程２０４を実行する、軌道ログマップ整合アルゴリズムを設ける。この軌道ログマップ整合アルゴリズムについては、その詳細を説明する前に、まず、このアルゴリズムの主要概念を簡単に説明する。
第一に、軌道ログにおける各軌道点の位置情報が互いに影響を及ぼす可能性である。例えば、図４に示すｄ点が東西方向の通りにマッピングされるのか、南北方向の通りにマッピングされるのかは、このｄ点の地理的位置情報と、ｄ点に近接するｅ点、ｆ点、ｃ点、ｂ点のマッピング状況に依存する。これらｅ点、ｆ点、ｃ点、ｂ点は東西方向の通りにマッピングされるため、ｄ点が東西方向の通りにマッピングされる確率は、南北方向の通りにマッピングされる確率よりも高くなる。
第二に、近接する各軌道点が互いに影響を及ぼす可能性である。図４に示すｄ点の周囲にある点、例えば、ｅ点は、ｄ点を考察する際に影響を及ぼす可能性があり、同様に、ｄ点はｅ点を考察する際に影響を及ぼす可能性がある。
以降、軌道ログマップ整合アルゴリズムを詳細に説明する。図５は、発明の一実施例による、工程２０４の実行の仕方を示すフローチャートである。図５に示すように、このフローは、例えば、下記の工程を含む。
工程５０１では、軌道ログからすべての軌道点を取得する。
工程５０２では、各軌道点に関して、マップ内で、Ｒの設定範囲内における軌道点のマッピング候補点を検索する。
軌道点のマッピング候補点（略して、候補点）を定義すると、その軌道点のＲの範囲内における、すべての経路の垂直点と経路とが交差する点のことである。例えば、工程５０１で得た軌道点の総数がｎである場合、例えば、ｉ番目の軌道点はp(i)と定義され、この軌道点に関する時間情報はtimestamp(i)である。そうすると、軌道点p(i)のマッピング候補点の組は、図６に示すように、[t(i,1),t(i,2),t(i,3),t(i,4)]である。[t(i,1),t(i,2),t(i,3),t(i,4)]は、Ｒの範囲内において、軌道点p(i)の経路に対する垂直点であり、t(i,2)は、東西方向の通りと南北方向の通りとが交差する点である。
工程５０３では、近接するすべての軌道点のマッピング候補点間の遷移確率を算出する。
工程５０３は、例えば、下記の数３で実行される。
Figure 0005844920
 上記式において、p(i)とp(j)は近接する２つの軌道点を表し、t(i,g)は軌道点p(i)のマッピング候補点を表し、t(j,k)は軌道点p(j)のマッピング候補点を表し、P(t(i,g),t(j,k))は、軌道点p(i)のマッピング候補点t(i,g)と軌道点p(j)のマッピング候補点t(j,k)との間における遷移確率を表し、dist(p(i),p(j))は、２つの近接する軌道点p(i)とp(j)との間のユークリッド距離を表し、dist shortest (t(i,g),t(j,k))は、マップにおけるt(i,g)とt(j,k)との間の最短距離を表す。
２つの近接軌道点のマッピング候補点間の遷移確率を算出する際、本発明の一例では、２つの軌道点間のユークリッド距離と、マップの２つのマッピング候補点間の最短距離のみを考慮してもよい。本発明では、道路上の速度制限等の他の要因も考慮に入れることが好ましい。
工程５０３における、２つのマッピング候補点間の遷移確率とは、ユーザが実際にこれら２つのマッピング候補点から軌道移行を実行する確率のことを言う。例えば、図７に示すように、p(i)のマッピング候補点t(i,1)から、p(i+1)の候補点t(i+1,1)へ移行する確率は、p(i)のマッピング候補点t(i,2)から、p(i+1)の候補点t(i+1,2)へ移行する確率よりもかなり高く、また、全体を俯瞰すると、p(i+1)の次の軌道点はp(i+2)であることがわかる。このように、ユーザの軌道は、例えば、東西方向に沿って進行している。
工程５０４では、近接するすべての軌道点のマッピング候補点間の遷移確率に基づいて、有向グラフＧ（Ｖ，Ｅ）を成立させる。Ｖは、例えば、設定仮想ノードｓと設定仮想ノードｔ、および近接するすべての軌道点のマッピング候補点を含む。
有向グラフＧ（Ｖ，Ｅ）のエッジ値は、例えば、１つのエッジにおける２つのノードがマッピング候補点である場合、エッジ値は、
｜ｅt(i,g),t(j,k)｜＝ｌｏｇ（Ｐ（ｔ（ｉ,ｇ）,ｔ（ｊ,ｋ）））となるか、もしくは、０になる。
さらに、仮想ノードｓは、例えば、軌道ログの最初の軌道点のマッピング候補点と接続されてもよく、その場合、接続経路の距離は０になる。仮想ノードｔは、例えば、軌道ログの最後の軌道点のマッピング候補点と接続され、その場合、接続経路の距離は０になる。
工程５０５では、有向グラフＧ（Ｖ，Ｅ）における最長距離である、すべての軌道点のマッピング候補点を経由した仮想ノードｓから仮想ノードｔに到る距離を算出し、また、この最長距離に対応する軌跡経路を算出する。実際には、最長距離の算出には様々な最短経路アルゴリズムが用いられ、例えば、ダイクストラの最短経路アルゴリズムを参照して実行される。
工程５０１で得た軌道点の総数をnと想定して、工程５０４、５０５を下記に説明するように分析する。工程５０４ですべてのマッピング候補点間の遷移確率を取得した後、軌道点p(1)からp(n)までのすべてのマッピング候補点間の遷移確率の積の最大値を算出することが問題の本質であり、これは次の数４のように得られる。
Figure 0005844920
上記式において、Cp(i-1)は、軌道点P(i-1)のマッピング候補点の総数を表し、Cp(i)は、軌道点P(i)のマッピング候補点の総数を表わす。ログ機能の単調性と動作特性（log(a*b)=log(a)+log(b))を考慮に入れると、有向グラフＧ（Ｖ，Ｅ）のエッジ値は、いずれか２つのマッピング候補点の遷移確率のログ値であると考えてよい。そして、例えば、仮想ノードｓと仮想ノードｔを上記有向グラフに加える。続いて、軌道点p(1)からp(n)までのすべてのマッピング候補点間の遷移確率の積の最大値を算出する問題は、いくつかの問題に分かれる。有向グラフＧ（Ｖ，Ｅ）における仮想ノードｓと仮想ノードｔ間の最長距離の計算と、図８に示す経路問題である。図８において、t(1,1)からt(1,4)までは、軌道点p(1)のマッピング候補点の組であり、t(n,1)からt(n,4)は、軌道点p(n)のマッピング候補点の組である。
マッピング候補点の異なる組における、いずれか２つのマッピング候補点間の距離は、これら２つのマッピング候補点間の遷移確率のログ値である。符号ｓ、ｔは２つの仮想ノードである。仮想ノードｓと、軌道点p(1)のマッピング候補点の組におけるマッピング候補点との間の距離は、どのマッピング候補点であっても０である。仮想ノードｔと、軌道点p(n)のマッピング候補点の組におけるマッピング候補点との間の距離は、どのマッピング候補点であっても０である。軌道ログにおける各軌道点の地理的位置情報との整合度がより高い整合点を検索する問題は、例えば、図８のｓとｔとの間の最長距離を算出する、という別の問題に変わる。
工程５０６では、得られた軌跡経路に基づいて、マップ内で、各軌道点の地理的位置情報との整合度がより高い整合点を検索する。
工程５０６では、実行に際して、各軌道点に関して、軌跡経路の軌道点を整合点として含む、その軌道点の地理的位置情報との整合度がより高いマッピング候補点を取得してもよい。ここまでで、図５に示すフローの終了としてもよい。
図５で特定した整合点に基づき、上記工程２０５を下記に説明する。図９は、本発明の一実施例による、工程２０５の実行の仕方を示すフローチャートである。図９に示すように、フローは、例えば、下記の工程を含む。
工程９０１では、ある軌道ログの各軌道点に関する時間情報に基づいて、その軌道点の地理的位置情報との整合度がより高い各整合点を検索して、整合点シーケンスを得る。工程９０２では、各画像に関して、工程９０３と９０４に進む。工程９０３では、画像の画像取得時間に基づいて、上記整合点シーケンスに対して二分探索を行い、各画像の画像取得時間に最も近い、少なくとも２つの整合点を得る。
画像の画像取得時間をtimestampphotoとすると、得られた整合点は、例えば、m(i)とm(i+1)であり、timestamp(m(i)≦timestampphoto≦timestamp (m(i+1)))となる。
工程９０４では、画像の画像取得時間と、工程９０３で得た整合点の位置と速度の直線関係とに基づき、画像が撮られた場所の地理的位置情報を算出する。
ここまでで、図９に示すフローの終了としてもよい。
図９に示すフローにより、画像が撮られた場所の正確な地理的位置情報を判定可能である。そして、ユーザは、例えば、画像が撮られた場所の地理的位置情報に基づいて画像を管理する。ユーザが観光旅行から戻った場合を想定すると、ユーザは、旅行中に撮られた多数の画像を同じディレクトリに無秩序に保存することがよくある。本発明の開示では、これらの画像は、各画像の地理的位置情報と撮像された時間に基づいて、上手く分類することが可能であり、ユーザの画像管理が容易になる。また、ユーザは、日頃から画像検索が必要になることが多々あるが、一般的に、画像名はカメラによって自動的に作成されることがあり、画像名で検索するのは、ユーザにとって不便な場合がある。本発明では、画像が撮られた場所の地理的位置情報が判定されると、画像検索を便利かつ実用的に行うことが可能になる。例えば、「北京の天安門広場」とだけ入力すると、天安門広場周辺でユーザが撮った画像を表示することが可能であり、これは大変便利で実用的である。
以上、本発明が提供する方法を上記内容により詳細に説明した。次に、本発明が提供するシステムを説明する。
図１０は、本発明の一実施例によるシステムの構造を示す概略図である。図１０に示すように、本システムは、例えば、ナビゲーション機能を持つ移動端末と照会サーバを備える。撮像装置の時間は、この移動端末の時間と同期している。
この移動端末は、例えば、取得部と記録部を備える。
取得部は、撮像装置で画像を撮像中、現在の時間情報と現在の軌道点の地理的位置情報を、移動端末のナビゲーション機能を用いて取得するよう構成される。
記録部は、取得部が取得した情報を記録するよう構成される。
照会サーバは、例えば、撮像画像が持つ画像取得時間と移動端末が得た時間情報を関連付けるよう構成された位置判定部を備える。これにより、画像が撮られた場所の地理的位置情報を判定できる。画像が持つ画像取得時間と移動端末が得た時間情報の関連付けは、例えば、クラウドサービスを利用して実行してもよいが、これに限定されるものではない。
図１０に示すシステムをわかりやすくするために、図１０中の各部を、これ以降詳細に説明する。
図１１は、本発明の別の実施例によるシステムの構造を示す概略図である。図１１に示すように、取得部は、実行に際して、例えば、副取得部と、副判定部と、第１副更新部と、第２副更新部を備える。
副取得部は、Δt時間待機した後、移動端末が持つナビゲーション機能を用いて、現在の時間情報と現在の軌道点の地理的位置情報を取得して記録する動作を実行するよう構成される。
副判定部は、副取得部が、現在の時間情報と現在の軌道点の地理的位置情報の取得に成功したか否かを判定するよう構成される。副判定部はさらに、副取得部が現在の時間情報と現在の軌道点の地理的位置情報の取得に失敗したと判定すると、第２副更新部に通知するよう構成される。副判定部はさらに、副取得部が現在の時間情報と現在の軌道点の地理的位置情報の取得に成功したと判定すると、該取得が最初の取得である、または、最初の取得ではないが前回の取得が成功したと判定した場合、副取得部が取得に成功した情報を記録部に記録させ、副取得部が実行する動作に戻り、そうでない場合、通知を第１副更新部へ送信するよう構成される。
第１副更新部は、副判定部から通知を受信後、移動端末のリソース消費量削減の原則に基づいてΔt時間を更新し、更新後のΔt時間待機した後、副取得部に、現在の時間情報と現在の軌道点の地理的位置情報を取得する動作を実行させるよう構成される。
第２副更新部は、副判定部から通知を受信すると、統計失敗回数を更新し、更新後の統計失敗回数が設定閾値以下であるか否か判定するよう構成される。第２副更新部はさらに、更新後の統計失敗回数が設定閾値以下であると判定すると、副取得部に、現在の時間情報と現在の軌道点の地理的位置情報を取得する動作を実行させ、そうでない場合、副取得部が実行する動作に戻るよう構成される。
本例では、記録部は、取得部が取得した現在の時間情報と現在の軌道点の地理的位置情報とを、移動端末に対応する軌道ログに記録するように構成することが好ましい。この場合、図１１に示すように、本システムは、例えば、画像インポート部と、ログインポート部と、送信部を備えるクライアントとをさらに備える。
画像インポート部は、撮像装置が撮った画像の画像情報をクライアントへインポートするよう構成される。画像情報は、例えば、画像の識別情報（ＩＤ）と画像取得時間を含む。
ログインポート部は、軌道ログをクライアントへインポートするよう構成される。
送信部は、インポートされた画像情報と軌道ログを照会サーバへ送信するよう構成される。
上記構成の場合、図１１に示すように、位置判定部は、副整合部と副判定部を備えてもよい。
副整合部は、受信した軌道ログにおける軌道点を分析し、マップ内で、この軌道点の地理的位置情報との整合度がより高い整合点を検索するよう構成される。
副判定部は、画像の画像取得時間と、軌道ログにおける時間情報と軌道点の地理的位置情報に基づいて、副整合部が特定した整合点を分析し、画像が撮られた場所の地理的位置情報を判定するよう構成される。
副整合部は、照会モジュールと、確率算出モジュールと、成立モジュールと、経路算出モジュールと、整合点判定モジュールとを備えてもよい。
照会モジュールは、軌道ログからすべての軌道点を取得し、各軌道点に関して、マップ内で、Ｒの設定範囲内の軌道点のマッピング候補点を照会するよう構成される。
確率算出モジュールは、近接するすべての軌道点のマッピング候補点間の遷移確率を算出するよう構成される。２つのマッピング候補点間の遷移確率とは、例えば、ユーザがこれら２つのマッピング候補点から実際に軌道移行を実行する可能性を表す。
成立モジュールは、近接するすべての軌道点のマッピング候補点間の遷移確率に基づいて、有向グラフＧ（Ｖ，Ｅ）を成立させるよう構成される。Ｖは、例えば、設定仮想ノードｓと設定仮想ノードｔと、近接するすべての軌道点のマッピング候補点を含む。
経路算出モジュールは、有向グラフＧ（Ｖ，Ｅ）における最長距離である、すべての軌道点のマッピング候補点を経由した仮想ノードｓから仮想ノードｔに到る距離と、この最長距離に対応する軌跡経路を算出するよう構成される。
整合点判定モジュールは、得られた軌跡経路に基づいて、マップ内で、各軌道点の地理的位置情報との整合度がより高い整合点を検索するよう構成される。
副判定部は、実行に際して、分類モジュールと、検索モジュールと、位置判定モジュールとを備えることが好ましい。
分類モジュールは、軌道ログの軌道点に関する時間情報に基づいて、副整合部が特定した、軌道点の地理的位置情報との整合度がより高い各整合点を分類し、整合点シーケンスを取得するよう構成される。
各画像に関して、検索モジュールは、画像の画像取得時間に基づいて、上記整合点シーケンスに対して二分探索を行い、画像が持つ画像取得時間にもっとも近い少なくとも２つの整合点を得るよう構成される。
位置判定モジュールは、画像が撮られた時間と、副検索部によって得られた整合点の位置と速度の直線関係に基づいて、画像が撮られた場所の地理的位置情報を算出するよう構成される。
以上で、本発明が提供するシステム構造の説明を終える。
以上説明した技術的課題の解決手段に基づいて、本発明では、撮像画像が持つ画像取得時間と移動端末に記録された時間情報を、撮像装置と移動端末の間で行う通信の橋渡しとして取得することで、ＧＰＳナビゲーション機能のような移動端末装置のナビゲーション機能を上手く画像に関連付けることができ、コスト増加を招くことなく、画像に地理的位置情報を持たせることができる。
さらに、本発明では、移動端末が持つナビゲーション機能を利用する際、ナビゲーション機能の使用を最小限にし、リソース消費量増加を効果的に抑えることが可能になる。
さらに、本発明では、画像が撮られた場所の地理的位置情報を、軌道ログマップ整合アルゴリズムを用いて判定するため、こうして判定された撮像場所の地理的位置情報は、その精度が向上する。

Claims (10)

  1. 移動端末のナビゲーション機能に基づいて画像の位置を特定する方法であって、
    撮像装置で前記画像を撮像する間、現在の時間情報と現在の軌道点の地理的位置情報とを、前記移動端末によって、前記移動端末の前記ナビゲーション機能を用いて取得しかつ記録することと、
    前記画像が撮像された場所の地理的位置情報が判定されるように、前記撮像画像が持つ画像取得時間と前記移動端末が取得した前記時間情報とを関連付けることと、
    を含み、
    前記撮像装置の時間は前記移動端末の時間と同期しており、
    前記移動端末により、前記移動端末のナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得し記録する際に、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得し記録することは、
    Δt時間待機した後、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを、前記移動端末によって、前記移動端末の前記ナビゲーション機能を用いて取得することと、
    前記移動端末が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功すると、前記移動端末によって、取得した現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを記録し、前記取得が最初の取得である場合、または最初の取得ではないが前回の取得が成功している場合、前記Δt時間待機する前記移動端末による工程を実行し、そうでない場合、前記Δt時間を更新し、更新後の前記Δt時間待機した後、前記移動端末の前記ナビゲーション機能を利用して、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する前記移動端末による工程を実行することと、
    前記移動端末が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗すると、統計失敗回数を更新し、更新後の前記統計失敗回数が設定閾値以下であるか否かを判定し、前記設定閾値以下であると判定すると、前記Δt時間を更新し、更新後の前記Δt時間待機した後、前記移動端末のナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する前記移動端末の工程を実行し、そうでない場合、前記Δt時間待機する前記移動端末の工程を実行することと、
    を含み、
    前記移動端末が、前記移動端末の前記ナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功し、かつ前記取得が最初の取得ではなく、かつ前回の取得が失敗している場合、前記Δt時間を更新することは、
    前記Δt時間が設定デフォルト時間未満であるか否かを判定することを含み、
    前記Δt時間が前記設定デフォルト時間未満であると判定した場合、前記Δt時間を前記設定デフォルト時間に更新し、そうでない場合、前記Δt時間を第１設定値に短縮し、
    前記移動端末が、前記移動端末の前記ナビゲーション機能を用いて、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗し、かつ前記統計失敗回数が前記設定閾値以下である場合、前記Δt時間を更新することは、
    前記Δt時間が設定最大時間以上であるか否か判定することを含み、
    前記Δt時間が前記設定最大時間以上であると判定した場合、前記Δt時間を前記設定最大時間に更新し、そうでない場合、前記Δt時間を第２設定値に延長する、
    ことを特徴とする方法。
  2. 前記移動端末により、取得した現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを記録することは、
    取得した現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを、前記移動端末によって、前記移動端末に対応する軌道ログに記録することを含み、
    前記画像が撮像された場所の前記地理的位置情報が判定されるように、前記撮像画像の画像取得時間と前記移動端末が取得した前記時間情報とを関連付けることは、
    前記撮像画像の画像情報と前記軌道ログとをクライアントへそれぞれインポートすることと、
    前記クライアントにインポートされた少なくとも画像識別情報（ＩＤ）と前記画像の前記画像取得時間とを含む前記画像情報と前記軌道ログとを、前記クライアントによってサーバへ送信することと、
    前記サーバによって、前記軌道ログの前記軌道点を分析して、マップ内で前記軌道点の前記地理的位置情報との整合度がより高い整合点を検索することと、
    前記サーバによって、前記画像の前記画像取得時間と、前記軌道ログにおける前記時間情報と前記軌道点の前記地理的位置情報とに基づいて、前記軌道ログの前記軌道点を分析し、前記マップから特定した、前記軌道点の前記地理的位置情報との整合度がより高い前記整合点を分析し、前記画像が撮像された場所の前記地理的位置情報を判定することと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記撮像画像の前記画像情報と前記軌道ログとを前記クライアントへそれぞれインポートすることと、前記クライアントにインポートされた前記画像情報と前記軌道ログとを前記クライアントによって前記サーバへ送信することは、
    前記軌道ログからすべての前記軌道点を取得し、前記軌道点の各々に対して、前記マップ内で、Ｒの設定範囲内にある前記軌道点のマッピング候補点を検索することと、
    ユーザが２つの前記マッピング候補点から実際に軌道移行を実行する可能性を表すマッピング候補点間の遷移確率を、近接するすべての前記軌道点の前記マッピング候補点間で算出することと、
    Ｖは設定仮想ノードｓ，ｔ、および近接するすべての前記軌道点のすべての前記マッピング候補点を含み、前記設定仮想ノードｓは、前記軌道ログの最初の軌道点の前記マッピング候補点と接続されて接続経路距離が０になり、前記仮想ノードｔは、前記軌道ログの最後の軌道点の前記マッピング候補点と接続されて接続経路距離が０になる有向グラフＧ（Ｖ，Ｅ）を、近接するすべての前記軌道点の前記マッピング候補点間の前記遷移確率に基づいて成立させることと、
    前記有向グラフＧ（Ｖ，Ｅ）における、すべての前記軌道点の前記マッピング候補点を経由する前記仮想ノードｓから前記仮想ノードｔに到る最長距離と、前記最長距離に対応する軌跡経路とを算出することと、
    得られた前記軌跡経路に基づいて、前記マップ内で、前記軌道点の各々の前記地理的位置情報との整合度がより高い前記整合点を検索することと、
    を含むことを特徴とする請求項２に記載の方法。
  4. 前記軌道点のマッピング候補点とこれに近接する軌道点のマッピング候補点の間の前記遷移確率を計算することは、下記の式を用いて実行され、
    Figure 0005844920
     上記式において、p(i)とp(j)は、近接する２つの前記軌道点を表し、t(i,g)は、軌道点p(i)の前記マッピング候補点を表し、t(j,k)は、軌道点p(j)の前記マッピング候補点を表し、P(t(i,g),t(j,k))は、前記軌道点p(i)の前記マッピング候補点t(i,g)と前記軌道点p(j)の前記マッピング候補点t(j,k)の間における前記遷移確率を表し、dist(p(i),p(j))は、前記近接する２つの軌道点p(i)、p(j)の間のユークリッド距離を表し、distshortest(t(i,g),t(j,k))は、前記マップにおいて、前記マッピング候補点t(i,g)と前記マッピング候補点t(j,k)との間の最短距離を表す、
    ことを特徴とする請求項３に記載の方法。
  5. 前記サーバによって、前記画像の前記画像取得時間と、前記軌道ログにおける前記時間情報と前記軌道点の前記地理的位置情報とに基づいて、前記軌道ログの前記軌道点を分析し、前記マップから特定した、前記軌道点の前記地理的位置情報との整合度がより高い前記整合点を分析し、前記画像が撮像された場所の前記地理的位置情報を判定することは、
    前記サーバによって、前記軌道ログの前記軌道点に関する前記時間情報に基づいて前記軌道ログの前記軌道点を分析し、前記マップから特定した、前記軌道点の前記地理的位置情報との整合度がより高い前記整合点を分類し、整合点シーケンスを取得することと、
    前記画像の各々に関して、前記画像の前記画像取得時間に基づいて、前記整合点シーケンスに対して二分探索を行い、前記画像の前記画像取得時間に最も近い、少なくとも２つの前記整合点を得ることと、
    前記画像の前記画像取得時間と、前記画像の前記画像取得時間に最も近い、前記少なくとも２つの整合点の位置と速度の直線関係に基づいて、前記画像が撮像された場所の前記地理的位置情報を算出することと、
    を含むことを特徴とする請求項２に記載の方法。
  6. 得られた前記軌跡経路に基づいて、前記マップ内で、前記軌道点の各々の前記地理的位置情報との整合度がより高い前記整合点を検索することは、
    前記軌道点の各々に関して、前記軌跡経路の前記軌道点を、前記軌道点の前記地理的位置情報との整合度がより高い前記整合点として得る、
    ことを特徴とする請求項３に記載の方法。
  7. 移動端末のナビゲーション機能に基づいて画像の位置を特定するシステムであって、
    前記システムは、前記ナビゲーション機能を有する移動端末と照会サーバとを備え、
    撮像装置の時間は前記移動端末の時間と同期しており、
    前記移動端末は、取得部と記録部とを備え、
    前記取得部は、前記撮像装置を用いて前記画像を撮像する間、現在の時間情報と現在の軌道点の地理的位置情報とを、前記移動端末のナビゲーション機能を用いて取得するよう構成され、
    前記記録部は、前記取得部が取得した前記情報を記録するよう構成され、
    前記照会サーバは、前記撮像画像が持つ画像取得時間と前記移動端末が取得した時間情報とを関連付けて、前記画像が撮像された場所の地理的位置情報を判定する位置判定部を備え、
    前記取得部は、副取得部と、副判定部と、第１副更新部と、第２副更新部とを備え、
    前記副取得部は、Δt時間待機した後、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを、前記移動端末のナビゲーション機能を用いて取得し記録する動作を実行するよう構成され、
    前記副判定部は、前記副取得部が、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功したか否かを判定するよう構成され、
    前記副判定部はさらに、前記副取得部が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に失敗したと判定すると、前記第２副更新部に通知するよう構成され、
    前記副判定部はさらに、前記副取得部が現在の前記時間情報と現在の前記軌道点の前記地理的位置情報との取得に成功したと判定すると、前記副取得部が取得に成功した前記情報を前記記録部に記録させたうえで、さらに前記取得が最初の取得である、または最初の取得ではないが前回の取得が成功していると判定すると、前記副取得部が実行する前記動作に戻り、そうでない場合、通知を前記第１副更新部へ送信するよう構成され、
    前記第１副更新部は、前記副判定部から前記通知を受信すると、前記Δt時間を更新し、前記Δt時間が設定デフォルト時間未満であるか否かを判定することを含み、前記Δt時間が前記設定デフォルト時間未満であると判定した場合、前記Δt時間を前記設定デフォルト時間に更新し、そうでない場合、前記Δt時間を第１設定値に短縮し、更新後の前記Δt時間待機した後、前記副取得部で、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する動作を実行させるよう構成され、
    前記第２副更新部は、前記副判定部から通知を受信後、統計失敗回数を更新し、更新後の前記統計失敗回数が設定閾値以下であるか否か判定するよう構成され、
    前記第２副更新部はさらに、更新後の前記統計失敗回数が前記設定閾値以下であると判定すると、前記Δt時間を更新し、前記Δt時間が設定最大時間以上であるか否か判定することを含み、前記Δt時間が前記設定最大時間以上であると判定した場合、前記Δt時間を前記設定最大時間に更新し、そうでない場合、前記Δt時間を第２設定値に延長し、更新後の前記Δt時間待機した後、前記副取得部で、現在の前記時間情報と現在の前記軌道点の前記地理的位置情報とを取得する動作を実行させ、そうでない場合、前記副取得部が実行する前記動作に戻るよう構成される、
    ことを特徴とするシステム。
  8. 前記記録部はさらに、前記取得部が取得した現在の前記時間情報と現在の軌道点の前記地理的位置情報とを、前記移動端末に対応する軌道ログに記録するように構成され、前記システムはクライアントをさらに備え、
    前記クライアントは、画像インポート部と、ログインポート部と、送信部とを備え、
    前記画像インポート部は、前記撮像装置が撮像した前記画像の画像情報を前記クライアントへインポートするよう構成され、前記画像情報は、少なくとも画像の識別情報（ＩＤ）と画像取得時間とを含み、
    前記ログインポート部は、前記軌道ログを前記クライアントへインポートするよう構成され、
    前記送信部は、インポートされた前記画像情報と前記軌道ログとを前記照会サーバへ送信するよう構成され、
    前記位置判定部は、副整合部と副判定部とを備え、
    前記副整合部は、受信した前記軌道ログにおける前記軌道点を分析し、マップ内で、前記軌道点の前記地理的位置情報との整合度がより高い整合点を検索するよう構成され、
    前記位置判定部の副判定部は、前記画像の前記画像取得時間と、前記軌道ログの前記時間情報と前記軌道点の前記地理的位置情報と、前記副整合部により特定された前記整合点の分析とに基づいて、前記画像が撮像された場所の前記地理的位置情報を判定するよう構成される、
    ことを特徴とする請求項７に記載のシステム。
  9. 前記副整合部は、照会モジュールと、確率算出モジュールと、成立モジュールと、経路算出モジュールと、整合点判定モジュールとを備え、
    前記照会モジュールは、前記軌道ログからすべての前記軌道点を取得し、前記軌道点の各々に関して、前記マップ内で、Ｒの設定範囲内の前記軌道点のマッピング候補点を照会するよう構成され、
    前記確率算出モジュールは、ユーザが２つの前記マッピング候補点から実際に軌道移行を実行する可能性を表すマッピング候補点間の遷移確率を、近接するすべての前記軌道点の前記マッピング候補点間で算出するよう構成され、
    前記成立モジュールは、近接するすべての前記軌道点の前記マッピング候補点間の前記遷移確率に基づいて、有向グラフＧ（Ｖ，Ｅ）を成立させるよう構成され、前記有向グラフＧ（Ｖ，Ｅ）において、Ｖは、設定仮想ノードｓと、設定仮想ノードｔと、近接するすべての前記軌道点の前記マッピング候補点とを含み、
    前記経路算出モジュールは、前記有向グラフＧ（Ｖ，Ｅ）における、すべての前記軌道点の前記マッピング候補点を経由する前記仮想ノードｓから前記仮想ノードｔに到る最長距離と、前記最長距離に対応する軌跡経路とを算出するよう構成され、
    前記整合点判定モジュールは、得られた前記軌跡経路に基づいて、前記マップ内で、前記軌道点の各々の前記地理的位置情報との整合度がより高い整合点を検索するよう構成される、
    ことを特徴とする請求項８に記載のシステム。
  10. 前記位置判定部の副判定部は、分類モジュールと、検索モジュールと、位置判定モジュールとを備え、
    前記分類モジュールは、前記軌道ログの前記軌道点に関する前記時間情報に基づいて前記副整合部によって検索された、前記軌道点の前記地理的位置情報との整合度がより高い各整合点を分類して整合点シーケンスを取得するよう構成され、
    前記画像の各々に関して、前記検索モジュールは、前記画像の前記画像取得時間に基づいて、前記整合点シーケンスに対して二分検索を行い、前記画像の前記画像取得時間に最も近い、少なくとも２つの整合点を得るよう構成され、
    前記位置判定モジュールは、前記画像の前記画像取得時間と、前記副検索部によって得られた前記整合点の位置と速度との間の直線関係とに基づいて、前記画像が撮像された場所の前記地理的位置情報を算出するよう構成される、
    ことを特徴とする請求項８に記載のシステム。
JP2014545077A 2011-12-08 2012-12-05 移動端末のナビゲーション機能に基づく画像位置特定方法およびシステム Active JP5844920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201110405657.2 2011-12-08
CN201110405657.2A CN103167395B (zh) 2011-12-08 2011-12-08 基于移动终端导航功能的照片定位方法和系统
PCT/CN2012/085916 WO2013083038A1 (zh) 2011-12-08 2012-12-05 基于移动终端导航功能的照片定位方法和系统

Publications (2)

Publication Number Publication Date
JP2015505180A JP2015505180A (ja) 2015-02-16
JP5844920B2 true JP5844920B2 (ja) 2016-01-20

Family

ID=48573553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545077A Active JP5844920B2 (ja) 2011-12-08 2012-12-05 移動端末のナビゲーション機能に基づく画像位置特定方法およびシステム

Country Status (5)

Country Link
US (1) US8976266B2 (ja)
JP (1) JP5844920B2 (ja)
KR (1) KR101620299B1 (ja)
CN (1) CN103167395B (ja)
WO (1) WO2013083038A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320068B2 (ja) * 2013-03-29 2018-05-09 キヤノン株式会社 情報処理装置、ネットワークカメラ及びシステム
CN103685946B (zh) * 2013-11-30 2017-08-08 北京智谷睿拓技术服务有限公司 一种拍照方法和控制设备
CN104767782A (zh) * 2014-01-08 2015-07-08 腾讯科技（深圳）有限公司 一种关联照片事件的方法和装置
KR20150093294A (ko) * 2014-02-06 2015-08-18 한국전자통신연구원 통신 단말 사용자의 경험 공유 장치 및 그 방법
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US9818196B2 (en) 2014-03-31 2017-11-14 Xiaomi Inc. Method and device for positioning and navigating
CN105488074B (zh) * 2014-09-28 2020-09-01 小米科技有限责任公司 照片聚类的方法及装置
CN104462273B (zh) * 2014-11-25 2017-10-10 百度在线网络技术（北京）有限公司 提取轨迹的方法及系统
CN111831849A (zh) * 2014-12-30 2020-10-27 华为技术有限公司 一种获取地理位置信息的方法、装置及电子终端
WO2016123743A1 (zh) * 2015-02-03 2016-08-11 华为技术有限公司 滤镜的智能匹配方法和终端
CN104657934B (zh) 2015-02-09 2018-08-10 青岛海信移动通信技术股份有限公司 一种图像数据的处理方法和装置
CN104657206B (zh) 2015-02-09 2018-09-28 青岛海信移动通信技术股份有限公司 一种图像数据的处理方法和装置
CN105068759B (zh) * 2015-07-24 2018-05-15 吴中林 个人-家庭用独立智能大数据量存储系统
CN105007217B (zh) * 2015-08-05 2018-09-04 北京易伟航科技有限公司 通过带有时间属性的地理标记寻找社会关系的系统及方法
CN105120168A (zh) * 2015-09-01 2015-12-02 上海由零网络科技有限公司 一种基于移动摄像机的视频拍摄方法及移动摄像机
CN106996785B (zh) * 2016-01-25 2019-12-10 北京四维图新科技股份有限公司 一种对导航数据进行更新的方法及装置
CN105635972A (zh) * 2016-03-10 2016-06-01 北京小米移动软件有限公司 图像处理方法及装置
CN106767850B (zh) * 2016-11-10 2022-12-30 广州市沃希信息科技有限公司 一种基于场景图片的乘客定位方法及系统
CN106595678A (zh) * 2016-11-10 2017-04-26 广州市沃希信息科技有限公司 一种乘客定位方法及系统
CN106767851B (zh) * 2016-11-15 2019-09-20 北京京东尚科信息技术有限公司 将定位系统采集到的轨迹点匹配到地图的方法及其装置
CN106792502A (zh) * 2016-11-22 2017-05-31 中国平安财产保险股份有限公司 一种基于车险智能定损平台的修理厂拍照定位方法及系统
CN107666652A (zh) * 2017-07-11 2018-02-06 珠海智加物联网络有限公司 一种拍照定位方法及系统
US10598499B2 (en) * 2018-07-25 2020-03-24 Kabushiki Kaisha Toshiba Method and device for accelerated map-matching
CN109325082B (zh) * 2018-08-02 2021-04-09 武汉中海庭数据技术有限公司 基于多源传感器log文件截取的方法
CN109145144B (zh) * 2018-08-24 2021-07-30 贵州宽凳智云科技有限公司北京分公司 高精度道路数据采集时位置与图片的匹配方法
CN112995524A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN111198929B (zh) * 2020-01-06 2023-03-28 中山大学 一种gps轨迹与活动日志数据融合的自动处理方法及系统
CN111680184A (zh) * 2020-05-22 2020-09-18 常州市新翼空间信息科技有限公司 一种用于航片筛选的正射文件预处理系统
CN113688267A (zh) * 2021-08-25 2021-11-23 中国工商银行股份有限公司 一种基于移动终端的图片分类方法及装置
CN114894164B (zh) * 2022-04-08 2023-08-29 广州南方卫星导航仪器有限公司 一种倾斜影像匹配筛选方法及系统
CN114660085A (zh) * 2022-05-25 2022-06-24 深圳思谋信息科技有限公司 定位方法、装置、系统、存储介质和计算机程序产品

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094916A (ja) * 1999-09-17 2001-04-06 Sony Corp 情報処理方法および装置、並びにプログラム格納媒体
JP2004140658A (ja) * 2002-10-18 2004-05-13 Citizen Watch Co Ltd 情報処理装置、位置情報利用システム、および画像管理方法
US20060187867A1 (en) * 2003-01-13 2006-08-24 Panje Krishna P Method of obtaining and linking positional information to position specific multimedia content
FI20031657A (fi) * 2003-11-14 2005-05-15 Nokia Corp Langaton monikamerajärjestelmä
JP4356688B2 (ja) 2005-12-07 2009-11-04 ソニー株式会社 撮像装置、およびデータ記録方法、データ表示制御方法、並びにコンピュータ・プログラム
KR101364534B1 (ko) * 2006-11-16 2014-02-18 삼성전자주식회사 영상에 위치정보를 입력하는 시스템 및 그 동작 방법
WO2008116376A1 (en) * 2007-03-24 2008-10-02 Yuejun Yan A portable digital photographing system
JP2009063451A (ja) * 2007-09-06 2009-03-26 Sony Corp 測位装置及び測位方法
JP2009089126A (ja) * 2007-10-01 2009-04-23 Olympus Imaging Corp 情報関連付けシステムおよび情報関連付け方法
KR20090053479A (ko) 2007-11-23 2009-05-27 삼성디지털이미징 주식회사 영상에 위치정보를 입력하는 시스템 및 그 동작 방법
TWI388917B (en) 2009-02-25 2013-03-11 Gps device with a display function and method for using the same
JP2010267000A (ja) * 2009-05-13 2010-11-25 Nec Corp 経路推定装置、経路推定方法、およびプログラム
CN201517925U (zh) * 2009-10-13 2010-06-30 经纬卫星资讯股份有限公司 无人机遥感探测器
CN101784005A (zh) * 2009-12-17 2010-07-21 华为终端有限公司 兴趣点的检索方法及终端

Also Published As

Publication number Publication date
JP2015505180A (ja) 2015-02-16
WO2013083038A1 (zh) 2013-06-13
CN103167395B (zh) 2015-08-12
CN103167395A (zh) 2013-06-19
KR20140110923A (ko) 2014-09-17
US8976266B2 (en) 2015-03-10
KR101620299B1 (ko) 2016-05-12
US20140300776A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP5844920B2 (ja) 移動端末のナビゲーション機能に基づく画像位置特定方法およびシステム
EP2468017B1 (en) Method and apparatus for generating, managing, and sharing moving path
JP4384501B2 (ja) 異なる種類の複数の信号源を使用した記録場所の決定
US9641977B2 (en) Inferring positions with content item matching
US9163945B2 (en) Database search for visual beacon
US20140343984A1 (en) Spatial crowdsourcing with trustworthy query answering
US9086288B2 (en) Method and system for finding paths using GPS tracks
KR100723842B1 (ko) 사용자 생성 위치기반 서비스 시스템 및 그 제공 방법
US10602315B2 (en) System and method for providing a platform for creating, browsing and searching a journal of activities of a user
US9338592B1 (en) Reducing crowdsourcing network traffic
US10963917B2 (en) Method and system for determining fact of visit of user to point of interest
JP2013034103A (ja) 測位誤差を含む位置情報から対象エリアを特定するデータベースサーバ、システム、プログラム及び方法
TW201219813A (en) System and method for hybrid positioning implemented at cloud server
US20100153465A1 (en) System and method for providing image geo-metadata mapping
US20200053514A1 (en) Collaborative geo-positioning of electronic devices
US20210334534A1 (en) Method and system for tracking and displaying object trajectory
JP5364557B2 (ja) 滞在地推定装置、方法及びプログラム
EP4020939B1 (en) Evaluating ip location on a client device
JP2020511078A (ja) 同期ローカル検索結果のための可視ネットワークの添付
JP5942404B2 (ja) 情報解析装置、情報解析方法及びプログラム
JP4376962B1 (ja) ナビゲーションシステム、ナビゲーション装置およびその方法
KR20220008328A (ko) 실제와 가상을 결합한 위치 추적 방법
Yadav et al. Empowering feature phones to build smart mobile networked systems
Musa Advanced Techniques for Mobile Localization and Tracking
JP2007216696A (ja) 鉄道乗換情報検索システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151119

R150 Certificate of patent or registration of utility model

Ref document number: 5844920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250