JP4479929B2 - 撮影画像利用システムおよび撮影画像利用方法 - Google Patents

撮影画像利用システムおよび撮影画像利用方法 Download PDF

Info

Publication number
JP4479929B2
JP4479929B2 JP2007193275A JP2007193275A JP4479929B2 JP 4479929 B2 JP4479929 B2 JP 4479929B2 JP 2007193275 A JP2007193275 A JP 2007193275A JP 2007193275 A JP2007193275 A JP 2007193275A JP 4479929 B2 JP4479929 B2 JP 4479929B2
Authority
JP
Japan
Prior art keywords
image
mobile terminal
related information
information
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007193275A
Other languages
English (en)
Other versions
JP2008210364A (ja
Inventor
康彦 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007193275A priority Critical patent/JP4479929B2/ja
Publication of JP2008210364A publication Critical patent/JP2008210364A/ja
Application granted granted Critical
Publication of JP4479929B2 publication Critical patent/JP4479929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、移動端末で撮影した撮影画像を利用する撮影画像利用システムおよび撮影画像利用方法に関する。
近年、携帯電話機等の移動端末は、その機能が著しく充実してきたことに伴い、様々な分野で利用されるようになっている。
例えば、特許文献1には、携帯電話機を利用した物品関連情報提供システムが記載されている。これによれば、携帯電話機が、広告等に貼付されたRFIDタグの情報を読み取り、その広告等に掲載された物品の関連情報を物品関連情報提供サーバに要求すると、物品関連情報提供サーバがデータベースを検索して関連情報を携帯電話機に送信する。
また、特許文献2には、携帯電話機を利用した電車運賃徴収システムが記載されている。これによれば、ユーザーが携帯電話機を携帯して自動改札機を通過するタイミングで、自動改札機は、携帯電話機に内蔵されたICチップ内から非接触で乗車券を読み取り、乗車券の認証結果が正常であれば乗降情報をICチップ内に非接触で書き込んだ後、ユーザーの通過を許可する。鉄道会社側サーバは、一定期間毎に携帯電話機の乗降情報の送信を要求し、携帯電話機から送信されてきた乗降情報を基にユーザーの運賃を決算する。
特開2005−182676号公報 特開2003−077019号公報 特開2003−259457号公報
ところで、現在、ほとんどの移動端末には、カメラ機能が備えられており、ユーザーは、興味のある建物等の対象物を発見すると、その対象物を被写体として撮影しその撮影画像を収めておくケースが増えている。
したがって、今後は、ユーザー側から、移動端末で撮影した対象物に関連する関連情報を取得したいという要求が増えると考えられる。
しかしながら、特許文献1に記載の物品関連情報提供システムは、関連情報を取得できる対象物が、RFIDタグが貼付された広告等に掲載されている物品に限定されているため、移動端末で撮影した対象物の関連情報を取得することはできない。
また、ユーザーは、移動端末で撮影した対象物の関連情報を取得できるようになると、その関連情報を見た上で、その対象物のある場所に行くケースが増えると考えられる。ただし、対象物がある場所に入場するのに入場料金が必要な場合があり、そのような場合に、自動的に入場料金が支払われる仕組みがあればユーザーにとって便宜が良い。
したがって、今後は、ユーザー側から、移動端末で撮影した対象物がある場所への入場料金を自動的に徴収してほしいという要求が増えると考えられる。
しかしながら、特許文献2に記載の電車運賃徴収システムは、電車運賃の徴収に限定されているため、対象物がある場所への入場料金を徴収することはできない。
そこで、本発明の目的は、移動端末で撮影した対象物の関連情報を自動的に提供することができるとともに、その対象物のある場所への入場料金を自動的に徴収することができる撮影画像利用システムおよび撮影画像利用方法を提供することにある。
上記目的を達成するために本発明の第1の態様の撮影画像利用システムは、
移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置を前記移動端末が通過する前に、当該対象物のある場所への入場料金の決算処理を行う決算処理手段と、
前記決算処理手段にて決算処理が行われると、前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信し、前記移動端末に対し、決算済情報を送信する管理手段と、
前記複数の対象物のある場所の各々の入口に設置されたゲート装置に設けられ、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から前記決算済情報が読み取られ、かつ、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取手段と、を有することを特徴とする。
この構成によれば、移動端末を使用するユーザーは、移動端末で撮影した対象物の関連情報を自動的に取得することができ、また、その関連情報を見てその対象物のある場所に行く場合、その場所の入口に設置されたゲート装置を通過する前に、入場料金が自動的に徴収される。
上記目的を達成するために本発明の第2の態様の撮影画像利用システムは、
移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
前記画像検索手段から前記移動端末に関連情報が送信されると、当該関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信する管理手段と、
前記複数の対象物のある場所の各々の入口に設置されたゲート装置に設けられ、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取手段と、
前記ゲート装置の通過が許可されると、前記移動端末に送信された関連情報に対応する対象物のある場所への入場料金の決算処理を行う決算処理手段と、を有することを特徴とする。
この構成によれば、移動端末を使用するユーザーは、移動端末で撮影した対象物の関連情報を自動的に取得することができ、また、その関連情報を見てその対象物のある場所に行く場合、その場所の入口に設置されたゲート装置を通過する際に、入場料金が自動的に徴収される。
本発明によれば、移動端末を使用するユーザーは、移動端末で撮影した対象物の関連情報を自動的に取得することができ、また、その関連情報を見てその対象物のある場所に行く場合、その場所への入場料金が自動的に徴収されるという効果が得られる。
以下に、本発明を実施するための最良の形態について図面を参照して説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態の撮影画像利用システムの構成を示す図である。
図1に示すように、本実施形態の撮影画像利用システムは、ユーザー端末1と、対象物(被写体)2がある場所に設置されたゲート装置2aと、ネットワーク3と、画像検索装置4と、関連情報管理サーバ5と、決算処理サーバ6と、を有している。なお、図1においては、対象物2を東京タワーとしている。
ユーザー端末1は、RFIDタグ19(図4および図7参照)と、カメラ(図7参照)とを有する、携帯電話機、PHS(簡易型携帯電話機)、携帯情報端末(PDA:Personal Digital Assistant)等の移動端末である。また、ユーザー端末1には、デジタルカメラに接続して使用される移動端末も含まれる。また、ユーザー端末1は、画像検索ボタン1a(図4参照)を有している。
対象物2は、実物でも良いし、公告、新聞、雑誌、本、印刷物等の刊行物に掲載されている物でも良い。さらに、対象物2は、テレビやパソコンの画面に表示されている物でも良い。
ゲート装置2aは、建物、駅、博物館、動物園、遊園地、コンサート会場等である対象物のある場所の入口に設置されるものである。ここで言う入口は、出口も兼ねた出入り口でも良い。ゲート装置2aは、ユーザーがユーザー端末1を携帯してゲート装置2aを通過するタイミングで、ユーザー端末1のRFIDタグ19からの情報の読み取りを行うRFIDリーダやセンサー等の読取手段が設けられており、その読み取り結果に応じてユーザー端末1の通過が許可される。ゲート装置2aは、自動ドア、受付案内板、監視カメラ等でも良い。また、読取手段は、ユーザー端末1と可視光通信、赤外線通信、または非抵触通信等を行うことで、RFIDタグ19からの情報を読み取るものでも良い。
ネットワーク3は、インターネット等であり、対象物2の画像や関連情報等のやり取りが行われる。
画像検索装置4は、建物、駅、博物館、動物園、遊園地、コンサート会場等である対象物ごとに、その対象物の画像(写真)と、その対象物の関連情報と、その関連情報の保管元である関連情報管理サーバ5の所在を表す所在情報であるURL又はE−mailアドレスと、が対応付けて登録されている画像情報データベース41(図5参照)を備えている。なお、画像情報データベース41は、必ずしも画像検索装置4に設ける必要はなく、画像検索装置4から利用可能な状態でネットワーク3上に存在していても良い。ユーザー端末1から対象物2の画像が送信されてくると、画像検索装置4は、対象物2の画像に類似する画像を画像情報データベース41から検索する。検索された画像に関連情報が対応付けられていれば、画像検索装置4は、検索された画像に関連情報を合成してユーザー端末1へ送信する。また、検索された画像に関連情報が対応付けられていなければ、画像検索装置4は、検索された画像に対応付けられているURL又はE−mailアドレスを基に、関連情報の保管元である関連情報管理サーバ5へ自動的にアクセスして関連情報の送信要求を行う。関連情報管理サーバ5から関連情報を受信すると、画像検索装置4は、検索された画像に関連情報を合成してユーザー端末1へ送信し、また、その最新の関連情報を画像情報データベース41に登録する。また、画像検索装置4は、画像情報データベース41から複数の画像が検索された場合、複数の画像の各々に対し類似度に応じて優先順位を付与し、複数の画像を優先順位の高い順番に並び替え、優先度の最も高い画像とその画像に対応付けられている関連情報とを合成してユーザー端末1へ送信する。
関連情報管理サーバ5は、画像情報データベース41に登録されている画像に対応する対象物の関連情報を保管し、その関連情報をWebサイトにおいて提供する。すなわち、関連情報管理サーバ5は、画像検索装置4から関連情報の送信要求を受けると、要求された関連情報を画像検索装置4へ送信する。また、関連情報管理サーバ5は、ユーザー端末1が対象物のある場所に移動する場合、その場所の入口に設置されたゲート装置2aへ予約情報を送信し、また、決算処理サーバ6にて対象物のある場所への入場料金の決算処理が行われた場合、ユーザー端末1へ決算済情報を送信する。
決算処理サーバ6は、ユーザー端末1が対象物のある場所に移動する場合の入場料金の決算処理を行って、ユーザーから入場料金を徴収する。具体的には、決算処理サーバ6は、ユーザー端末1を使用するユーザーの口座から入場料金に相当する金額を引き落とし、関連情報管理サーバ5を運営する会社の口座に振り込む。なお、決算処理は、ユーザー端末1が対象物のある場所に到達する前に事前に行うか、または、ユーザー端末1が対象物のある場所の入口に設置されたゲート装置2aを通過する際に行う。
図2は、ユーザー端末1による撮影動作の一例を説明する図である。
図2に示す例では、ユーザー端末1は、実物の東京タワーを対象物2として撮影している。
図3に、ユーザー端末1による撮影動作の他の例を説明する図である。
図3に示す例では、ユーザー端末1は、刊行物である本21に掲載されている東京タワーを対象物2として撮影している。
図4は、ユーザー端末1の機能を説明する図である。
図4に示すように、ユーザー端末1は、画像検索装置4に対し、対象物2の画像の検索要求を行うための画像検索ボタン1aを備えている。画像検索ボタン1aが押下されると、対象物2に類似する画像とその画像に対応する関連情報とが画像検索装置4から自動的に送信されてくる。また、ユーザー端末1は、ユーザー端末1を識別する端末識別情報である端末IDや決算済情報等が登録されるRFIDタグ19を備えている。なお、このRFIDタグ19に画像検索装置4から受信した画像と関連情報を登録することも可能である。
図5は、画像検索装置4の構成を示すブロック図である。
図5に示すように、画像検索装置4は、画像情報データベース41と、画像抽出部42と、画像検索部43と、合成部44と、を有している。
画像情報データベース41には、建物、駅、博物館、動物園、遊園地、コンサート会場等である対象物ごとに、その対象物の画像(写真)と、その対象物の関連情報と、その関連情報の保管元である関連情報管理サーバ5のURL又はE−mailアドレスと、が対応付けて登録されている。また、画像情報データベース41には、これらの情報が、対象物の種類(場所、人等)ごとに登録されている。
画像抽出部42は、ユーザー端末1から対象物2を撮影した画像を受信すると、その対象物2の画像の特徴部分を抽出し、その対象物2の種類(場所、人等)を特定する。なお、画像の特徴部分は、その特徴部分の色、形、サイズ、位置等を基に判断される。
画像検索部43は、画像情報データベース41に登録されている画像のうち対象物2と同一種類の画像を対象とし、対象物2の画像の特徴部分の位置を移動、拡大、縮小などして、その特徴部分の色、形、サイズ、位置を比較することにより、対象物2の画像に類似する画像を検索する。検索された画像に対応付けてある関連情報が存在すれば、画像検索部43は、その関連情報を検索された画像とともに合成部44に渡す。一方、検索された画像に対応付けてある関連情報が存在しなければ、画像検索部43は、検索された画像に対応付けてあるURL又はE−mailアドレスを基に、関連情報の保管元である関連情報管理サーバ5へ自動的にアクセスして関連情報の送信要求を行う。関連情報管理サーバ5から関連情報を受信すると、画像検索部43は、その関連情報を検索された画像とともに合成部44に渡し、その最新の関連情報を画像情報データベース41に登録する。
合成部44は、画像検索部43から渡された画像と関連情報とを合成してユーザー端末1へ送信する。
図6は、画像情報データベース41に登録された画像情報の一例を示す図である。
図6に示す例では、画像情報データベース41には、対象物ごとに、その対象物の画像(写真)と、その対象物の名称と、その対象物のQRコード化された関連情報と、その関連情報の保管元である関連情報管理サーバ5のURLおよびE−mailアドレスと、が対応付けて登録されている。
また、画像検索部43は、画像情報データベース41からの検索が終了すると、検索された画像の各々に対象物2の画像との類似度に応じて優先順位を付与し、検索された画像を優先順位の高い順番に並び替える。
例えば、優先順位が1番高い東京タワーの画像には、「東京タワー」という名称と、「http://www.toukyoutawer…」というURLおよび「toukyoutawer@ab.jp…」というE−mailアドレスと、QRコード化された関連情報とが対応付けてある。よって、画像検索部43は、東京タワーの画像とともに、QRコード化された関連情報を解読したものを合成部44に渡すことになる。
図7は、ユーザー端末1の構成を示すブロック図である。
図7に示すように、ユーザー端末1は、アンテナ11と、送受信部12と、制御部13と、カメラ14と、スピーカー15と、表示部16と、記憶部17と、操作部18と、RFIDタグ19と、を有している。
操作部18は、ユーザーが操作を行う部分であり、画像検索ボタン1aも含まれる。
アンテナ11は、不図示の無線基地局と無線通信するためのアンテナである。即ち、ユーザー端末1は、アンテナ11を用いて無線基地局と無線通信を行うことでネットワーク3と接続し、ネットワーク3経由で画像検索装置4や決算処理サーバ6等との通信が可能となる。
送受信部12は、画像検索装置4との間では、画像検索ボタン1aが押下されたタイミングで対象物2を撮影した画像を送信し、これに対する画像と関連情報を受信する。また、送受信部12は、決算処理サーバ6との間では、対象物のある場所へ行くことに決定した場合にはその旨の情報を送信し、対象物のある場所への入場料金が決算された場合にはその旨の決算済情報を受信する。
カメラ14は、対象物2を撮影する。
スピーカー15は、通話音声等を出力し、また、表示部16は、画像検索装置から受信した画像と関連情報等を画面に表示する。
記憶部17は、画像検索装置4から受信した画像と関連情報を記憶する。
RFIDタグ19は、ユーザー端末1の端末IDや、決算処理サーバ6から受信した決算済情報等が登録される。なお、画像検索装置から受信した画像と関連情報は、RFIDタグ19に登録しても良い。
制御部13は、ユーザー端末1内の各構成要素の制御を行う。
図8は、ユーザー端末1の画面に表示される画像検索結果の一例を示す図である。
図8に示す例では、ユーザー端末1の画面には、画像検索装置4から受信した画像検索結果として、対象物である東京タワーの画像と関連情報が表示される。また、その画面上では対象物のある場所に行くこと、即ち、その場所に入場するための入場料金の決算処理をすることを決定することが可能である。
図9は、ユーザー端末1がゲート装置2aを通過することを許可する動作の一例を説明する図である。
図9に示す例では、ゲート装置2aが自動ドアであり、ユーザー端末1からの情報の読み取りを行う読取手段としてRFIDリーダ7が設けられている。
例えば、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する前に、入場料金の決算処理をすることを前提とした場合を考える。
この場合、関連情報管理サーバ5は、決算処理サーバ6による決算処理が終了した時点で、ユーザー端末1が目的地としている対象物のある場所の入口に設置されたゲート装置2aに対し、ユーザー端末1の端末IDを含む予約情報を送信し、ユーザー端末1に対し、決算済情報を送信する。
そのため、RFIDリーダ7は、ユーザー端末1が入口を通過するタイミングで、ユーザー端末1からの情報の読み取りを試行し、ユーザー端末1から決算済情報が読み取られ、かつ、ユーザー端末1から読み取られた端末IDと関連情報管理サーバ5からゲート装置2aに送信されてきた予約情報に含まれる端末IDとが一致する場合に、ユーザー端末1によるゲート装置2aの通過を許可することとし、ゲート装置2aが開く。
他方、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する際に入場料金の決算処理をすることを前提とする場合を考える。
この場合、関連情報管理サーバ5は、画像検索装置4からユーザー端末1に画像と関連情報が送信された時点で、ユーザー端末1が目的地としている対象物のある場所の入口に設置されたゲート装置2aに対し、ユーザー端末1の端末IDを含む予約情報を送信する。
そのため、RFIDリーダ7は、ユーザー端末1が入口を通過するタイミングで、ユーザー端末1からの情報の読み取りを試行し、ユーザー端末1から読み取られた端末IDと関連情報管理サーバ5からゲート装置2aに送信されてきた予約情報に含まれる端末IDとが一致する場合に、ユーザー端末1によるゲート装置2aの通過を許可することとし、ゲート装置2aが開く。
図10は、ユーザー端末1がゲート装置2aを通過することを許可する動作の他の例を説明する図である。
図10に示す例では、ゲート装置2aが受付案内板72である。本例の処理は、図9と同じであるため、説明を省略する。
以下、本実施形態の撮影画像利用システムの全体動作について説明する。
最初に、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する前に入場料金の決算処理をすることを前提とした場合の全体動作について説明する。
図11は、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する前に、入場料金の決算処理をすることを前提とした場合の全体動作を説明するフローチャートであり、図12は、図11の動作を模式的に説明する図である。
図11および図12に示すように、まず、ユーザー端末1は、カメラ14により対象物2を被写体として撮影し、画像検索ボタン1aが押下されると、送受信部12により対象物2の画像を画像検索装置4へ送信する(ステップA1)。
次に、画像検索装置4は、画像検索部43により対象物2の画像と類似する画像を画像情報データベース41から検索する。その結果、検索された画像に対応付けられた関連情報が存在すれば、画像検索装置4は、合成部44により画像と関連情報とを合成してユーザー端末1へ送信する(ステップA4)。一方、検索された画像に対応付けられた関連情報が存在しなければ、画像検索装置4は、画像検索部43により検索された画像に対応付けられたURL又はE−mailアドレスを基に関連情報管理サーバ5へ関連情報の送信要求を行う(ステップA2)。これを受けて、関連情報管理サーバ5は、画像検索装置4から要求された画像の関連情報を抽出して画像検索装置4に送信する(ステップA3)。関連情報管理サーバ5から関連情報が受信されると、画像検索装置4は、画像検索部43により関連情報を画像情報データベース41に登録し、また、合成部44により画像と関連情報とを合成してユーザー端末1へ送信する(ステップA4)。
これにより、ユーザー端末1は、対象物の関連情報を自動的に取得することができる。
ここで、ユーザーが、図8に示すようなユーザー端末1の画面上で、対象物の関連情報を見て、その対象物のある場所に行くこと、即ち、その場所に入場するための入場料金の決算処理をすることを決定したとする。すると、ユーザー端末1は、送受信部12によりその旨を決算処理サーバ6に通知する(ステップA5)。
次に、決算処理サーバ6は、ユーザー端末1を使用するユーザーの口座から入場料金に相当する金額を引き落とし、関連情報管理サーバ5を運営する会社の口座に振り込むことにより、入場料金の決算処理を行う(ステップA6)。
次に、関連情報管理サーバ5は、決算処理されたことを表す決算済情報をユーザー端末1に送信する(ステップA7)。この決算済情報は、端末IDとともにユーザー端末1のRFIDタグ19に登録される。さらに、関連情報管理サーバ5は、ユーザー端末1により入場の予約がなされたことを表す予約情報を、ユーザー端末1が目的地としている対象物のある場所の入口に設置されたゲート装置2aに送信する(ステップA8)。この予約情報は、ユーザー端末1の端末IDを含むもので、ゲート装置2aに設けられたRFIDリーダ7に登録される。
以降、ユーザーがユーザー端末1の画面上で関連情報を見て目的地へ移動すると、ユーザー端末1を携帯したユーザーが目的地の入口を通過するタイミングで、RFIDリーダ7は、ユーザー端末1からの情報の読み取りを試行する。そして、ユーザー端末1から決算済情報が読み取られ、かつ、ユーザー端末1から読み取られた端末IDと関連情報管理サーバ5からゲート装置2aに送信されてきた予約情報に含まれる端末IDとが一致する場合に、RFIDリーダ7は、ユーザー端末1によるゲート装置2aの通過を許可することとし、ゲート装置2aが開く。
その後、ユーザー端末1を携帯したユーザーは、ゲート装置2aを通過する(ステップA9)。
なお、ユーザー端末1は、ステップA4で画像検索装置4から受信した画像と関連情報を、RFIDタグ19に登録しておき、一定期間が経過しても、ステップA5の目的地へ移動する旨の決定がされない場合は、移動を中止したと判断し、以降にその旨の決定がなされても、決算処理サーバ6への通知をしないことにすることができる。
また、関連情報管理サーバ5は、目的地にゲート装置2aが複数設置されている場合、ステップA8で複数のゲート装置2aの各々に予約情報を送信することができる。これにより、ユーザーは、複数のゲート装置2aを全て通過することができる。
次に、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する際に入場料金の決算処理をすることを前提とした場合の全体動作について説明する。
図13は、ユーザー端末1が目的地の入口に設置されたゲート装置2aを通過する際に入場料金の決算処理をすることを前提とした場合の全体動作を説明するフローチャートである。
図13に示すように、まず、ユーザー端末1は、カメラ14により対象物2を被写体として撮影し、画像検索ボタン1aが押下されると、送受信部12により対象物2の画像を画像検索装置4へ送信する(ステップB1)。
次に、画像検索装置4は、画像検索部43により対象物2の画像と類似する画像を画像情報データベース41から検索する。その結果、検索された画像に対応付けられた関連情報が存在すれば、画像検索装置4は、合成部44により画像と関連情報とを合成してユーザー端末1へ送信する(ステップB4)。一方、検索された画像に対応付けられた関連情報が存在しなければ、画像検索装置4は、画像検索部43により検索された画像に対応付けられたURL又はE−mailアドレスを基に関連情報管理サーバ5へ関連情報の送信要求を行う(ステップB2)。これを受けて、関連情報管理サーバ5は、画像検索装置4から要求された画像の関連情報を抽出して画像検索装置4に送信する(ステップB3)。関連情報管理サーバ5から関連情報が受信されると、画像検索装置4は、画像検索部43により関連情報を画像情報データベース41に登録し、また、合成部44により画像と関連情報とを合成してユーザー端末1へ送信する(ステップB4)。
これにより、ユーザー端末1は、対象物の関連情報を自動的に取得することができる。
次に、画像検索装置4は、画像と関連情報とをユーザー端末1へ送信した旨を、合成部44により関連情報管理サーバ5に通知する(ステップB5)。
次に、関連情報管理サーバ5は、ユーザー端末1により対象物のある場所を目的地とし、その目的地への入場の予約がなされたと判断し、そのことを表す予約情報を、ユーザー端末1が目的地としている対象物のある場所の入口に設置されたゲート装置2aに送信する(ステップB6)。この予約情報は、ユーザー端末1の端末IDを含むもので、ゲート装置2aに設けられたRFIDリーダ7に登録される。
以降、ユーザーがユーザー端末1の画面上で関連情報を見て目的地へ移動すると、ユーザー端末1を携帯したユーザーが目的地の入口を通過するタイミングで、RFIDリーダ7は、ユーザー端末1からの情報の読み取りを試行する。そして、ユーザー端末1から読み取られた端末IDと関連情報管理サーバ5からゲート装置2aに送信されてきた予約情報に含まれる端末IDとが一致する場合に、RFIDリーダ7は、ユーザー端末1によるゲート装置2aの通過を許可することとし、ゲート装置2aが開く。
これにより、ユーザー端末1を携帯したユーザーは、ゲート装置2aを通過する(ステップB7)。また、ゲート装置2aは、ユーザー端末1によるゲート装置2aの通過を許可した旨を、決算処理サーバ6に通知する(ステップB8)。
次に、決算処理サーバ6は、ユーザー端末1を使用するユーザーの口座から入場料金に相当する金額を引き落とし、関連情報管理サーバ5を運営する会社の口座に振り込むことにより、入場料金の決算処理を行う(ステップB9)。
その後、関連情報管理サーバ5は、決算処理されたことを表す決算済情報をユーザー端末1に送信する(ステップB10)。
なお、ゲート装置2aは、ステップB6で関連情報管理サーバ5から予約情報とともに画像と関連情報を受信してRFIDリーダ7に登録しておき、一定期間が経過しても、ステップB7でゲート装置2aを通過しない場合は、移動を中止したと判断し、以降にゲート装置2aを通過しても、決算処理サーバ6への通知をしないことにすることができる。
また、関連情報管理サーバ5は、目的地にゲート装置2aが複数設置されている場合、ステップB6で複数のゲート装置2aの各々に予約情報を送信することができる。これにより、ユーザーは、複数のゲート装置2aを全て通過することができる。
上述したように本実施形態においては、ユーザー端末1が対象物2の画像を送信した際に、画像検索装置4は、対象物2の画像と類似する画像を画像情報データベース41から検索し、検索された画像に対応付けられた関連情報を対象物2の画像と合成してユーザー端末1へ送信する。また、決算処理サーバ6は、ユーザー端末1が対象物2のある場所に行く場合、その場所の入口に設置されたゲート装置2aを通過する前または通過する際に、入場料金を徴収する。
したがって、ユーザーは、ユーザー端末1で撮影した対象物2の関連情報を自動的に取得することができ、また、その関連情報を見てその対象物2のある場所に行く場合、その場所の入口に設置されたゲート装置2aを通過する前または通過する際に、入場料金が自動的に徴収されるという効果が得られる。
(第2の実施形態)
図14は、本発明の第2の実施形態の撮影画像利用システムの構成を示す図である。
図14に示すように、本実施形態の撮影画像利用システムは、図1に示した第1の実施形態と比較すると、管理制御装置8および情報処理装置144を設けた点が異なる。なお、図14においては、決算処理サーバ6が省略されている。
図14に示すように、対象物(東京タワーの実物)2から遠く離れた場所(東京タワーが存在するエリアとは異なるエリア内。例えば、沖縄にある図書館)で、対象物(本、新聞、記事、雑誌などに掲載された東京タワー)2を撮影して必要な情報を得るためのネットワーク通信を行うよりも、対象物(東京タワーの実物)2から近い場所(東京タワーが存在するエリアと同じエリア内)で、対象物(東京タワーの実物)2を撮影して必要な情報を得るためのネットワーク通信を行う頻度の方が高いと考えられる。
そのため、対象物(東京タワーの実物)2から近い場所(東京タワーが存在するエリアと同じエリア内)では、ユーザー端末1による通信が集中し、ネットワーク3上の各装置に接続し難くなる。また、必要な情報データのダウンロードに時間が掛かってしまう。更に、対象物(東京タワーの実物)2が存在するエリア内はリソース不足となる。
ところで、近年、移動端末の通信方式としては、2G(second generation)、3G(third generation)のW−CDMA(Wideband-Code Division Multiple Access)、4G(fourth generation)、WLAN(Wireless Local Area Network)、WiMAX(Worldwide Interoperability for Microwave Access)、Wi−Fi(Wireless Fidelity)等の通信方式が実用化されており、それら複数の通信方式を1つのユーザー端末で使用可能とする技術も提案されている。その一例として、マルチサービス端末が自局位置を検出し、その位置情報を管理サーバに送ることで得た利用可能な無線システムの情報を基に、利用可能な無線システムの中から選択条件に最適な無線システムを選択して使用する方法がある(例えば、特許文献3参照)。
しかしながら、特許文献3に開示された技術は、撮影した対象物の位置情報や撮影したユーザー端末の位置情報によるサービスエリア内の通信回線を選択するものではない。
そこで、本実施形態の撮影画像利用システムは、図14に示すような問題を改善するために、次のような構成となっている。
なお、図14において、東京都港区にある対象物(東京タワーの実物)2とユーザー端末1Aは、W−CDMA基地局10aを中心としたW−CDMAのサービスエリア(以下、W−CDMAエリアと称す)とWiMAX基地局9aを中心としたWiMAXのサービスエリア(以下、WiMAXエリアと称す)に跨って在圏するものとする。また、沖縄にある図書館の対象物(刊行物)2とユーザー端末1Bは、W−CDMA基地局10bを中心としたW−CDMAエリアに在圏するものとする。
ユーザー端末1A,1Bは、対象物2を撮影すると、対象物2の画像をネットワーク3を経由して画像検索装置4に送信する。また、ユーザー端末1A,1Bは、GPS機能を有しており、人工衛星100により自動的に位置情報を取得し、その位置情報を対象物2の画像と同時に画像検索装置4に送信する。
画像検索装置4は、対象物2の画像送信元のユーザー端末と対象物(東京タワーの実物)2の位置情報をネットワーク3を経由して管理制御装置8に送信する。
管理制御装置8は、画像送信元のユーザー端末と対象物(東京タワーの実物)2と各サービスエリアの基地局の位置情報を基に、画像送信元のユーザー端末と対象物(東京タワーの実物)2が同じサービスエリアに在圏するか否かを判定する。
管理制御装置8は、画像送信元のユーザー端末と対象物(東京タワーの実物)2が同じサービスエリアに在圏すると判定した場合は、画像送信元のユーザー端末と対象物(東京タワーの実物)2が在圏するWiMAXエリアおよびW−CDMAエリアの通信回線の状況を確認し、WiMAXエリアおよびW−CDMAエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)、または、伝送速度が最も速い通信回線を自動的に選択する。
画像検索装置4は、管理制御装置8に選択された通信回線に切り替えて、対象物2の画像と関連情報をユーザー端末1A,1Bに送信する。
なお、WiMAXと3GのW−CDMA以外の通信回線として、2Gや4Gや無線LANやWi−Fi等を複数使用できる。
図15は、画像検索装置4の構成を示すブロック図である。
図15に示すように、画像検索装置4は、画像情報データベース41と、画像抽出部42と、画像検索部43と、合成部44と、回線制御部45と、を有している。
画像情報データベース41には、建物、駅、博物館、動物園、遊園地、コンサート会場等である対象物ごとに、その対象物の画像(写真)と、その対象物の関連情報と、その対象物の位置情報と、その関連情報および位置情報の保管元である関連情報管理サーバ5のURL又はE−mailアドレスと、が対応付けて登録されている。また、画像情報データベース41には、これらの情報が、対象物の種類(場所、物等)ごとに登録されている。
画像抽出部42は、ユーザー端末1A,1Bから対象物2を撮影した画像を受信すると、その対象物2の画像の特徴部分を抽出し、その対象物2の種類(場所、物等)を特定する。なお、画像の特徴部分は、その特徴部分の色、形、サイズ、位置等を基に判断される。
画像検索部43は、画像情報データベース41に登録されている画像のうち対象物2と同一種類の画像を対象とし、対象物2の画像の特徴部分の位置を移動、拡大、縮小などして、その特徴部分の色、形、サイズ、位置を比較することにより、対象物2の画像に類似する画像を検索する。検索された画像に対応付けてある関連情報および位置情報が画像情報データベース41に存在すれば、画像検索部43は、その関連情報を、検索された画像とともに合成部44に渡し、その位置情報を、画像送信元のユーザー端末から受信した位置情報とともに管理制御装置8に送信して通信回線の選択要求を行う。一方、検索された画像に対応付けてある関連情報および位置情報が画像情報データベース41に存在しなれば、画像検索部43は、検索された画像に対応付けてあるURL又はE−mailアドレスを基に、関連情報および位置情報の保管元である関連情報管理サーバ5へ自動的にアクセスして関連情報および位置情報の送信要求を行う。関連情報管理サーバ5から関連情報および位置情報を受信すると、画像検索部43は、関連情報を検索された画像とともに合成部44に渡し、位置情報を管理制御装置8に送信して通信回線の選択要求を行い、その最新の関連情報および位置情報を画像情報データベース41に登録する。
合成部44は、画像検索部43から渡された画像と関連情報とを合成する。
回線制御部45は、管理制御装置8の後述する通信回線選択部84から指示された通信回線に切り替えて、合成部44により合成された画像と関連情報を、ユーザー端末1A,1Bに送信する。
図16は、管理制御装置8の構成を示すブロック図である。
図16に示すように、管理制御装置8は、ユーザー端末位置情報部81と、対象物位置情報部82と、通信回線監視部83と、通信回線選択部84と、WiMAXエリア情報格納部85と、W−CDMAエリア情報格納部86と、4Gエリア情報格納部87と、を有している。
そして、WiMAXエリア情報格納部85には、複数のWiMAX基地局情報#1〜#Nが格納される。更に、WiMAX基地局情報#1には、複数のWiMAX端末情報#1〜#Nが含まれる。WiMAX基地局情報#1〜#Nや各WiMAX基地局情報のWiMAX端末情報#1〜#Nは、位置情報や伝送速度や使用状況等である。W−CDMAエリア情報格納部86および4Gエリア情報格納部87にも、同様の情報が格納される。
なお、図16からは省略されているが、管理制御装置8には、2Gエリア、無線LANエリア、Wi−Fiエリアの情報格納部も設けられている。
ユーザー端末位置情報部81は、ユーザー端末1A,1Bが対象物2を撮影して送信した際のユーザー端末1A,1Bの位置情報を、画像検索装置4の画像検索部43を経由して受信する。
対象物位置情報部82は、画像検索装置4の画像検索部43から、対象物2の位置情報を受信する。
通信回線監視部83は、ユーザー端末1A,1Bの位置情報と、対象物2の位置情報と、WiMAXエリア、W−CDMAエリア、4Gエリア16等の各基地局情報および各端末情報の位置情報と、を常に監視し、WiMAXエリア情報格納部85、W−CDMAエリア情報格納部86、4Gエリア情報格納部87に登録する。
通信回線選択部84は、画像検索装置4の画像検索部43から通信回線の選択要求を受信すると、画像送信元のユーザー端末と対象物(東京タワーの実物)2と各サービスエリアの基地局の位置情報を基に、画像送信元のユーザー端末と対象物(東京タワーの実物)2が1以上の同じサービスエリアに在圏するか否かを判定する。もし、画像送信元のユーザー端末と対象物(東京タワーの実物)2が同じサービスエリアに在圏すると判定した場合は、画像送信元のユーザー端末と対象物(東京タワーの実物)2が在圏する1つ以上のサービスエリア(ここでは、WiMAXエリアとW−CDMAエリア)の通信回線の状況を確認し、WiMAXエリアとW−CDMAエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)、または、伝送速度が最も速い通信回線を自動的に選択し、通信回線選択の指示情報を画像検索装置4の回線制御部45に送信する。
以下、本実施形態の撮影画像利用システムの動作について説明する。
最初に、ユーザー端末1A,1Bおよび管理制御装置8の動作について説明する。
図17は、ユーザー端末1A,1Bおよび管理制御装置8の動作を説明するフローチャートである。
図17に示すように、ユーザー端末1A,1Bは、対象物2を撮影すると、対象物2の画像と位置情報を画像検索装置4へ送信する(ステップS1)。
管理制御装置8は、画像送信元のユーザー端末と対象物(東京タワーの実物)2が同じサービスエリアに在圏するか否かを判定する(ステップS2)。
もし、画像送信元が、対象物(東京タワーの実物)2と同じサービスエリア、すなわちWiMAXエリアおよびW−CDMAエリアに跨って在圏するユーザー端末1Aであると判定した場合、管理制御装置8は、ユーザー端末1Aおよび対象物(東京タワーの実物)2が在圏するWiMAXエリアおよびW−CDMAエリアの通信回線の状況を確認し、WiMAXエリアおよびW−CDMAエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)、または、伝送速度が最も速い通信回線を自動的に選択する(ステップS3)。
その後、ユーザー端末1A,1Bは、管理制御装置8に選択された通信回線に切り替えて、画像検索装置4から対象物2の画像と関連情報を受信する(ステップS5)。
一方、画像送信元が、対象物(東京タワーの実物)2と異なるサービスエリアに在圏するユーザー端末1Bであると判定した場合、管理制御装置8は、まず、ユーザー端末1Bが在圏するサービスエリアを優先的に選択する(ステップS4)。そして、ステップS3において、管理制御装置8は、ステップS4で選択したサービスエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)、または、伝送速度が最も速い通信回線を自動的に選択することになる。
次に、本実施形態の撮影画像利用システムの全体動作として、対象物(東京タワーの実物)2を撮影するユーザー端末1Aが在圏するW−CDMAエリアおよびWiMAXエリアのうち、W−CDMAエリア内よりもWiMAXエリア内の方に他のユーザー端末1が多く在圏していることを前提とした動作について説明する。
図18は、本実施形態の撮影画像利用システムの全体動作の一例を説明するフローチャートであり、図19は、図18の動作を模式的に説明する図である。
図18および図19に示すように、まず、ユーザー端末1Aが対象物(東京タワーの実物)2を被写体として撮影し、画像検索ボタン1aが押下されると、送受信部12により対象物2の画像とユーザー端末1Aの位置情報をWiMAXエリアのWiMAX基地局9aを経由して(ステップC1)、画像検索装置4に送信する(ステップC2)。
次に、画像検索装置4は、画像検索部43により対象物2の画像を画像情報データベース41から検索する。その結果、検索された画像に対応付けられた関連情報および位置情報が存在すれば、画像検索装置4は、管理制御装置8にユーザー端末1Aと対象物2の位置情報を送信して、通信回線の選択要求を行う(ステップC5)。これを受けて、管理制御装置8は、通信回線選択部84によりWiMAXエリアまたはW−CDMAエリアの通信回線を選択する。ここでは、WiMAXエリア内の方に他のユーザー端末1が多く在圏しており、W−CDMAエリアの通信回線の方が使用回線が少なく(空きが多い)、伝送速度が速いため、管理制御装置8は、W−CDMAエリアの通信回線を選択し、通信回線選択の指示情報を画像検索装置4の回線制御部45に送信する(ステップC6)。一方、検索された画像に対応付けられた関連情報および位置情報が存在しなければ、画像検索装置4は、画像検索部43により検索された画像に対応付けられたURL又はE−mailアドレスを基に関連情報管理サーバ5へ関連情報および位置情報の送信要求を行う(ステップC3)。これを受けて、関連情報管理サーバ5は、画像検索装置4から要求された画像の関連情報および位置情報を抽出して画像検索装置4に送信する(ステップC4)。管理制御装置8から通信回線選択の指示情報が受信されると、画像検索装置4は、画像検索部43により関連情報および位置情報を画像情報データベース41に登録するとともに、位置情報を管理制御装置8に送信して通信回線の選択要求を行い、また、合成部44により画像と関連情報とを合成し、W−CDMAエリアのW−CDMA基地局10aを経由して(ステップC7)、ユーザー端末1Aに送信する(ステップC8)。
これにより、ユーザー端末1Aは、対象物2の関連情報を、使用回線が少なく(空きが多い)、伝送速度が速いW−CDMAエリア内のW−CDMA基地局10aを経由して受信するため、対象物2の関連情報を高速ダウンロードで取得することができる。
次に、本実施形態の撮影画像利用システムの全体動作として、対象物(東京タワーの実物)2を撮影するユーザー端末1Aが在圏するW−CDMAエリアおよびWiMAXエリアのうち、WiMAXエリア内よりもW−CDMAエリア内の方に他のユーザー端末1が多く在圏していることを前提とした動作について説明する。
図20は、本実施形態の撮影画像利用システムの全体動作の他の例を説明するフローチャートであり、図21は、図20の動作を模式的に説明する図である。
図20および図21に示すように、まず、ユーザー端末1Aが対象物(東京タワーの実物)2を被写体として撮影し、画像検索ボタン1aが押下されると、送受信部12により対象物2の画像とユーザー端末1Aの位置情報をW−CDMAエリアのW−CDMA基地局10aを経由して(ステップD1)、画像検索装置4に送信する(ステップD2)。
次に、画像検索装置4は、画像検索部43により対象物2の画像を画像情報データベース41から検索する。その結果、検索された画像に対応付けられた関連情報および位置情報が存在すれば、画像検索装置4は、管理制御装置8にユーザー端末1Aと対象物2の位置情報を送信して、通信回線の選択要求を行う(ステップD5)。これを受けて、管理制御装置8は、通信回線選択部84によりWiMAXエリアまたはW−CDMAエリアの通信回線を選択する。ここでは、W−CDMAエリア内の方に他のユーザー端末1が多く在圏しており、WiMAXエリアの通信回線の方が使用回線が少なく(空きが多い)、伝送速度が速いため、管理制御装置8は、WiMAXエリアの通信回線を選択し、通信回線選択の指示情報を画像検索装置4の回線制御部45に送信する(ステップD6)。一方、検索された画像に対応付けられた関連情報および位置情報が存在しなければ、画像検索装置4は、画像検索部43により検索された画像に対応付けられたURL又はE−mailアドレスを基に関連情報管理サーバ5へ関連情報および位置情報の送信要求を行う(ステップD3)。これを受けて、関連情報管理サーバ5は、画像検索装置4から要求された画像の関連情報および位置情報を抽出して画像検索装置4に送信する(ステップD4)。管理制御装置8から通信回線選択の指示情報が受信されると、画像検索装置4は、画像検索部43により関連情報および位置情報を画像情報データベース41に登録するとともに、位置情報を管理制御装置8に送信して通信回線の選択要求を行い、また、合成部44により画像と関連情報とを合成して、WiMAXエリアのWiMAX基地局9aを経由して(ステップD7)、ユーザー端末1Aに送信する(ステップD8)。
これにより、ユーザー端末1Aは、対象物2の関連情報を、使用回線が少なく(空きが多い)、伝送速度が速いWiMAXエリア内のWiMAX基地局9aを経由して受信するため、対象物2の関連情報を高速ダウンロードで取得することができる。
図22は、画像情報データベース41に登録された画像情報の一例を示す図である。
図22に示すように、画像情報データベース41には、対象物ごとに、その対象物の画像(写真)と、その対象物の名称と、その対象物のQRコード化された関連情報と、その関連情報の保管元である関連情報管理サーバ5のURLおよびE−mailアドレスと、その対象物の緯度や経度などの位置情報と、が対応付けて登録されている。
上述したように本実施形態においては、ユーザー端末1A,1Bが対象物2の画像を送信した際に、管理制御装置8は、画像送信元のユーザー端末と対象物(東京タワーの実物)2が同じサービスエリアに在圏するか否かを判定する。もし、画像送信元が対象物(東京タワーの実物)2と同じサービスエリアに在圏するユーザー端末1Aであると判定した場合は、ユーザー端末1Aおよび対象物(東京タワーの実物)2が在圏するサービスエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)または伝送速度が最も速い通信回線を自動的に選択して切り替える。一方、画像送信元が対象物(東京タワーの実物)2と異なるサービスエリアに在圏するユーザー端末1Bであると判定した場合は、ユーザー端末1Bが在圏するサービスエリアを優先的に選択し、選択したサービスエリアの通信回線のうち、使用回線が最も少ない通信回線(空きが最も多い通信回線)または伝送速度が最も速い通信回線を自動的に選択して切り替える。
したがって、ユーザー端末1A,1Bは、対象物2の関連情報を高速ダウンロードで取得することができるという効果が得られる。
なお、本実施形態においては、ユーザーが、ユーザー端末1Aにより撮影した対象物2の画像を、本21や、新聞、記事、雑誌などの刊行物に掲載することも考えられる。このような場合、ユーザーは、対象物2に関係する会社(ここでは、関連情報管理サーバ5を運営する会社)へ事前に画像の登録申請を行い、登録認識情報を取得する。
図23は、ユーザー端末1Aにより撮影された画像の登録認識情報を説明する図である。
この場合、ユーザー端末1Aは、ユーザーが対象物2を刊行物に掲載する前に、関連情報管理サーバ5に対象物2の画像の登録要求を送信して画像の登録申請を行う。関連情報管理サーバ5は、関連情報管理サーバ5を運営する会社により画像の使用が許可された場合、登録認識情報151をユーザー端末1および画像検索装置4に送信し、ユーザー端末1および画像検索装置4は、登録認識情報151を登録する。登録認識情報151とは、ロゴマーク、文字、英数字、絵、バーコード、QRコード、URL、暗号化コード、E−mailなどの識別情報である。
ユーザー端末1Aは、対象物2の画像の一部に登録認識情報151を付加して画像検索装置4へ送信することで、画像検索装置4から対象物2の関連情報を取得する。ユーザーは、図23に示すように、対象物2の関連情報を、画像および登録認識情報151とともに、本21や、新聞、記事、雑誌などの刊行物に掲載する。
なお、登録認識情報151を掲載する箇所は、図23では画像の右下としたが、特に限定されない。
また、他のユーザー端末1が登録認識情報151を使った対象物2の画像を基にして目的地の入り口を通過して決算処理が行われた場合には、事前に登録認識情報151の登録申請をしたユーザーに対して、宣伝広告料として、登録申請した会社から利用回数の何割の代金が支払われる。
また、本実施形態においては、ユーザー端末1が画像撮影を行った対象物2の関連情報を、図14に示した、ユーザー端末1と同一ユーザーが使用するコンピュータやサーバである情報処理装置144で管理することも考えられる。
図24は、図14に示した情報処理装置144にて管理される関連情報の管理テーブルを説明する図である。
ユーザー端末1が撮影した画像を基にして目的地の入り口を通過し、決算処理が行われると、情報処理装置144に対し自動的に対象物の画像、その対象物の関連情報、決算の内容が送信され、情報処理装置144に保存される。これらの情報が情報処理装置144に自動的に送信されるようにするため、画像検索装置4および決算処理サーバ6には事前に情報処理装置144のアドレス情報を設定しておく。
本発明の第1の実施形態の撮影画像利用システムの構成を示す図である。 図1に示したユーザー端末による撮影動作の一例を説明する図である。 図1に示したユーザー端末による撮影動作の他の例を説明する図である。 図1に示したユーザー端末の機能を説明する図である。 図1に示した画像検索装置の構成を示すブロック図である。 図5に示した画像情報データベースに登録された画像情報の一例を示す図である。 図1に示したユーザー端末の構成を示すブロック図である。 図1に示したユーザー端末の画面に表示される画像検索結果の一例を示す図である。 図1に示したユーザー端末がゲート装置を通過することを許可する動作の一例を説明する図である。 図1に示したユーザー端末がゲート装置を通過することを許可する動作の他の例を説明する図である。 図1に示した撮影画像利用システムの全体動作の一例を説明するフローチャートである。 図11に示した動作を模式的に説明する図である。 図1に示した撮影画像利用システムの全体動作の他の例を説明するフローチャートである。 本発明の第2の実施形態の撮影画像利用システムの構成を示す図である。 図14に示した画像検索装置の構成を示すブロック図である。 図14に示した管理制御装置の構成を示すブロック図である。 図14に示したユーザー端末および管理制御装置の動作の一例を説明するフローチャートである。 図14に示した撮影画像利用システムの全体動作の一例を説明するフローチャートである。 図18に示した動作を模式的に説明する図である。 図14に示した撮影画像利用システムの全体動作の他の例を説明するフローチャートである。 図20に示した動作を模式的に説明する図である。 図15に示した画像情報データベースに登録された画像情報の一例を示す図である。 図14に示したユーザー端末により撮影された画像の登録認識情報を説明する図である。 図14に示した情報処理装置にて管理される関連情報の管理テーブルを説明する図である。
符号の説明
1,1A,1B ユーザー端末
11 アンテナ
12 送受信部
13 制御部
14 カメラ
15 スピーカー
16 表示部
17 記憶部
18 操作部
19 RFIDタグ
1a 画像検索ボタン
2 対象物(被写体)
21 本(刊行物)
2a ゲート装置
3 ネットワーク
4 画像検索装置
41 画像情報データベース
42 画像抽出部
43 画像検索部
44 合成部
5 関連情報管理サーバ
6 決算処理サーバ
7 RFIDリーダ
8 管理制御装置
81 ユーザー端末位置情報部
82 対象物位置情報部
83 通信回線監視部
84 通信回線選択部
85 WiMAXエリア情報格納部
86 W−CDMAエリア情報格納部
87 4Gエリア情報格納部
9a WiMAX基地局
10a,10b W−CDMA基地局
100 衛星
144 情報処理装置

Claims (22)

  1. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
    複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
    前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
    前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置を前記移動端末が通過する前に、当該対象物のある場所への入場料金の決算処理を行う決算処理手段と、
    前記決算処理手段にて決算処理が行われると、前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信し、前記移動端末に対し、決算済情報を送信する管理手段と、
    前記複数の対象物のある場所の各々の入口に設置されたゲート装置に設けられ、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から前記決算済情報が読み取られ、かつ、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取手段と、を有する撮影画像利用システム。
  2. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
    複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
    前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
    前記画像検索手段から前記移動端末に関連情報が送信されると、当該関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信する管理手段と、
    前記複数の対象物のある場所の各々の入口に設置されたゲート装置に設けられ、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取手段と、
    前記ゲート装置の通過が許可されると、前記移動端末に送信された関連情報に対応する対象物のある場所への入場料金の決算処理を行う決算処理手段と、を有する撮影画像利用システム。
  3. 前記画像検索手段は、前記データベースから複数の画像が検索された場合、当該複数の画像に対して類似度に応じて優先順位を付与し、優先順位の最も高い画像に対応付けられている関連情報を前記移動端末に送信する、請求項1または2に記載の撮影画像利用システム。
  4. 前記データベースは、前記複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報の保管元である前記管理手段の所在情報とをさらに対応付けて登録し、
    前記画像検索手段は、前記データベースから検索された画像に対応付けられている関連情報が存在しない場合、当該画像に対応付けられている所在情報を基に前記管理手段にアクセスして関連情報を取得する、請求項1から3のいずれか1項に記載の撮影画像利用システム。
  5. 前記移動端末は、
    対象物を撮影するカメラと、
    画像検索ボタンと、
    前記画像検索ボタンが押下されると、前記画像検索手段における被検索対象の画像として、前記カメラにて撮影された撮影画像を前記画像検索手段に送信する手段と、を有する請求項1から4のいずれか1項に記載の撮影画像利用システム。
  6. 前記読取手段は、前記移動端末との間で可視光通信、赤外線通信、または非抵触通信を行うことで、当該移動端末から情報を読み取る、請求項1から5のいずれか1項に記載の撮影画像利用システム。
  7. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
    複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
    前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
    前記移動端末および前記対象物が同じサービスエリアに在圏するか否かを判定し、同じサービスエリアに在圏すると判定した場合、前記移動端末および前記対象物が在圏する1以上のサービスエリアの通信回線のうち、使用回線が最も少ない通信回線または伝送速度が最も速い通信回線を選択する管理制御手段と、を有し、
    前記画像検索手段は、前記管理制御手段により選択された通信回線にて、前記移動端末に関連情報を送信する、撮影画像利用システム。
  8. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用システムであって、
    複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けて登録するデータベースと、
    前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する画像検索手段と、
    前記移動端末および前記対象物が同じサービスエリアに在圏するか否かを判定し、同じサービスエリアに在圏しないと判定した場合、前記移動端末が在圏する1以上のサービスエリアを優先して選択し、選択したサービスエリアの通信回線のうち、使用回線が最も少ない通信回線または伝送速度が最も速い通信回線を選択する管理制御手段と、を有し、
    前記画像検索手段は、前記管理制御手段により選択された通信回線にて、前記移動端末に関連情報を送信する、撮影画像利用システム。
  9. 前記サービスエリアは、2G、3G、4G、WLAN、WiMAX、Wi−Fiのサービスエリアを含む、請求項7または8に記載の撮影画像利用システム。
  10. 前記移動端末は、前記対象物の画像を刊行物に掲載するための当該画像の登録要求を前記管理手段に送信し、
    前記管理手段は、当該画像の使用を許可する場合、前記移動端末に登録認識情報を送信する、請求項1から9のいずれか1項に記載の撮影画像利用システム。
  11. 前記画像検索手段から前記対象物の関連情報の内容が通知されるとともに、前記決算処理手段から決算処理の内容が通知され、前記画像検索手段から通知された前記対象物の関連情報の内容と前記決算処理手段から通知された決算処理の内容とを保存する情報処理手段をさらに有する、請求項1から10のいずれか1項に記載の撮影画像利用システム。
  12. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用方法であって、
    画像検索手段が、複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けてデータベースに登録する登録ステップと、
    前記画像検索手段が、前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する検索ステップと、
    決算処理手段が、前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置を前記移動端末が通過する前に、当該対象物のある場所への入場料金の決算処理を行う決算ステップと、
    管理手段が、前記決算処理が行われると、前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信し、前記移動端末に対し、決算済情報を送信する通知ステップと、
    前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置に設けられた読取手段が、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から前記決算済情報が読み取られ、かつ、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取ステップと、を有する撮影画像利用方法。
  13. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用方法であって、
    画像検索手段が、複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けてデータベースに登録する登録ステップと、
    前記画像検索手段が、前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する検索ステップと、
    管理手段が、前記画像検索手段から前記移動端末に関連情報が送信されると、当該関連情報に対応する対象物のある場所の入口に設置されたゲート装置に対し、当該移動端末の端末識別情報を送信する通知ステップと、
    前記移動端末に送信された関連情報に対応する対象物のある場所の入口に設置されたゲート装置に設けられた読取手段が、当該入口を前記移動端末が通過するタイミングで、当該移動端末からの情報の読み取りを試行し、当該移動端末から読み取られた端末識別情報と前記管理手段からゲート装置に送信されてきた端末識別情報とが一致する場合に、ゲート装置の通過を許可する読取ステップと、
    決算処理手段が、前記ゲート装置の通過が許可されると、前記移動端末に送信された関連情報に対応する対象物のある場所への入場料金の決算処理を行う決算ステップと、を有する撮影画像利用方法。
  14. 前記検索ステップでは、前記画像検索手段が、前記データベースから複数の画像が検索された場合、当該複数の画像に対して類似度に応じて優先順位を付与し、優先順位の最も高い画像に対応付けられている関連情報を前記移動端末に送信する、請求項12または13に記載の撮影画像利用方法。
  15. 前記登録ステップでは、前記画像検索手段が、前記複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報の保管元である前記管理手段の所在情報とをさらに対応付けて前記データベースに登録し、
    前記検索ステップでは、前記画像検索手段が、前記データベースから検索された画像に対応付けられている関連情報が存在しない場合、当該画像に対応付けられている所在情報を基に前記管理手段にアクセスして関連情報を取得する、請求項12から14のいずれか1項に記載の撮影画像利用方法。
  16. 前記移動端末が、対象物をカメラにより撮影するステップと、
    前記移動端末が、当該移動端末の画像検索ボタンが押下されると、前記画像検索手段における被検索対象の画像として、前記カメラにて撮影された撮影画像を前記画像検索手段に送信するステップと、をさらに有する請求項12から15のいずれか1項に記載の撮影画像利用方法。
  17. 前記読取ステップでは、前記読取手段が、前記移動端末との間で可視光通信、赤外線通信、または非抵触通信を行うことで、当該移動端末から情報を読み取る、請求項12から16のいずれか1項に記載の撮影画像利用方法。
  18. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用方法であって、
    画像検索手段が、複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けてデータベースに登録する登録ステップと、
    前記画像検索手段が、前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する検索ステップと、
    管理制御手段が、前記移動端末および前記対象物が同じサービスエリアに在圏するか否かを判定し、同じサービスエリアに在圏すると判定した場合、前記移動端末および前記対象物が在圏する1以上のサービスエリアの通信回線のうち、使用回線が最も少ない通信回線または伝送速度が最も速い通信回線を選択するステップと、を有し、
    前記検索ステップでは、前記画像検索手段が、前記管理制御手段により選択された通信回線にて、前記移動端末に関連情報を送信する、撮影画像利用方法。
  19. 移動端末にて撮影された対象物の撮影画像を利用する撮影画像利用方法であって、
    画像検索手段が、複数の対象物ごとに、当該対象物の画像と当該対象物の関連情報とを対応付けてデータベースに登録する登録ステップと、
    前記画像検索手段が、前記移動端末にて撮影された画像と類似する画像を前記データベースから検索し、検索された画像に対応付けられている関連情報を前記移動端末に送信する検索ステップと、
    管理制御手段が、前記移動端末および前記対象物が同じサービスエリアに在圏するか否かを判定し、同じサービスエリアに在圏しないと判定した場合、前記移動端末が在圏する1以上のサービスエリアを優先して選択し、選択したサービスエリアの通信回線のうち、使用回線が最も少ない通信回線または伝送速度が最も速い通信回線を選択するステップと、を有し、
    前記検索ステップでは、前記画像検索手段が、前記管理制御手段により選択された通信回線にて、前記移動端末に関連情報を送信する、撮影画像利用方法。
  20. 前記サービスエリアは、2G、3G、4G、WLAN、WiMAX、Wi−Fiのサービスエリアを含む、請求項18または19に記載の撮影画像利用方法。
  21. 前記移動端末が、前記対象物の画像を刊行物に掲載するための当該画像の登録要求を前記管理手段に送信するステップと、
    前記管理手段が、当該画像の使用が許可された場合、前記移動端末に登録認識情報を送信するステップと、をさらに有する、請求項12から20のいずれか1項に記載の撮影画像利用方法。
  22. 前記画像検索手段が、前記対象物の関連情報の内容を情報処理手段に通知するステップと、
    前記決算処理手段が、決算処理の内容を前記情報処理手段に通知するステップと、
    前記情報処理手段が、前記画像検索手段から通知された前記対象物の関連情報の内容と前記決算処理手段から通知された決算処理の内容とを保存するステップと、をさらに有する、請求項12から21のいずれか1項に記載の撮影画像利用方法。
JP2007193275A 2007-02-01 2007-07-25 撮影画像利用システムおよび撮影画像利用方法 Active JP4479929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007193275A JP4479929B2 (ja) 2007-02-01 2007-07-25 撮影画像利用システムおよび撮影画像利用方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007022974 2007-02-01
JP2007193275A JP4479929B2 (ja) 2007-02-01 2007-07-25 撮影画像利用システムおよび撮影画像利用方法

Publications (2)

Publication Number Publication Date
JP2008210364A JP2008210364A (ja) 2008-09-11
JP4479929B2 true JP4479929B2 (ja) 2010-06-09

Family

ID=39786575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007193275A Active JP4479929B2 (ja) 2007-02-01 2007-07-25 撮影画像利用システムおよび撮影画像利用方法

Country Status (1)

Country Link
JP (1) JP4479929B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787035A (zh) * 2009-02-20 2016-07-20 株式会社尼康 携带型终端、信息检索服务器以及信息取得系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI403156B (zh) 2008-08-08 2013-07-21 尼康股份有限公司 Carrying information machines, photographic devices, and information acquisition systems
JP5525737B2 (ja) * 2009-03-18 2014-06-18 オリンパス株式会社 サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787035A (zh) * 2009-02-20 2016-07-20 株式会社尼康 携带型终端、信息检索服务器以及信息取得系统
CN105787035B (zh) * 2009-02-20 2019-09-27 株式会社尼康 携带型终端、信息检索服务器以及信息取得系统

Also Published As

Publication number Publication date
JP2008210364A (ja) 2008-09-11

Similar Documents

Publication Publication Date Title
US20180075155A1 (en) Method for providing mobile service using code-pattern
CN101753808B (zh) 照片授权系统、方法和设备
CN101636734B (zh) 数字照片内容信息服务
US7831141B2 (en) Mobile device with integrated photograph management system
US20150124106A1 (en) Terminal apparatus, additional information managing apparatus, additional information managing method, and program
US20060098874A1 (en) System and method of enabling a cellular/wireless device with imaging capabilities to decode printed alphanumeric characters
KR100509931B1 (ko) 코드 패턴을 이용한 운송 호출 서비스의 제공방법
US7359633B2 (en) Adding metadata to pictures
KR100983912B1 (ko) 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법
US20090017765A1 (en) System and Method of Enabling a Cellular/Wireless Device with Imaging Capabilities to Decode Printed Alphanumeric Characters
KR101574241B1 (ko) Qr 코드 인식 처리 시스템
JPWO2007116500A1 (ja) 情報呈示システム、情報呈示端末及びサーバ
EP2012510A1 (en) Method and apparatus for connecting a cellular telephone user to the internet
CN102214222A (zh) 通过手机摄像获取景物资讯的预分类及交互系统和方法
KR20080072903A (ko) 이미지 및 보조 데이터의 캡처 및 출력을 위한 방법 및장치
JP4479929B2 (ja) 撮影画像利用システムおよび撮影画像利用方法
JP2010230813A (ja) 情報提供装置、情報提供方法およびプログラム
KR101729206B1 (ko) 이미지 공유 시스템 및 방법
JP2005327184A (ja) 情報提供システム及び情報提供方法
WO2017149777A1 (ja) スペース貸出システム、スペース貸出方法及びプログラム
JP2002320172A (ja) 撮影システム
JP2005038100A (ja) 商品情報提供装置およびプログラム
JP4357178B2 (ja) 画像サーバ
JP2007334629A (ja) Idカード発行システムおよび方法
KR100878981B1 (ko) 위치 기반 멀티미디어 방명록 서비스 시스템 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100309