JP5288445B2 - 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体 - Google Patents

写真マッピング方法及びシステム、並びにプログラム及び記憶媒体 Download PDF

Info

Publication number
JP5288445B2
JP5288445B2 JP2008061234A JP2008061234A JP5288445B2 JP 5288445 B2 JP5288445 B2 JP 5288445B2 JP 2008061234 A JP2008061234 A JP 2008061234A JP 2008061234 A JP2008061234 A JP 2008061234A JP 5288445 B2 JP5288445 B2 JP 5288445B2
Authority
JP
Japan
Prior art keywords
display
data
search
shooting
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008061234A
Other languages
English (en)
Other versions
JP2009157897A (ja
Inventor
理恵子 門林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2008061234A priority Critical patent/JP5288445B2/ja
Publication of JP2009157897A publication Critical patent/JP2009157897A/ja
Application granted granted Critical
Publication of JP5288445B2 publication Critical patent/JP5288445B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、地理情報を有する写真を、その撮影地点に応じて地図に対応付ける方法、並
びに、その写真マッピング方法を実施するシステム、プログラム、記憶媒体に関する。
風景や建物の写真など、地理情報を有する写真を、その撮影地点に応じて、電子地図な
どの地図に対応付けるシステムは知られている。
例えば、特許文献1には、デジタルカメラ付き携帯端末で撮影した写真画像に、時刻情
報と撮影方角と撮影位置とからなる撮影識別情報を付加した撮影識別情報付き写真画像を
監視センターのサーバーへ送信し、そのサーバーが撮影位置を含む地図またはデジタル写
真画像を端末の画面に提供する位置方位付き写真提供システムが開示されている。これに
よると、写真と写真の撮影位置、方角、時刻を関連付け、写真の撮影位置と方角がわかる
ように、方角を矢印で表現し地図上に重ねて表示することができる。
しかし、このシステムにおける撮影方向の情報としては、矢印で方角を表すのみで、仰
角は対象になっていない。また、矢印を画面に表示する場合、例えばカーナビゲーション
のように、画面の上部の方向が必ずしも北を指さない場合には、方角が直感的にはわかり
にくいという問題が生じる。
特開2007−52809
特許文献2にも、方位センサーを設けたカメラからの識別情報を、センターのサーバー
で受けて、地図位置とカメラの位置及び方角を関連づけて閲覧者に提供するシステムが開
示されている。
特開2004−289670
しかしながら、このような従来技術では、写真を撮影した方向としての仰角や、写真に
写っている領域などに関する情報が欠けているため、写真を直感的に効率よく検索するこ
とが容易でなかった。
そこで、本発明は、風景や建物などの地理情報を有する多数の写真と、地図データとを
蓄積したサーバーを用いて、有効に撮影地点と写真と対応付け管理すると共に、所望の写
真を直感的に効率よく検索することが可能な写真マッピング方法と、それを実施するシス
テム、プログラム、そのプログラムの記憶媒体を提供することを課題とする。
上記課題を解決するために、本発明の写真マッピングシステムは次の構成を備える。
すなわち、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末
と、撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバー
と、サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と
を備え、地理情報を有する写真を、その撮影地点に応じて地図に対応付けるシステムにお
いて、撮影端末には、写真を撮影する撮影手段と、写真を撮影した地点を検知する撮影地
点検知手段と、写真を撮影した方角及び仰角を検知する撮影方向検知手段と、撮影手段に
よって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段によって得ら
れた撮影条件データを、サーバーへ送信する通信手段とを設け、サーバーには、撮影端末
から受信した写真画像データを記録する写真画像データ記録部と、撮影端末から受信した
撮影条件データを記録する撮影条件データ記録部と、地図データを記録する地図データ記
録部と、表示端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積さ
れた撮影条件データを検索し、得られた撮影条件データに対応する写真画像データ及び地
図データを、それぞれ写真画像データ記録部及び地図データ記録部から検索処理する検索
演算処理部と、検索演算処理部からの出力と、表示端末から受信する表示条件データに応
じて、撮影条件データとそれに対応する写真画像データ及び地図データを連結して表示処
理する表示演算処理部と、 撮影端末及び表示端末とデータ送受信する通信手段とを設け
、表示端末には、検索対象の写真に関する条件が入力される検索条件入力部と、検索結果
の表示方法に関する条件が入力される表示条件入力部と、サーバーから受信した表示演算
処理データを画像として出力する表示出力部と、検索条件入力部からの検索条件データと
表示条件入力部からの表示条件データをサーバーへ送信し、サーバーから表示演算処理デ
ータを受信する通信手段とを設けたことを特徴とする。
地図データを処理する部位を変えて、同様に、写真を撮影すると共に撮影地点を検知す
る手段を少なくとも有する撮影端末と、撮影端末で撮影された写真及び撮影条件を記録す
る手段を少なくとも有するサーバーと、サーバーから出力された写真を地図上に表示する
手段を少なくとも有する表示端末とを備え、地理情報を有する写真を、その撮影地点に応
じて地図に対応付けるシステムにおいて、撮影端末には、写真を撮影する撮影手段と、写
真を撮影した地点を検知する撮影地点検知手段と、写真を撮影した方角及び仰角を検知す
る撮影方向検知手段と、撮影手段によって得られた写真画像データと、撮影地点検知手段
及び撮影方向検知手段によって得られた撮影条件データを、サーバーへ送信する通信手段
とを設け、サーバーには、撮影端末から受信した写真画像データを記録する写真画像デー
タ記録部と、撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
表示端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮影
条件データを検索し、得られた撮影条件データに対応する写真画像データを、写真画像デ
ータ記録部から検索処理する検索演算処理部と、検索演算処理部からの出力と、表示端末
から受信する表示条件データに応じて、撮影条件データとそれに対応する写真画像データ
を連結して表示処理する表示演算処理部と、撮影端末及び表示端末とデータ送受信する通
信手段とを設け、表示端末には、地図データを記録する地図データ記録部と、検索対象の
写真に関する条件が入力される検索条件入力部と、検索結果の表示方法に関する条件が入
力される表示条件入力部と、サーバーから受信した表示演算処理データに応じて、それに
対応する地図データを地図データ記録部から検索し、得られた地図データを、サーバーか
ら受信した表示演算処理データに連結処理する地図データ連結演算処理部と、地図データ
連結演算処理部からの地図データ連結演算処理データを画像として出力する表示出力部と
、検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバ
ーへ送信し、サーバーから表示演算処理データを受信する通信手段とを設けて構成しても
よい。
ここで、撮影端末の撮影方向検知手段における仰角の検知に、加速度センサーを用いて
もよい。
また、撮影端末に、写真を撮影する画角、焦点距離、被写界深度を検知する撮影領域検
知手段を設け、その検出値を撮影条件データに加えて、検索の効率化に寄与させてもよい
撮影端末に、写真を撮影した時刻を検知する撮影時刻検知手段を設け、その検出値を撮
影条件データに加えて、検索の効率化に寄与させてもよい。
撮影端末に、写真を撮影した人を特定する撮影者登録手段を設け、その撮影者情報を撮
影条件データに加えて、検索の効率化に寄与させてもよい。
撮影端末としては、カメラ付き携帯電話を用い、その通信手段にメール送受信装置を用
いてもよい。
また、撮影端末としては、デジタルカメラを用い、その通信手段にメール送受信装置も
利用できる。
その場合は、サーバーに、撮影端末から受信したメールを、写真画像データと撮影条件
データに分割し、それぞれ写真画像データ記録部及び撮影条件データ記録部に保存処理す
るデータ分割演算処理部を設けてもよい。
また、サーバーに、撮影領域検知手段による撮影条件データから、写真画像データに含
まれている撮影領域を算出し、その撮影領域と地図データを重ね合わせて比較対照すると
共に、写真画像データに含まれている所定の長さ以上の線分を検出し、その線分の位置が
、地図データに含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図
データ中の建造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ
記録部へ追加保存する登録演算処理部を設けて、検索の効率化に寄与させてもよい。
表示端末の検索条件入力部に、表示出力部に画像表示された地図上の地点をマウスのク
リックにより指定される検索地点指定手段を設けて、検索の効率化に寄与させてもよい。
表示端末の検索条件入力部に、表示出力部に画像表示された地図上の領域をマウスのド
ラッグにより指定される検索領域指定手段を設けて、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部に、表示端末から受信した検索条件データの検索地点に応じ
て、その地点に最も近い写真画像データ中の線分を撮影条件データ記録部から検索し、そ
の線分を含む写真画像データを写真画像データ記録部から出力する地点検索演算処理部を
設けて、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部に、表示端末から受信した検索条件データの検索領域に応じ
て、その領域に含まれる写真画像データ中の線分を撮影条件データ記録部から検索し、そ
の線分を含む写真画像データを写真画像データ記録部から出力する領域検索演算処理部を
設けて、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部に、検索条件データの検索領域に含まれる建造物の線分と、
検索地点とを結ぶ線が、他の線分と交差しなければ、その建造物は検索地点からの視界に
入っていると判定する建造物視界判定演算処理部を設けて、検索の効率化に寄与させても
よい。
サーバーの検索演算処理部に、視界判定演算処理部によって検索地点からの視界に入っ
ていると判定された建造物のIDを検索処理する建造物ID検索処理部を設けて、建造物
の認知に寄与させてもよい。
サーバーの検索演算処理部に、検索条件データの検索領域に含まれる建造物の線分を所
定間隔で分割し、その分割境界点と検索地点とを結ぶ線が、他の線分と交差しなければ、
その分割境界点に相当する建造物の壁面は検索地点からの視界に入っていると判定する壁
面視界判定演算処理部を設けて、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部に、検索条件データの検索領域に含まれる建造物について、
検索地点からの視界に入っている壁面と視界に入っていない壁面とを分けて抽出し、その
各壁面の撮影地点に対する特徴を指標する特徴量を算出し、撮影地点と壁面との位置関係
を求める壁面特徴量演算処理部を設けて、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部に、検索条件データの検索領域に含まれる建造物の壁面につ
いて、その特徴量を用いて壁面の種類を判定し、所望の壁面を検索処理する特徴量壁面検
索処理部を設けて、検索の効率化に寄与させてもよい。
サーバーの表示演算処理部に、表示端末の表示出力部に画像表示される地図上に現す写
真画像データの指標として、その写真を撮影した方角及び仰角を示すアイコンを生成する
指標生成部を設けて、検索の効率化に寄与させてもよい。
写真を撮影した方角及び仰角を示すアイコンとしては、方角には線分を用い、仰角には
、その線分の長さまたは太さを用いてもよい。
また、写真を撮影した方角及び仰角を示すアイコンとしては、文字または数値も利用で
きる。
表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、写真を
表示するリンクを設けて、検索の効率化に寄与させてもよい。
表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、写真の
画像内容を示す説明文を表示するリンクを設けて、検索の効率化に寄与させてもよい。
表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、写真の
撮影日時を示す数値を表示するリンクを設けて、検索の効率化に寄与させてもよい。
表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、写真の
撮影領域を画像表示するリンクを設けて、検索の効率化に寄与させてもよい。
表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、写真の
撮影者を示すリンクを設けて、検索の効率化に寄与させてもよい。
写真の撮影者を示すリンク先に、その撮影者によって撮影された写真をブログ形式で表
示するサイトを設けて、検索の効率化に寄与させてもよい。
サーバーの表示演算処理部に、表示端末の表示出力部に画像表示される地図上に現す写
真として、その写真を撮影した方角及び仰角に応じて3次元配置する写真を生成する3次
元表示生成部を設けて、表示の利便に寄与させてもよい。
サーバーの表示演算処理部に、表示端末の表示出力部に画像表示される地図上に現す写
真として、その写真を撮影した方角及び仰角から3次元モデル画像を形成する3次元モデ
ル生成部を設けて、表示の利便に寄与させてもよい。
本発明の写真マッピング方法は次の構成を備える。
すなわち、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と
、撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバーと
、サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と、
それら撮影端末、サーバー、表示端末の間でデータ授受を行う通信手段とを備えたシステ
ムで、地理情報を有する写真を、その撮影地点に応じて地図に対応付ける方法において、
撮影端末では、撮影手段によって、写真を撮影する写真撮影ステップと、撮影地点検知手
段によって、写真を撮影した地点を検知する撮影地点検知ステップと、撮影方向検知手段
によって、写真を撮影した方角及び仰角を検知する撮影方向検知ステップと、通信手段に
よって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段
で得られた撮影条件データを、サーバーへ送信する元データ送信ステップとを行い、サー
バーでは、通信手段によって、撮影端末から送信された写真画像データと撮影条件データ
を受信する元データ受信ステップと、写真画像データ記録部によって、撮影端末から受信
した写真画像データを記録する写真画像データ記録ステップと、撮影条件データ記録部に
よって、撮影端末から受信した撮影条件データを記録する撮影条件データ記録ステップと
、通信手段によって、表示端末から送信された検索条件データと表示条件データを受信す
る検索表示条件受信ステップと、検索演算処理部によって、表示端末から受信した検索条
件データに対応する撮影条件データを撮影条件データ記録部から検索処理する撮影条件デ
ータ検索ステップと、検索演算処理部によって、得られた撮影条件データに対応する写真
画像データを写真画像データ記録部から検索処理する写真画像データ検索ステップと、検
索演算処理部によって、得られた撮影条件データに対応する地図データを、予め地図デー
タを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、表示演算処
理部によって、表示端末から受信した表示条件データに対応する形式で、撮影条件データ
とそれに対応する写真画像データ及び地図データを連結処理して表示データを生成する表
示データ生成ステップと、通信手段によって、表示データを表示端末へ送信する表示デー
タ送信ステップとを行い、表示端末では、検索条件入力部によって、検索対象の写真に関
する条件を入力する検索条件入力ステップと、表示条件入力部によって、検索結果の表示
方法に関する条件を入力する表示条件入力ステップと、通信手段によって、検索条件デー
タと表示条件データをサーバーへ送信する検索表示条件送信ステップと、通信手段によっ
て、サーバーから表示データを受信する表示データ受信ステップと、表示出力部によって
、表示データを画像として出力する画像表示ステップとを行うことを特徴とする。
地図データを処理する部位を変えて、同様に、写真を撮影すると共に撮影地点を検知す
る手段を少なくとも有する撮影端末と、撮影端末で撮影された写真及び撮影条件を記録す
る手段を少なくとも有するサーバーと、サーバーから出力された写真を地図上に表示する
手段を少なくとも有する表示端末と、それら撮影端末、サーバー、表示端末の間でデータ
授受を行う通信手段とを備えたシステムで、地理情報を有する写真を、その撮影地点に応
じて地図に対応付ける方法において、撮影端末では、撮影手段によって、写真を撮影する
写真撮影ステップと、撮影地点検知手段によって、写真を撮影した地点を検知する撮影地
点検知ステップと、撮影方向検知手段によって、写真を撮影した方角及び仰角を検知する
撮影方向検知ステップと、通信手段によって、撮影手段で得られた写真画像データと、撮
影地点検知手段及び撮影方向検知手段で得られた撮影条件データを、サーバーへ送信する
元データ送信ステップとを行い、サーバーでは、通信手段によって、撮影端末から送信さ
れた写真画像データと撮影条件データを受信する元データ受信ステップと、写真画像デー
タ記録部によって、撮影端末から受信した写真画像データを記録する写真画像データ記録
ステップと、撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記
録する撮影条件データ記録ステップと、通信手段によって、表示端末から送信された検索
条件データと表示条件データを受信する検索表示条件受信ステップと、検索演算処理部に
よって、表示端末から受信した検索条件データに対応する撮影条件データを撮影条件デー
タ記録部から検索処理する撮影条件データ検索ステップと、検索演算処理部によって、得
られた撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理す
る写真画像データ検索ステップと、表示演算処理部によって、表示端末から受信した表示
条件データに対応する形式で、撮影条件データとそれに対応する写真画像データを連結処
理して表示用データを生成する表示用データ生成ステップと、通信手段によって、表示用
データを表示端末へ送信する表示用データ送信ステップとを行い、表示端末では、検索条
件入力部によって、検索対象の写真に関する条件を入力する検索条件入力ステップと、表
示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステッ
プと、通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表
示条件送信ステップと、通信手段によって、サーバーから表示用データを受信する表示用
データ受信ステップと、検索演算処理部によって、表示用データに対応する地図データを
、予め地図データを蓄積した地図データ記録部から検索処理する地図データ検索ステップ
と、表示演算処理部によって、表示条件データに対応する形式で、表示用データとそれに
対応する地図データを連結処理して表示データを生成する表示データ生成ステップと、表
示出力部によって、表示データを画像として出力する画像表示ステップとを行って構成し
てもよい。
ここで、加速度センサーを用いて、撮影端末の撮影方向における仰角を検知してもよい
また、撮影端末で、撮影領域検知手段によって、撮影条件データとして、写真を撮影す
る画角、焦点距離、被写界深度を検知する撮影領域検知ステップを行って、検索の効率化
に寄与させてもよい。
撮影端末で、撮影時刻検知手段によって、撮影条件データとして、写真を撮影した時刻
を検知する撮影時刻検知ステップを行って、検索の効率化に寄与させてもよい。
撮影端末で、撮影者登録手段によって、撮影条件データとして、写真を撮影した人を特
定する撮影者登録ステップを行って、検索の効率化に寄与させてもよい。
撮影端末として、カメラ付き通信端末を用いると共に、その通信手段にメール送受信装
置を用いて、写真画像データと撮影条件データをメールとしてサーバーへ送信してもよい
その場合は、サーバーで、データ分割演算処理部によって、撮影端末から受信したメー
ルを、写真画像データと撮影条件データに分割するデータ分割ステップを行ってもよい。
また、サーバーで、登録演算処理部によって、写真画像データに含まれている撮影領域
を、その撮影条件データから算出する撮影領域算出ステップと、その撮影領域と地図デー
タを重ね合わせて比較対照する撮影領域対照ステップと、その写真画像データに含まれて
いる所定の長さ以上の線分を検出する線分検出ステップと、その線分の位置を、地図デー
タに含まれる建造物の位置と比較対照する線分対照ステップと、その線分対照ステップに
おいて、線分の位置と地図データに含まれる建造物の位置が一致すれば、その写真画像デ
ータ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、その同定情
報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップとを行
って、検索の効率化に寄与させてもよい。
表示端末の検索条件入力部で、検索地点指定手段によって、表示出力部に画像表示され
た地図上の地点を検索地点として、マウスのクリックにより指定される検索地点指定ステ
ップを行い、サーバーの検索演算処理部で、地点検索演算処理部によって、表示端末から
受信した検索条件データの検索地点に応じて、その地点に最も近い写真画像データ中の線
分を撮影条件データ記録部から検索する線分検索ステップと、得られた線分を含む写真画
像データを写真画像データ記録部から出力する地点検索処理ステップとを行って、検索の
効率化に寄与させてもよい。
表示端末の検索条件入力部で、検索領域指定手段によって、表示出力部に画像表示され
た地図上の領域を検索領域として、マウスのドラッグにより指定される検索領域指定ステ
ップを行い、サーバーの検索演算処理部で、領域検索演算処理部によって、表示端末から
受信した検索条件データの検索領域に応じて、その領域に含まれる写真画像データ中の線
分を撮影条件データ記録部から検索する線分検索ステップと、得られた線分を含む写真画
像データを写真画像データ記録部から出力する領域検索処理ステップとを行って、検索の
効率化に寄与させてもよい。
サーバーの検索演算処理部で、建造物視界判定演算処理部によって、検索条件データの
検索領域に含まれる建造物の線分と、検索地点とを結ぶ線が、他の線分と交差しなければ
、その建造物は検索地点からの視界に入っていると判定する建造物視界判定演算処理ステ
ップを行って、検索の効率化に寄与させてもよい。
サーバーの検索演算処理部で、建造物ID検索処理部によって、視界判定演算処理部に
より検索地点からの視界に入っていると判定された建造物のIDを検索処理する建造物I
D検索処理ステップを行い、得られた建造物のIDを、サーバーの表示演算処理部で表示
演算処理する建造物ID検索処理ステップを行って、建造物の認知に寄与させてもよい。
サーバーの検索演算処理部で、壁面視界判定演算処理部によって、検索条件データの検
索領域に含まれる建造物の線分を所定間隔で分割し、その分割境界点と検索地点とを結ぶ
線が、他の線分と交差しなければ、その分割境界点に相当する建造物の壁面は検索地点か
らの視界に入っていると判定する壁面視界判定演算処理ステップと、その壁面視界判定演
算処理ステップを各分割境界点について行い、視界に入っている壁面と視界に入っていな
い壁面とを区分する壁面視界区分演算処理ステップを行って、検索の効率化に寄与させて
もよい。
サーバーの検索演算処理部で、壁面内外判定演算処理部によって、検索条件データの検
索領域に含まれる建造物の線分の群に囲まれた領域に、検索地点が位置する場合には、視
界に入り得る壁面は、内側の壁面であると判定する壁面内外判定ステップを行って、検索
の効率化に寄与させてもよい。
サーバーの検索演算処理部で、壁面特徴量演算処理部によって、検索条件データの検索
領域に含まれる建造物について、検索地点からの視界に入っている壁面と視界に入ってい
ない壁面とを分けて抽出するステップと、その各壁面の撮影地点に対する特徴を指標する
特徴量を算出するステップと、その特徴量により撮影地点と壁面との位置関係を求める壁
面特徴量演算処理ステップを行って、検索の効率化に寄与させてもよい。
建造物の壁面の特徴量としては、検索地点からの視界に入っている壁面については、そ
の壁面の視界内の全壁面の中での割合と、その壁面の視野角内で占める割合と、その壁面
の全壁面の中での割合とを用いることが好適である。
建造物の壁面の特徴量としては、検索地点からの視界に入っていない壁面については、
その壁面と視界内の壁面の平均的な方位との相対角度と、その壁面の視野角外の壁面の中
での割合と、その壁面が視線方向の左右どちらに位置するかと、その壁面の全壁面の中で
の割合とを用いることが好適である。
サーバーの検索演算処理部に、検索条件データの検索領域に含まれる建造物の壁面につ
いて、その特徴量を用いて壁面の種類を判定し、所望の壁面を検索処理する特徴量壁面検
索処理部を設けって、検索の効率化に寄与させてもよい。
特徴量を用いた視界外の壁面の種別としては、その壁面と視界内の壁面の平均的な向き
との相対角度(rel_angle)が0〜45°であるものは、横に位置する見えない壁面、パ
ラメータrel_angle が45〜135°であるものは、側面の見えない壁面、パラメータre
l_angle が135〜180°であるものは、背面の見えない壁面、パラメータrel_angle
が0〜45°であり、かつ、その壁面が視線方向の左右どちらにあるか(rel_pos)が右
であるものは、もっと右に位置する見えない壁面、パラメータrel_angle が0〜45°で
ありパラメータrel_posが左であるものは、もっと左に位置する見えない壁面、パラメー
タrel_angle が45〜135°でありパラメータrel_posが右であるものは、右側面の見
えない壁面、パラメータrel_angle が45〜135°でありパラメータrel_posが左であ
るものは、左側面の見えない壁面と種別することを用いることが好適である。
所望の条件の壁面の写った写真の抽出としては、見えている壁面が写っている写真とし
ては、写っている壁面のうち、撮影位置から見える壁面が視界内で20%以上、より好ま
しくは30%以上、更に好ましくは40%以上占めるものを選び、占有量の多い順に抽出
し、アップが写っている写真としては、写っている壁面のうち、撮影位置から見える壁面
が60%以上、より好ましくは70%以上、更に好ましくは80%以上占めるものを選び
、占有量の多い順に抽出し、引いた壁面が写っている写真としては、写っている壁面のう
ち、撮影位置から見える壁面が視界内で80%以上、より好ましくは90%以上、更に好
ましくは95%以上占めるものを選び、占有量の多い順に抽出し、もっと右の位置が写っ
ている写真としては、写っている壁面のうち、撮影位置から見て建造物のもっと右の壁面
を写していて、その割合が撮影位置から見えていない壁面の60%以上、より好ましくは
70%以上、更に好ましくは80%以上であるものを選び、その割合の多い順に抽出し、
もっと左の位置が写っている写真としては、写っている壁面のうち、撮影位置から見て建
造物のもっと左の壁面を写していて、その割合が撮影位置から見えていない壁面の60%
以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、その割
合の多い順に抽出し、右側面が写っている写真としては、写っている壁面が撮影位置から
見て建造物の右側面の壁面を写していて、その割合が撮影位置から見えていない壁面の6
0%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、そ
の割合の多い順に抽出し、左側面が写っている写真としては、写っている壁面が撮影位置
から見て建造物の左側面の壁面を写していて、その割合が撮影位置から見えていない壁面
の60%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び
、その割合の多い順に抽出し、背面が写っている写真としては、写っている壁面が撮影位
置から見て建造物の背面の壁面を写しているものを選び、その壁面の平均的な方位との相
対角度が大きい順に抽出することが好適である。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標として、その写真を撮影した方
角及び仰角を示すアイコンを生成する指標生成ステップを行って、検索の効率化に寄与さ
せてもよい。
写真を撮影した方角及び仰角を示すアイコンとしては、方角には線分を用い、仰角には
、その線分の長さまたは太さを用いてもよい。
また、写真を撮影した方角及び仰角を示すアイコンとしては、文字または数値も利用で
きる。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標に、写真を表示するリンクを設
ける写真リンク生成ステップを行って、検索の効率化に寄与させてもよい。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標に、写真の画像内容を示す説明
文を表示するリンクを設ける写真説明リンク生成ステップを行って、検索の効率化に寄与
させてもよい。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標に、写真の撮影日時を示す数値
を表示するリンクを設ける撮影日時リンク生成ステップを行って、検索の効率化に寄与さ
せてもよい。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標に、写真の撮影領域を画像表示
するリンクを設ける撮影領域リンク生成ステップを行って、検索の効率化に寄与させても
よい。
サーバーまたは表示端末の表示演算処理部で、指標生成部によって、表示端末の表示出
力部に画像表示される地図上に現す写真画像データの指標に、写真の撮影者を示すリンク
を設ける撮影者リンク生成ステップを行って、検索の効率化に寄与させてもよい。
サーバーまたは表示端末の表示演算処理部で、写真の撮影者を示すリンク先に、その写
真撮影者によって撮影された写真をブログ形式で表示するサイトへのリンクを設ける撮影
者サイトリンク生成ステップを行って、検索の効率化に寄与させてもよい。
サーバーまたは表示端末の表示演算処理部で、3次元表示生成部によって、表示端末の
表示出力部に画像表示される地図上に現す写真として、その写真を撮影した方角及び仰角
に応じて3次元配置する写真を生成する3次元表示生成ステップを行って、表示の利便に
寄与させてもよい。
サーバーまたは表示端末の表示演算処理部で、3次元モデル生成部によって、表示端末
の表示出力部に画像表示される地図上に現す写真として、その写真を撮影した方角及び仰
角から3次元モデル画像を形成する3次元モデル生成ステップを行って、表示の利便に寄
与させてもよい。
本発明のプログラムは、上述の写真マッピングシステムまたは写真マッピング方法とし
て、撮影端末またはサーバーまたは表示端末を機能させることを特徴とする。
そのプログラムをコンピュータ用記憶媒体に格納して提供してもよい。
本発明は、上記構成を備えることにより次の効果を奏する。
すなわち、写真を撮影した仰角も撮影条件データとして写真画像データに対応付けられ
るので、検索の効率化のみならず、所望の写真画像を3次元的に表示して臨場感を与える
こともできる。
以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記
の例示に限らず、本発明の趣旨から逸脱しない範囲で、前記特許文献など従来公知の技術
を用いて適宜設計変更可能である。
図1は、本発明による写真マッピングシステムが使用される概要を示す説明図である。
写真マッピングシステムには、写真を撮影すると共に撮影地点を検知する手段を少なくと
も有する撮影端末(1)と、その撮影端末(1)で撮影された写真及び撮影条件を記録す
る手段を少なくとも有するサーバー(2)と、そのサーバー(2)から出力された写真を
地図上に表示する手段を少なくとも有する表示端末(3)と、インターネット(4)など
を介して撮影端末(1)、サーバー(2)、表示端末(3)の間でデータ授受を行う通信
手段とが備わる。
撮影端末(1)、サーバー(2)、表示端末(3)のいずれも、公知のパソコンで構成
可能であるが、撮影端末(1)としては、カメラ付き携帯電話または通信装置付きデジタ
ルカメラが簡易に利用できる。また、撮影端末(1)と表示端末(3)とを兼用すること
も可能である。
撮影端末(1)では、撮影した写真の写真画像データ(101)とその撮影条件データ
(102)とから成る元データ(103)を、サーバー(2)へ送信する。
サーバー(2)では、その元データ(103)を写真画像データ(101)と撮影条件デ
ータ(102)とに分割してデータベースに記録し、表示端末(3)から受信する検索条
件データ(501)と表示条件データ(502)に応じて、該当する写真画像データ(1
01)を検索して表示データ(301)を表示端末(3)へ送信する。
表示端末(3)では、得られた表示データ(301)を画像出力する。
これを基本的な構成とするが、例えば、サーバー(2)で元データ(103)を写真画
像データ(101)と撮影条件データ(102)とに分割しないで記録するなど適宜変容
可能である。このような全体構成を実現するためのシステムと、その実施方法について、
以下に実施例を挙げて説述する。
図2は、本発明による撮影端末(1)の構成図、図3は、そのデータ処理のフローチャ
ートである。
本実施例では、カメラ付きの小型通信端末を挙げる。撮影端末(1)には、演算処理を
司るCPU(11)、それと協働するROM・RAM等のメモリー(12)、ハードディ
スク等の記憶装置(13)、画面表示するモニター(14)、ユーザーの入力をCPUに
伝達する入力デバイス(15)、インターネット等のネットワークと接続して通信するた
めのネットワークアダプタ(16)の他に、デジタル写真などの写真を撮影する撮影手段
(17)と、写真を撮影した地点を検知するGPSセンサーなどの撮影地点検知手段(18
)と、写真を撮影した方角を検知するジャイロセンサーや磁気方位センサー及び仰角を検
知する加速度センサーやモーションセンサーから成る撮影方向検知手段(19)が備わる
更に、写真を撮影する画角、焦点距離、被写界深度を検知するレンズ絞り機構に備わる
撮影領域検知手段(20)や、写真を撮影した時刻を検知する撮影時刻検知手段(21)
、写真を撮影した人を特定する撮影者登録手段(22)等を設けてもよい。
なお、撮影領域検知手段(20)における焦点距離と被写界深度を検知する手段は必須
ではない。それらの情報を含めた場合には、明瞭に撮影される撮影領域が求められ、含め
ない場合には、撮影されうる撮影領域が求められる。
また、撮影時刻検知手段(21)には、撮影端末(1)に内蔵される時計を用いてもよ
いし、外部の時刻認証管理サーバーから受信するタイムスタンプを用いてもよい。また、
撮影者登録手段(22)には、撮影端末(1)の入力デバイス(15)を介して入力され
るデータが利用できる。
CPU(11)には、撮影手段(17)や地点検知手段(18)、撮影方向検知手段(
19)、撮影領域検知手段(20)、撮影時刻検知手段(21)、撮影者登録手段(22
)からの写真画像データ(101)及び撮影条件データ(102)を読み出す元データ読
出部(23)、読み出した元データ(103)を演算処理する元データ処理部(24)、
データを送受するネットワーク送受信部(25)が少なくとも備わる。
この構成により、撮影手段(17)による写真撮影(S151)や、撮影地点検知手段
(18)による撮影地点検知(S152)、撮影方向検知手段(19)による撮影方向検
知(S153)、撮影領域検知手段(20)による撮影領域検知(S154)、撮影時刻
検知手段(21)による撮影時刻検知(S155)、撮影者登録手段(22)による撮影
者登録(S156)をされた元データ(103)は、元データ読出部(23)によって読
み出される(S157)。そして、元データ処理部(24)によってデータの連結処理を
され(S158)、ネットワーク送受信部(25)によってサーバー(2)へ送信される
(S159)。
この際、元データ処理部(24)によって、元データ(103)を、写真画像を含む写
真画像データ(101)と、撮影条件に関するテキストを含む撮影条件データ(102)
とに分割処理(S160)してもよい。
撮影端末(1)からサーバー(2)へデータ送信(S159)するには、カメラ付き携
帯電話などに備わるメール送受信装置を利用するのが簡便である。
インターネット(4)を介する場合には、周知のように電子メールに添付させて送信する
構成、所定のプロトコルを用いてピアツーピアで送信する構成、ネットワーク上の別のサ
ーバーに一旦格納した後にユーザーの操作によりFTPやHTTPなどを用いてダウンロ
ードする構成など、従来公知のさまざまなデータ通信方法が利用可能である。
なお、写真画像データ(101)及び撮影条件データ(102)をネットワーク上の別
サーバーに一旦格納した場合は、そのサーバーのネットワークアドレス(パス・ファイル
名を含む)を、写真画像データ(101)及び撮影条件データ(102)の代用として用
いてもよい。
図4は、本発明によるサーバー(2)の構成図、図5は、そのデータ処理のフローチャ
ートである。
サーバー(2)には、演算処理を司るCPU(31)、それと協働するROM・RAM等
のメモリー(32)、ハードディスク等の記憶装置(33)、画面表示するモニター(3
4)、ユーザーの入力をCPUに伝達する入力デバイス(35)、インターネット等のネ
ットワークと接続して通信するためのネットワークアダプタ(36)が備わる。
CPU(31)には、撮影端末(1)や表示端末(3)とデータを送受するネットワー
ク送受信部(37)や、撮影端末(1)から受信した写真画像データ(101)及び撮影
条件データ(102)を、それぞれ記憶装置(33)の写真画像データ記録部及び撮影条
件データ記録部に記録蓄積処理する記録蓄積処理部(38)、記録蓄積処理部(38)か
ら写真画像データ(101)及び撮影条件データ(102)を、それぞれ読み出す写真画
像データ読出部(39)及び撮影条件読出部(40)、表示端末(3)から送信された検
索条件データ(501)及び表示条件データ(502)をそれぞれ読み出す検索条件デー
タ読出部(41)及び表示条件データ読出部(42)、そして、検索演算処理部として、
検索条件データ(501)に対応する撮影条件データ(102)を記憶装置(33)の撮
影条件データ記録部から検索処理する撮影条件データ検索部(43)と、得られた撮影条
件データ(102)に対応する写真画像データ(101)を記憶装置(33)の写真画像
データ記録部から検索処理する写真画像データ検索部(44)、得られた撮影条件データ
(102)に対応する地図データ(302)を記憶装置(33)から検索処理する地図デ
ータ検索部(45)と、それを読み出す地図データ読出部(46)が備わる。
地図データ(302)は、予め記憶装置(33)に蓄積しておいてもよいし、必要に応
じて逐次ネットワークを介して外部サーバーからダウンロードしてもよい。
CPU(31)には、また、表示条件データ(502)に対応する形式で、撮影条件デ
ータ(102)とそれに対応する写真画像データ(101)及び地図データ(302)を
連結処理して表示データ(301)を生成する表示データ生成部(47)が備わる。
この構成により、ネットワーク送受信部(37)によって撮影端末(1)から得られた
写真画像データ(101)及び撮影条件データ(102)は、まず、記録蓄積処理部(3
8)によってそれぞれ記憶装置(33)の写真画像データ記録部及び撮影条件データ記録
部に記録蓄積処理される(S301)。
この際、撮影端末(1)から受信した元データ(103)が写真画像データ(101)
と撮影条件データ(102)とに未分離なら、CPU(31)に備わるデータ分割演算処
理部によって、写真画像データ(101)と撮影条件データ(102)に分割処理する(
S302)。
ネットワーク送受信部(37)を介して表示端末(3)から検索条件データ(501)
及び表示条件データ(502)の入力があれば、検索条件データ読出部(41)及び表示
条件データ読出部(42)によって、それぞれ検索条件データ(501)の読み出し(S
303)及び表示条件データ(502)の読み出し(S304)を行う。
そして、撮影条件データ検索部(43)によって、検索条件データ(501)に対応する
撮影条件データ(102)を記憶装置(33)の撮影条件データ記録部から検索処理し(
S305)、該当する撮影条件データ(102)を、撮影条件読出部(40)によって、
記録蓄積処理部(38)から読み出す(S306)。
次いで、得た撮影条件データ(102)に対応する写真画像データ(101)を、写真
画像データ検索部(44)によって記憶装置(33)の写真画像データ記録部から検索処
理し(S307)、写真画像データ読出部(39)によって読み出す(S308)。
これと同時に、得た撮影条件データ(102)に対応する地図データ(302)を、地
図データ検索部(45)によって記憶装置(33)から検索処理し(S309)、地図デ
ータ読出部(46)によって読み出す(S310)。
読み出した写真画像データ(101)と地図データ(302)は、表示データ生成部(
46)によって、表示条件データ(502)に対応する形式で、撮影条件データ(102
)と連結処理されて表示データ(301)を生成する(S311)。
生成された表示データ(301)は、ネットワーク送受信部(37)によって、表示端
末(3)へ送信される。
図6は、本発明による表示端末(3)の構成図、図7は、そのデータ処理のフローチャ
ートである。
表示端末(3)には、演算処理を司るCPU(51)、それと協働するROM・RAM等
のメモリー(52)、ハードディスク等の記憶装置(53)、画面表示するモニター(5
4)、ユーザーの入力をCPUに伝達する入力デバイス(55)、インターネット等のネ
ットワークと接続して通信するためのネットワークアダプタ(56)が備わる。
CPU(51)には、入力デバイス(55)から入力された検索条件データ(501)
及び表示条件データ(502)を読み出し処理する検索条件読出部(57)及び表示条件
読出部(58)や、サーバー(2)とデータを送受するネットワーク送受信部(59)、
サーバー(2)から受信した表示データ(301)を読み出し処理する表示データ読出部
(60)、表示データ(301)をモニター(54)で出力処理する表示データ処理部(
61)を備える。
この構成により、検索対象の写真に関する検索条件データ(501)と、検索結果の表
示方法に関する表示条件データ(502)が、キーボードやマウス等の入力デバイス(5
5)から入力され、検索条件読出部(57)及び表示条件読出部(58)によって読み出
し処理され(S501)(S502)、ネットワークアダプタ(56)を介してサーバー
(2)へ送信処理される(S503)。
検索条件データ(501)及び表示条件データ(502)に応じてサーバー(2)処理
された表示データ(301)は、ネットワークアダプタ(56)を介して表示端末(3)
で受信され、表示データ読出部(60)によって読み出し処理され(S504)、表示デ
ータ処理部(61)によって、表示条件データ(502)に応じた形式で表示処理され(
S505)、表示出力部としてのモニター(54)に画像出力される(S506)。この
際、表示データ(301)に含まれるデータを音声出力してもよい。
図8は、別実施例のサーバー(2)の構成図、図9は、そのデータ処理のフローチャー
トである。
前記実施例では、地図データ(302)をサーバー(2)で処理したが、次のように、表
示端末(3)で処理してもよい。
すなわち、サーバー(2)には、演算処理を司るCPU(31)、それと協働するRO
M・RAM等のメモリー(32)、ハードディスク等の記憶装置(33)、画面表示する
モニター(34)、ユーザーの入力をCPUに伝達する入力デバイス(35)、インター
ネット等のネットワークと接続して通信するためのネットワークアダプタ(36)が備わ
る。
CPU(31)には、撮影端末(1)や表示端末(3)とデータを送受するネットワー
ク送受信部(37)や、撮影端末(1)から受信した写真画像データ(101)及び撮影
条件データ(102)を、それぞれ記憶装置(33)の写真画像データ記録部及び撮影条
件データ記録部に記録蓄積処理する記録蓄積処理部(38)、記録蓄積処理部(38)か
ら写真画像データ(101)及び撮影条件データ(102)を、それぞれ読み出す写真画
像データ読出部(39)及び撮影条件読出部(40)、表示端末(3)から送信された検
索条件データ(501)及び表示条件データ(502)をそれぞれ読み出す検索条件デー
タ読出部(41)及び表示条件データ読出部(42)、そして、検索演算処理部として、
検索条件データ(501)に対応する撮影条件データ(102)を記憶装置(33)の撮
影条件データ記録部から検索処理する撮影条件データ検索部(43)と、得られた撮影条
件データ(102)に対応する写真画像データ(101)を記憶装置(33)の写真画像
データ記録部から検索処理する写真画像データ検索部(44)が備わる。
CPU(31)には、また、表示条件データ(502)に対応する形式で、撮影条件デ
ータ(102)とそれに対応する写真画像データ(101)を連結処理して表示用データ
(303)を生成する表示データ生成部(48)が備わる。
この構成により、ネットワーク送受信部(37)によって撮影端末(1)から得られた
写真画像データ(101)及び撮影条件データ(102)は、まず、記録蓄積処理部(3
8)によってそれぞれ記憶装置(33)の写真画像データ記録部及び撮影条件データ記録
部に記録蓄積処理される(S301)。
この際、撮影端末(1)から受信した元データ(103)が写真画像データ(101)
と撮影条件データ(102)とに未分離なら、CPU(31)に備わるデータ分割演算処
理部によって、写真画像データ(101)と撮影条件データ(102)に分割処理する(
S302)。
ネットワーク送受信部(37)を介して表示端末(3)から検索条件データ(501)
及び表示条件データ(502)の入力があれば、検索条件データ読出部(41)及び表示
条件データ読出部(42)によって、それぞれ検索条件データ(501)の読み出し(S
303)及び表示条件データ(502)の読み出し(S304)を行う。
そして、撮影条件データ検索部(43)によって、検索条件データ(501)に対応する
撮影条件データ(102)を記憶装置(33)の撮影条件データ記録部から検索処理し(
S305)、該当する撮影条件データ(102)を、撮影条件読出部(40)によって、
記録蓄積処理部(38)から読み出す(S306)。
次いで、得た撮影条件データ(102)に対応する写真画像データ(101)を、写真
画像データ検索部(44)によって記憶装置(33)の写真画像データ記録部から検索処
理し(S307)、写真画像データ読出部(39)によって読み出す(S308)。
読み出した写真画像データ(101)は、表示用データ生成部(48)によって、表示
条件データ(502)に対応する形式で、撮影条件データ(102)と連結処理されて表
示用データ(303)を生成する(S312)。
生成された表示用データ(303)は、ネットワーク送受信部(37)によって、表示
端末(3)へ送信される。
図10は、別実施例の表示端末(3)の構成図、図11は、そのデータ処理のフローチ
ャートである。
表示端末(3)には、演算処理を司るCPU(51)、それと協働するROM・RAM等
のメモリー(52)、ハードディスク等の記憶装置(53)、画面表示するモニター(5
4)、ユーザーの入力をCPUに伝達する入力デバイス(55)、インターネット等のネ
ットワークと接続して通信するためのネットワークアダプタ(56)が備わる。
CPU(51)には、入力デバイス(55)から入力された検索条件データ(501)
及び表示条件データ(502)を読み出し処理する検索条件読出部(57)及び表示条件
読出部(58)や、サーバー(2)とデータを送受するネットワーク送受信部(59)、
サーバー(2)から受信した表示用データ(303)を読み出す表示用データ読出部(6
2)、得られた表示用データ(303)に対応する地図データ(302)を記憶装置(3
3)から検索処理する地図データ検索部(63)と、それを読み出す地図データ読出部(
64)、表示用データ(303)と地図データ(302)を連結処理して表示データ(3
01)を生成しモニター(54)へ出力処理する表示データ処理部(61)を備える。
この構成により、検索対象の写真に関する検索条件データ(501)と、検索結果の表
示方法に関する表示条件データ(502)が、キーボードやマウス等の入力デバイス(5
5)から入力され、検索条件読出部(57)及び表示条件読出部(58)によって読み出
し処理され(S501)(S502)、ネットワークアダプタ(56)を介してサーバー
(2)へ送信処理される(S503)。
検索条件データ(501)及び表示条件データ(502)に応じてサーバー(2)処理
された表示用データ(303)は、ネットワークアダプタ(56)を介して表示端末(3
)で受信され、表示用データ読出部(62)によって読み出し処理される(S507)。
この際、地図データ検索部(63)によって、表示用データ(303)に対応する地図デ
ータ(302)が記憶装置(53)から検索処理(S508)され、地図データ読出部(
64)によって読み出される(S509)。そして、表示データ処理部(61)によって
、表示用データ(303)と地図データ(302)が連結処理されて表示データ(301
)が生成され(S510)、表示条件データ(502)に応じた形式で表示出力部として
のモニター(54)に画像出力される(S511)。この際、表示データ(301)に含
まれるデータを音声出力してもよい。
なお、地図データ(302)は、予め記憶装置(53)に蓄積しておいてもよいし、必
要に応じて逐次ネットワークを介して外部サーバーからダウンロードしてもよい。
また、地図データ(302)の検索処理(S508)には、表示用データ(303)を
用いず、入力デバイス(55)から入力された検索条件データ(501)または表示条件
データ(502)を用いてもよい。
図12は、サーバー(2)の登録演算処理部における処理のフローチャートであり、図
13は、その実施形態を示す説明図である。
撮影地点(A)において、水平の画角(θ)で撮影した場合、カメラの視野に入り撮影
されうる領域(B)は、地図上では、ほぼ三角形で表現できる。その撮影領域(B)に被
写体として建物(C)がある場合、通常はその外形線の一部が撮影される。
建物がカメラの正面に位置しても、建物の外部の凹凸形状とカメラとの位置関係によって
は、撮影されない面(D)も生じるが、建物は、風景の目印となり、長い線状構造に見え
る部分が多い。
そこで、写真中で長い線状にみなされる部分、すなわち、予め設定された所定の長さ以
上の直線または曲線や、その所定の長さ以下の短い直線または曲線の連続体を検出して、
それを地図データ中の特定の建物と同定することで、その写真を地図に関連付けることが
できる。そして、地図を表示した際に、撮影地点を特定のアイコン等で指標し、そこで撮
影した写真があることを示すことができる。
また逆に、同定した建物等の地図情報を、写真に付帯させることも可能であり、そのよ
うな写真のデータベースを構築してもよい。
このような写真の登録を行うには、次の演算処理を行う。
写真画像データ(101)に含まれている撮影領域(B)を、その撮影地点や撮影方向や
画角などの撮影条件データ(102)から算出する(S401)。次いで、その撮影領域
(B)と地図データ(302)を重ね合わせて対照処理し、地図上で撮影領域を確定する
(S402)。
次に、地図上での撮影領域が定まった写真の写真画像データ(101)に含まれている
所定の長さ以上の線分(E)を検出する(S403)。検出された線分(E)の位置を、
地図データ(302)に含まれる建造物(C)の外形線の位置と比較対照する(S404
)。
線分(E)の位置と地図データ(302)に含まれる建造物(C)の外形線の位置が一
致すれば、その写真画像データ(101)中の線分(E)を地図データ(302)中の建
造物(C)の一部と同定し(S405)、その同定情報を撮影条件データ(102)とし
て撮影条件データ記録部へ追加保存する(S406)。
このような同定情報としては、例えば、写真に、撮影条件データ(102)として建物
名の指標テキストが付帯していたならば、線分(E)にも、その建物名の指標テキストを
付帯させることが挙げられる。
なお、線分(E)の位置と地図データ(302)に含まれる建造物(C)の外形線の位
置が一致しなければ、登録処理は行わず、不一致の情報を保存する(S407)。
図14及び15は、表示端末(3)における検索及びその結果の表示を示すインタフェ
ースの説明図であり、図16及び17は、サーバー(2)の検索演算処理部における処理
のフローチャートである。
表示端末(3)で地図検索を行う際には、入力デバイス(55)として、マウスのクリ
ック及びドラッグが便利である。地図上でクリックされた地点の所定近傍に位置する撮影
地点(A)を、図14に示すように一覧表示する。図の例では、撮影方向(A1)を、撮影
地点(A)から伸長した線で表現している。この線の長短によって、撮影した仰角を表現
してもよい。
また、検索用インターフェース(F)に、クリック地点からの距離などの検索範囲や、
再検索するために、クリック等で特定した撮影地点(A)の写真と比較して、どの程度同
様の方角や仰角の写真を検索対象とするかなどの検索条件を入力する構成にしてもよい。
図15の例では、地図上での楕円形のマウスドラッグによって、検索する範囲(G)を
指定している。その検索範囲で検出された線分(E)を撮影した写真が、更に検索され、
その撮影地点(H)と共に、写真(I)が表示されている。
このような検索及び表示を行うには、図16または17に示す次の演算処理を行う。
表示端末(3)におけるクリック等の検索地点指定手段によって、地図上の検索地点を
検索条件データ(501)の一部としてサーバー(2)へ送信する。
サーバー(2)の地点検索演算処理部では、検索条件データ(501)から検索地点を
読み出し(S411)、その地点に最も近い写真画像データ(101)中の線分を撮影条
件データ(102)から検索し(S412)、得られた線分を含む写真画像データ(10
2)を検索し(S413)、その写真画像データ(102)を読み出す(S414)。
線分検索(S412)においては、検索地点に最も近い写真画像データ(101)中の
線分を1つ求めてもよいし、予め設定された所定数の線分を求めてもよいし、所定距離以
内などの条件下における全てまたは所定数の線分を求めてもよい。
同様に、図17のように、表示端末(3)におけるドラッグ等の検索領域指定手段によ
って、地図上の検索領域を検索条件データ(501)の一部としてサーバー(2)へ送信
し、サーバー(2)の領域検索演算処理部では、検索条件データ(501)から検索領域
を読み出し(S421)、その領域に含まれる写真画像データ(101)中の線分を撮影
条件データ(102)から検索し(S422)、得られた線分を含む写真画像データ(1
02)を検索し(S423)、その写真画像データ(102)を読み出してもよい(S4
24)。
図18は、地図上の撮影地点に表示するアイコンの説明図である。
サーバー(2)または表示端末(3)の指標生成部によって、表示端末(3)のモニタ
ー(54)に画像表示される地図上に、その地図内の地点で撮影した写真があることを示
す写真画像データ(101)の指標(J)が生成される。
図示の例では、その指標(J)として、写真を撮影した方角及び仰角を示すアイコンを
、円と十字線とから成るフレームと、そのフレーム内の線分(K)で構成している。
フレーム内における線分(K)の方向で、撮影方向の仰角(φ)を表現してもよいし、
線分(K)の方向で撮影方向の方角を表現すると共に線分(K)の長さで撮影方向の仰角(
φ)を表現してもよい。後者の場合は、線分(K)の長さは、円の半径と同じ長さの線分
(K)を仰角に応じて水平面に正射影することで定められる。すなわち、仰角の余弦値を
乗じた長さで表現できる。
仰角の大きさは、線分(K)の太さや色調などによっても表現可能であり、後述のよう
に、角度を具体的に付記させてもよい。
このような指標(J)に、写真を表示するリンクを設け、指標(J)をクリックすること
で、その写真を表示させる構成にしてもよい。
図19は、その写真の例である。図示の例では、指標(J)の脇に、写真(L)を表示さ
せた状態を表している。
このような指標(J)や写真(L)と共に、写真(L)の画像内容を示す説明文(M)や写
真の撮影日時(N)を表示してもよい。
写真(L)の画像内容を示す説明文(M)や写真の撮影日時(N)は、それを表示させるた
めのリンクを、指標(J)に設けてもよい。
また、指標(J)に、図13に示したような撮影領域を表示するリンクを設けてもよい。
指標(J)には、前記のような図形の他に、文字や数値も利用できる。すなわち、撮影
地点を点で示し、その脇に写真を撮影した方角を「北北東」などの言語で表現する。
このような言語表現のためには、撮影条件データ(102)における数値を、所定の言語
の文字列に変換させればよい。撮影方向を言語で表現すると、地図の表示方位の変化に影
響されなくなるので、直感的な理解に寄与させられる。
また、指標(J)に、写真の撮影者を表示するリンクを設けてもよい。
そのリンク先に、更に、その写真撮影者によって撮影された写真をブログ形式で表示す
るサイトへのリンクを設けてもよい。
指標(J)の色調を、撮影者によって区別して表示させてもよい。撮影者に関する情報
を付与させると、例えば、同じ地点で写真を撮影している複数の人の間に共感が生じるな
どの派生的効果がある。
図20は、写真(L)を3次元的に配置して表示した状態を示す説明図である。
サーバー(2)または表示端末(3)の3次元表示生成部によって、地図上の各地点で
撮影された写真(L)を、その撮影方角及び仰角に応じて3次元配置させてもよい。
これによると、写真(L)による風景を直感的に認識できる。また、同一の建物等を撮
影した多数の撮影者による写真(L)を一覧表示できるので、地図に対する風景の関連付
けが強化される。
図21は、3次元モデル写真を表示した状態を示す説明図である。
サーバー(2)または表示端末(3)の3次元モデル生成部によって、地図上の各地点
で撮影された複数の写真(L)を、各撮影方角及び仰角に応じて組み合わせて、モデリン
グ表示させてもよい。
これによっても、地図上の風景を直感的に認識できる。また、近隣の道等を撮影した多
数の撮影者による写真(L)を一覧表示できるので、地図に対する風景の関連付けが強化
される。
なお、本発明によるシステムおける「撮影」は、必ずしも狭義の写真を撮る必要はなく
、例えば、表示端末(3)で検索用ボタンを押して、所望の検索条件をサーバー(2)へ
送信した時、GPSやジャイロ等で検知されるユーザーのいる地点や方位などの現在状況
がサーバー(2)へ送信されるので、リアルタイムでのナビゲーションにも利用可能であ
る。
現在見ているか或いは写真(L)に写っている建造物(C)に付帯する建物名等のID
を、検索して認知するためには、以下の手段が利用できる。
図22は、建造物(C)に付帯する建物名等のIDを検索する様態を示す説明図である

図示の例では、撮影地点(A)の撮影領域(B)に4つの建造物(C)が入るが、各建
造物(C)の壁面に相当する線分(E)の端点の全てが撮影領域(B)の内部に含まれて
いるわけではない。また、撮影領域(B)の内部に含まれても、撮影地点(A)からは、
別の建造物(C)の陰になり視界に入らない端点もある。
このような場合は、建造物(C)の少なくとも一部が撮影地点(A)の視界に入るか否
かによって、その建造物(C)が見えるか見えないかを判定し、見えると判定されれば、
その建物名等のIDを検索処理する。
図23は、その建物名等のIDを検索処理するフローチャートである。
まず、ユーザーのいる撮影地点(A)や撮影方向や画角などの撮影条件データ(102)
や、写真画像データ(101)、地図データ(302)とから、撮影地点(A)による撮
影領域(B)を確定する(S601)。
そして、撮影領域(B)に少なくとも一部が含まれる全ての建造物(C)を検索処理し
(S602)、その各建造物(C)の壁面に相当する線分(E)の端点が、撮影地点(A
)からの視界に入るか否かを判定する(S603)。建造物(C)の端点が撮影地点(A
)からの視界に入るとは、撮影地点(A)と建造物(C)の端点とを結ぶ線が、他の建造
物(C)の線分(E)と交わらないことで判定する。そして、建造物(C)の端点の少な
くとも一つが視界に入れば、その建造物(C)が見えると判定する。
次いで、見えると判定された建造物(C)について、その建物名等のIDを検索処理す
る(S604)。建造物(C)にIDが付帯されていない場合は、100メートルなど所
定距離内で近い方に位置する別の建造物(C)のIDで代用する。
そして、見えると判定された建造物(C)を、そのIDや写真(L)などと共に表示処理
する(S605)。見えると判定された建造物(C)が複数あれば、撮影地点(A)に近
い順などで配列して表示する。
上述は、建造物(C)の少なくとも一部が撮影地点(A)の視界に入っていれば、その
建造物(C)は見えると判定したが、建造物(C)の壁面のどの部分が見えどの部分が見
えないかを判定して、詳細な情報提供に寄与させてもよい。
図24は、建造物(C)の見える壁面と見えない壁面を抽出する様態を示す説明図であり
、図25は、見える壁面と見えない壁面を抽出処理し区別するフローチャートである。
壁面に相当する各線分(E)を、1メートルなどの所定長さ毎に区切り(S611)、そ
の境界点と撮影地点(A)とを結ぶ線が、他の建造物(C)の線分(E)と交わらなけれ
ば、その境界点の位置の壁面は見えると判定する(S612)。
図26は、建造物(C)の見える壁面と見えない壁面を区分する様態を示す説明図であ
る。
上記の判定を各境界点について行う(S613)ことで、見える壁面(E)と見えない
壁面(D)とを区別して分離することができる(S614)。なお、見えている境界点が
見えなくなった場合には、見えなくなった境界点を含む線分を見えている線分(E)とし
、見えない境界点が見えるようになった場合には、見えるようになった境界点の直前まで
を見えない線分(D)としてもよい。
図27は、建造物(C)の内部にユーザーがいる状況を示す説明図である。
ユーザーが建造物(C)の内部にいる場合は、撮影地点(A)と壁面(E)との間に移
動する介在物が位置することも多く、正確な判定を行うことが困難である。そのため、線
分(E)の群で囲まれた領域に撮影地点(A)が位置する場合には、屋内に位置している
と判定し、また、壁面(E)を内側外側の2通りに区別してもよい。
図28は、撮影地点(A)と壁面(E)との位置関係を求める様態を示す説明図であり
、図29は、撮影地点(A)と壁面(E)との位置関係を求め、所望の壁面(E)の写真
を検索するフローチャートである。
撮影地点(A)から見える建造物(C)について、見える壁面(E)または見えない壁面
(D)を抽出し(S621)、その線分(E)の撮影地点(A)に対する特徴を指標する
特徴量を算出し(S622)、撮影地点(A)と線分(E)との位置関係を求め(S62
3)、その特徴量を利用して壁面(E)の種類を判定し(S624)、所望の壁面(E)
の写真を検索する(S625)ことができる。
建造物(C)の壁面(E)の特徴量としては、次のパラメータが利用できる。
見える壁面(E)については、その建造物(C)の見える壁面(E)の中での線分(E)
の割合(line_ratio)、 視野角(θ)内で線分(E)が占める割合(va_ratio)、建造物(C
)の全壁面(E)の中での線分(E)の割合(line_ratio2)が挙げられる。
見えない壁面(D)については、その線分(D)と見える壁面(E)の平均的な向きと相
対角度(rel_angle)、その建造物(C)の見えない壁面(D)の中での線分(D)の割合(
line_ratio)、その線分(D)が視線方向の右にあるか左にあるか(rel_pos)、建造物(C
)の全壁面(E)の中での線分(D)の割合(line_ratio2)が挙げられる。
特徴量によって、見えない壁面(D)は、次のように種別できる。
すなわち、上記パラメータrel_angle が0〜45°であるものは、横に位置する見えない
壁面、パラメータrel_angle が45〜135°であるものは、側面の見えない壁面、パラ
メータrel_angle が135〜180°であるものは、背面の見えない壁面、パラメータre
l_angle が0〜45°でありパラメータrel_posが右であるものは、もっと右に位置する
見えない壁面、パラメータrel_angle が0〜45°でありパラメータrel_posが左である
ものは、もっと左に位置する見えない壁面、パラメータrel_angle が45〜135°であ
りパラメータrel_posが右であるものは、右側面の見えない壁面、パラメータrel_angle
が45〜135°でありパラメータrel_posが左であるものは、左側面の見えない壁面と
種別できる。
なお、境界の45°や135°は、5°〜15°程度加減調整してもよい。
次のような所望の条件の線分(E)の写真を検索するには、それぞれ次のように抽出処
理を行えばよい。
すなわち、見えている壁面(E)が写っている写真としては、写っている壁面(E)の
うち、撮影位置(A)から見える壁面(E)が視界内で20%以上、より好ましくは30
%以上、更に好ましくは40%以上占めるものを選び、占有量の多い順に抽出する。
近接度の高いアップが写っている写真としては、写っている壁面(E)のうち、撮影位
置(A)から見える壁面(E)が60%以上、より好ましくは70%以上、更に好ましく
は80%以上占めるものを選び、占有量の多い順に抽出する。
近接度の低い引いた壁面(E)が写っている写真としては、写っている壁面(E)のう
ち、撮影位置(A)から見える壁面(E)が視界内で80%以上、より好ましくは90%
以上、更に好ましくは95%以上占めるものを選び、占有量の多い順に抽出する。
もっと右の位置が写っている写真としては、写っている壁面(E)のうち、撮影位置(
A)から見て建造物(C)のもっと右の壁面(E)を写していて、その割合が撮影位置(
A)から見えていない壁面(E)の60%以上、より好ましくは70%以上、更に好まし
くは80%以上であるものを選び、その割合の多い順に抽出する。
もっと左の位置が写っている写真としては、写っている壁面(E)のうち、撮影位置(A
)から見て建造物(C)のもっと左の壁面(E)を写していて、その割合が撮影位置(A
)から見えていない壁面(E)の60%以上、より好ましくは70%以上、更に好ましく
は80%以上であるものを選び、その割合の多い順に抽出する。
右側面が写っている写真としては、写っている壁面(E)が撮影位置(A)から見て建造
物(C)の右側面の壁面(E)を写していて、その割合が撮影位置(A)から見えていな
い壁面(E)の60%以上、より好ましくは70%以上、更に好ましくは80%以上であ
るものを選び、その割合の多い順に抽出する。
左側面が写っている写真としては、写っている壁面(E)が撮影位置(A)から見て建
造物(C)の左側面の壁面(E)を写していて、その割合が撮影位置(A)から見えてい
ない壁面(E)の60%以上、より好ましくは70%以上、更に好ましくは80%以上で
あるものを選び、その割合の多い順に抽出する。
背面が写っている写真としては、写っている壁面(E)が撮影位置(A)から見て建造
物(C)の背面の壁面(E)を写しているものを選び、その壁面(E)の平均的な方位と
の相対角度が大きい順に抽出する。
図30は、所望の条件の壁面(E)の写真を検索する様態を示す説明図である。
撮影位置(A)から見える建造物(C)に関して、撮影位置(A)から見える壁面(E)
とは異なる部分として、右側面の壁面(E10−E10)が写っている写真や、背面の壁
面(E20−E21)が写っている写真や、アップの壁面(E30−E31、E33−E
34)が写っている写真を指定して検索することができる。
本発明は、撮影端末(1)、サーバー(2)、表示端末(3)を、上述の写真マッピン
グシステムとして機能させるプログラムとして提供してもよい。また、そのプログラムを
CD等のコンピュータ用記憶媒体に格納して提供してもよい。
本発明によると、写真を撮影した仰角も含んだ撮影条件を用い、地図に対して3次元的
に写真画像データを配向させられるので、所望の写真を直感的に効率よく検索することや
、直感的に感知できる形態で表示することができるので、地図検索の利便性と発展性が高
められ、産業上利用価値が高い。
本発明による写真マッピングシステムが使用される概要を示す説明図 本発明による撮影端末の構成図 同、データ処理のフローチャート 本発明によるサーバーの構成図 同、データ処理のフローチャート 本発明による表示端末の構成図 同、データ処理のフローチャート 別実施例のサーバーの構成図 同、データ処理のフローチャート 別実施例の表示端末の構成図 同、データ処理のフローチャート サーバーの登録演算処理部における処理のフローチャート 同、実施形態を示す説明図 表示端末における検索及び結果の表示を示すインタフェースの説明図 同、表示端末における検索及び結果の表示を示すインタフェースの説明図 サーバーの検索演算処理部における処理のフローチャート 同、サーバーの検索演算処理部における処理のフローチャート 地図上の撮影地点に表示するアイコンの説明図 同、写真例 写真を3次元的に配置して表示した状態を示す説明図 3次元モデル写真を表示した状態を示す説明図 建造物に付帯する建物名等のIDを検索する様態を示す説明図 同、建物名等のIDを検索処理するフローチャート 建造物の見える壁面と見えない壁面を抽出する様態を示す説明図 見える壁面と見えない壁面を抽出処理し区別するフローチャート 建造物の見える壁面と見えない壁面を区分する様態を示す説明図 建造物の内部にユーザーがいる状況を示す説明図 撮影地点と壁面との位置関係を求める様態を示す説明図 撮影地点と壁面との位置関係を求め所望の壁面の写真を検索するフローチャート 所望の条件の壁面の写真を検索する様態を示す説明図
符号の説明
1 撮影端末
2 サーバー
3 表示端末
4 インターネット
11 CPU
12 メモリー
13 記憶装置
14 モニター
15 入力デバイス
16 ネットワークアダプタ
17 撮影手段
18 撮影地点検知手段
19 撮影方向検知手段
20 撮影領域検知手段
21 撮影時刻検知手段
22 撮影者登録手段
23 元データ読出部
24 元データ処理部
25 ネットワーク送受信部
31 CPU
32 メモリー
33 記憶装置
34 モニター
35 入力デバイス
36 ネットワークアダプタ
37 ネットワーク送受信部
38 記録蓄積処理部
39 写真画像データ読出部
40 撮影条件読出部
41 検索条件データ読出部
42 表示条件データ読出部
43 撮影条件データ検索部
44 写真画像データ検索部
45 地図データ検索部
46 地図データ読出部
47 表示データ生成部
48 表示用データ生成部
51 CPU
52 メモリー
53 記憶装置
54 モニター
55 入力デバイス
56 ネットワークアダプタ
57 検索条件読出部
58 表示条件読出部
59 ネットワーク送受信部
60 表示データ読出部
61 表示データ処理部
62 表示用データ読出部
63 地図データ検索部
64 地図データ読出部
101 写真画像データ
102 撮影条件データ
103 元データ
501 検索条件データ
502 表示条件データ
301 表示データ
302 地図データ
303 表示用データ
θ 画角
φ 仰角
A 撮影地点
A1 撮影方向
B 撮影領域
C 建物
D 撮影されない面
E 線分(壁面)
F 検索用インターフェース
G 検索範囲
H 撮影地点
I 写真
J 指標
K 線分
L 写真
M 説明文
N 撮影日時

Claims (35)

  1. 写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
    撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバーと、
    サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と、を備え、
    地理情報を有する写真を、その撮影地点に応じて地図に対応付けるシステムにおいて、
    撮影端末には、
    写真を撮影する撮影手段と、
    写真を撮影した地点を検知する撮影地点検知手段と、
    写真を撮影した方角及び仰角を検知する撮影方向検知手段と、
    写真を撮影する画角、焦点距離、被写界深度を検知する撮影領域検知手段と、
    撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び撮影領域検知手段によって得られた撮影条件データを、サーバーへ送信する通信手段と、を設け、
    サーバーには、
    撮影端末から受信した写真画像データを記録する写真画像データ記録部と、
    撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
    地図データを記録する地図データ記録部と、
    撮影領域検知手段による撮影条件データから、写真画像データに含まれている撮影領域を算出し、その撮影領域と地図データを重ね合わせて比較対照すると共に、写真画像データに含まれている所定の長さ以上の線分を検出し、その線分の位置が、地図データに含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する登録演算処理部と、
    表示端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮影条件データを検索し、得られた撮影条件データに対応する写真画像データ及び地図データを、それぞれ写真画像データ記録部及び地図データ記録部から検索処理する検索演算処理部と、
    検索演算処理部からの出力と、表示端末から受信する表示条件データに応じて、撮影条件データとそれに対応する写真画像データ及び地図データを連結して表示処理する表示演算処理部と、
    撮影端末及び表示端末とデータ送受信する通信手段と、を設け、
    表示端末には、
    検索対象の写真に関する条件が入力される検索条件入力部と、
    検索結果の表示方法に関する条件が入力される表示条件入力部と、
    サーバーから受信した表示演算処理データを画像として出力する表示出力部と、
    検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバーへ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けた
    ことを特徴とする写真マッピングシステム。
  2. 写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
    撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバーと、
    サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と、を備え、
    地理情報を有する写真を、その撮影地点に応じて地図に対応付けるシステムにおいて、
    撮影端末には、
    写真を撮影する撮影手段と、
    写真を撮影した地点を検知する撮影地点検知手段と、
    写真を撮影した方角及び仰角を検知する撮影方向検知手段と、
    写真を撮影する画角、焦点距離、被写界深度を検知する撮影領域検知手段と、
    撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び撮影領域検知手段によって得られた撮影条件データを、サーバーへ送信する通信手段と、を設け、
    サーバーには、
    撮影端末から受信した写真画像データを記録する写真画像データ記録部と、
    撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
    撮影領域検知手段による撮影条件データから、写真画像データに含まれている撮影領域を算出し、その撮影領域と地図データを重ね合わせて比較対照すると共に、写真画像データに含まれている所定の長さ以上の線分を検出し、その線分の位置が、地図データに含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する登録演算処理部と、
    表示端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮影条件データを検索し、得られた撮影条件データに対応する写真画像データを、写真画像データ記録部から検索処理する検索演算処理部と、
    検索演算処理部からの出力と、表示端末から受信する表示条件データに応じて、撮影条件データとそれに対応する写真画像データを連結して表示処理する表示演算処理部と、
    撮影端末及び表示端末とデータ送受信する通信手段と、を設け、
    表示端末には、
    地図データを記録する地図データ記録部と、
    検索対象の写真に関する条件が入力される検索条件入力部と、
    検索結果の表示方法に関する条件が入力される表示条件入力部と、
    サーバーから受信した表示演算処理データに応じて、それに対応する地図データを地図データ記録部から検索し、得られた地図データを、サーバーから受信した表示演算処理データに連結処理する地図データ連結演算処理部と、
    地図データ連結演算処理部からの地図データ連結演算処理データを画像として出力する表示出力部と、
    検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバーへ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けた
    ことを特徴とする写真マッピングシステム。
  3. 撮影端末の撮影方向検知手段における仰角の検知に、加速度センサーを用いた
    請求項1または2に記載の写真マッピングシステム。
  4. 撮影端末に、
    写真を撮影した時刻を検知する撮影時刻検知手段を設け、
    その検出値を撮影条件データに加えた
    請求項1ないし3のいずれかに記載の写真マッピングシステム。
  5. 撮影端末に、
    写真を撮影した人を特定する撮影者登録手段を設け、
    その撮影者情報を撮影条件データに加えた
    請求項1ないし4のいずれかに記載の写真マッピングシステム。
  6. 撮影端末に、カメラ付き携帯電話を用い、
    その通信手段にメール送受信装置を用いた
    請求項1ないし5のいずれかに記載の写真マッピングシステム。
  7. 撮影端末に、デジタルカメラを用い、
    その通信手段にメール送受信装置を用いた
    請求項1ないし6のいずれかに記載の写真マッピングシステム。
  8. サーバーに、
    撮影端末から受信したメールを、写真画像データと撮影条件データに分割し、それぞれ写真画像データ記録部及び撮影条件データ記録部に保存処理するデータ分割演算処理部を設けた
    請求項6または7に記載の写真マッピングシステム。
  9. 表示端末の検索条件入力部に、
    表示出力部に画像表示された地図上の地点をマウスのクリックにより指定される検索地点指定手段を設けた
    請求項1ないし8のいずれかに記載の写真マッピングシステム。
  10. 表示端末の検索条件入力部に、
    表示出力部に画像表示された地図上の領域をマウスのドラッグにより指定される検索領域指定手段を設けた
    請求項1ないし9のいずれかに記載の写真マッピングシステム。
  11. サーバーの検索演算処理部に、
    表示端末から受信した検索条件データの検索地点に応じて、その地点に最も近い写真画像データ中の線分を撮影条件データ記録部から検索し、その線分を含む写真画像データを写真画像データ記録部から出力する地点検索演算処理部を設けた
    請求項9に記載の写真マッピングシステム。
  12. サーバーの検索演算処理部に、
    表示端末から受信した検索条件データの検索領域に応じて、その領域に含まれる写真画像データ中の線分を撮影条件データ記録部から検索し、その線分を含む写真画像データを写真画像データ記録部から出力する領域検索演算処理部を設けた
    請求項10に記載の写真マッピングシステム。
  13. サーバーの検索演算処理部に、
    検索条件データの検索領域に含まれる建造物の線分と、検索地点とを結ぶ線が、他の線分と交差しなければ、その建造物は検索地点からの視界に入っていると判定する建造物視界判定演算処理部を設けた
    請求項1ないし12のいずれかに記載の写真マッピングシステム。
  14. サーバーの検索演算処理部に、
    視界判定演算処理部によって検索地点からの視界に入っていると判定された建造物のIDを検索処理する建造物ID検索処理部を設けた
    請求項13に記載の写真マッピングシステム。
  15. サーバーの検索演算処理部に、
    検索条件データの検索領域に含まれる建造物の線分を所定間隔で分割し、その分割境界点と検索地点とを結ぶ線が、他の線分と交差しなければ、その分割境界点に相当する建造物の壁面は検索地点からの視界に入っていると判定する壁面視界判定演算処理部を設けた
    請求項1ないし14のいずれかに記載の写真マッピングシステム。
  16. サーバーの検索演算処理部に、
    検索条件データの検索領域に含まれる建造物について、検索地点からの視界に入っている壁面と視界に入っていない壁面とを分けて抽出し、その各壁面の撮影地点に対する特徴を指標する特徴量を算出し、撮影地点と壁面との位置関係を求める壁面特徴量演算処理部を設けた
    請求項15に記載の写真マッピングシステム。
  17. サーバーの検索演算処理部に、
    検索条件データの検索領域に含まれる建造物の壁面について、その特徴量を用いて壁面の種類を判定し、所望の壁面を検索処理する特徴量壁面検索処理部を設けた
    請求項16に記載の写真マッピングシステム。
  18. サーバーの表示演算処理部に、
    表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標として、その写真を撮影した方角及び仰角を示すアイコンを生成する指標生成部を設けた
    請求項1ないし17のいずれかに記載の写真マッピングシステム。
  19. 写真を撮影した方角及び仰角を示すアイコンとして、
    方角には線分を用い、仰角には、その線分の長さまたは太さを用いた
    請求項18に記載の写真マッピングシステム。
  20. 写真を撮影した方角及び仰角を示すアイコンとして、
    文字または数値を用いた
    請求項19に記載の写真マッピングシステム。
  21. 表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、
    写真を表示するリンクを設けた
    請求項18ないし20のいずれかに記載の写真マッピングシステム。
  22. 表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、
    写真の画像内容を示す説明文を表示するリンクを設けた
    請求項21に記載の写真マッピングシステム。
  23. 表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、
    写真の撮影日時を示す数値を表示するリンクを設けた
    請求項21または22に記載の写真マッピングシステム。
  24. 表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、
    写真の撮影領域を画像表示するリンクを設けた
    請求項21ないし23のいずれかに記載の写真マッピングシステム。
  25. 表示端末の表示出力部に画像表示される地図上に現す写真画像データの指標に、
    写真の撮影者を示すリンクを設けた
    請求項21ないし24のいずれかに記載の写真マッピングシステム。
  26. 写真の撮影者を示すリンク先に、
    その撮影者によって撮影された写真をブログ形式で表示するサイトを設けた
    請求項25に記載の写真マッピングシステム。
  27. サーバーの表示演算処理部に、
    表示端末の表示出力部に画像表示される地図上に現す写真として、その写真を撮影した方角及び仰角に応じて3次元配置する写真を生成する3次元表示生成部を設けた
    請求項1ないし17のいずれかに記載の写真マッピングシステム。
  28. サーバーの表示演算処理部に、
    表示端末の表示出力部に画像表示される地図上に現す写真として、その写真を撮影した方角及び仰角から3次元モデル画像を形成する3次元モデル生成部を設けた
    請求項1ないし17のいずれかに記載の写真マッピングシステム。
  29. 写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
    撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバーと、
    サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と、
    それら撮影端末、サーバー、表示端末の間でデータ授受を行う通信手段とを備えたシステムで、
    地理情報を有する写真を、その撮影地点に応じて地図に対応付ける方法において、
    撮影端末では、
    撮影手段によって、写真を撮影する写真撮影ステップと、
    撮影地点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、
    撮影方向検知手段によって、写真を撮影した方角及び仰角を検知する撮影方向検知ステップと、
    撮影領域検知手段によって、撮影条件データとして、写真を撮影する画角、焦点距離、被写界深度を検知する撮影領域検知ステップと、
    通信手段によって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び撮影領域検知ステップで得られた撮影条件データを、サーバーへ送信する元データ送信ステップと、を行い、
    サーバーでは、
    通信手段によって、撮影端末から送信された写真画像データと撮影条件データを受信する元データ受信ステップと、
    写真画像データ記録部によって、撮影端末から受信した写真画像データを記録する写真画像データ記録ステップと、
    撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条件データ記録ステップと、
    登録演算処理部によって、写真画像データに含まれている撮影領域を、その撮影条件データから算出する撮影領域算出ステップと、
    その撮影領域と地図データを重ね合わせて比較対照する撮影領域対照ステップと、
    その写真画像データに含まれている所定の長さ以上の線分を検出する線分検出ステップと、
    その線分の位置を、地図データに含まれる建造物の位置と比較対照する線分対照ステップと、
    その線分対照ステップにおいて、線分の位置と地図データに含まれる建造物の位置が一致すれば、その写真画像データ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、
    その同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップと、
    通信手段によって、表示端末から送信された検索条件データと表示条件データを受信する検索表示条件受信ステップと、
    検索演算処理部によって、表示端末から受信した検索条件データに対応する撮影条件データを撮影条件データ記録部から検索処理する撮影条件データ検索ステップと、
    検索演算処理部によって、得られた撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理する写真画像データ検索ステップと、
    検索演算処理部によって、得られた撮影条件データに対応する地図データを、予め地図データを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、
    表示演算処理部によって、表示端末から受信した表示条件データに対応する形式で、撮影条件データとそれに対応する写真画像データ及び地図データを連結処理して表示データを生成する表示データ生成ステップと、
    通信手段によって、表示データを表示端末へ送信する表示データ送信ステップと、を行い、
    表示端末では、
    検索条件入力部によって、検索対象の写真に関する条件を入力する検索条件入力ステップと、
    表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステップと、
    通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表示条件送信ステップと、
    通信手段によって、サーバーから表示データを受信する表示データ受信ステップと、
    表示出力部によって、表示データを画像として出力する画像表示ステップと、を行う
    ことを特徴とする写真マッピング方法。
  30. 写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
    撮影端末で撮影された写真及び撮影条件を記録する手段を少なくとも有するサーバーと、
    サーバーから出力された写真を地図上に表示する手段を少なくとも有する表示端末と、
    それら撮影端末、サーバー、表示端末の間でデータ授受を行う通信手段とを備えたシステムで、
    地理情報を有する写真を、その撮影地点に応じて地図に対応付ける方法において、
    撮影端末では、
    撮影手段によって、写真を撮影する写真撮影ステップと、
    撮影地点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、
    撮影方向検知手段によって、写真を撮影した方角及び仰角を検知する撮影方向検知ステップと、
    撮影領域検知手段によって、撮影条件データとして、写真を撮影する画角、焦点距離、被写界深度を検知する撮影領域検知ステップと、
    通信手段によって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び撮影領域検知ステップで得られた撮影条件データを、サーバーへ送信する元データ送信ステップと、を行い、
    サーバーでは、
    通信手段によって、撮影端末から送信された写真画像データと撮影条件データを受信する元データ受信ステップと、
    写真画像データ記録部によって、撮影端末から受信した写真画像データを記録する写真画像データ記録ステップと、
    撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条件データ記録ステップと、
    登録演算処理部によって、写真画像データに含まれている撮影領域を、その撮影条件データから算出する撮影領域算出ステップと、
    その撮影領域と地図データを重ね合わせて比較対照する撮影領域対照ステップと、
    その写真画像データに含まれている所定の長さ以上の線分を検出する線分検出ステップと、
    その線分の位置を、地図データに含まれる建造物の位置と比較対照する線分対照ステップと、
    その線分対照ステップにおいて、線分の位置と地図データに含まれる建造物の位置が一致すれば、その写真画像データ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、
    その同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップと、
    通信手段によって、表示端末から送信された検索条件データと表示条件データを受信する検索表示条件受信ステップと、
    検索演算処理部によって、表示端末から受信した検索条件データに対応する撮影条件データを撮影条件データ記録部から検索処理する撮影条件データ検索ステップと、
    検索演算処理部によって、得られた撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理する写真画像データ検索ステップと、
    表示演算処理部によって、表示端末から受信した表示条件データに対応する形式で、撮影条件データとそれに対応する写真画像データを連結処理して表示用データを生成する表示用データ生成ステップと、
    通信手段によって、表示用データを表示端末へ送信する表示用データ送信ステップと、を行い、
    表示端末では、
    検索条件入力部によって、検索対象の写真に関する条件を入力する検索条件入力ステップと、
    表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステップと、
    通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表示条件送信ステップと、
    通信手段によって、サーバーから表示用データを受信する表示用データ受信ステップと、
    検索演算処理部によって、表示用データに対応する地図データを、予め地図データを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、
    表示演算処理部によって、表示条件データに対応する形式で、表示用データとそれに対応する地図データを連結処理して表示データを生成する表示データ生成ステップと、
    表示出力部によって、表示データを画像として出力する画像表示ステップと、を行う
    ことを特徴とする写真マッピング方法。
  31. サーバーの検索演算処理部に、
    検索条件データの検索領域に含まれる建造物の壁面について、その特徴量を用いて壁面の種類を判定し、所望の壁面を検索処理する特徴量壁面検索処理部を設けた
    請求項29または30に記載の写真マッピング方法。
  32. 特徴量を用いた視界外の壁面の種別として、
    その壁面と視界内の壁面の平均的な向きとの相対角度(rel_angle)が0〜45°であるものは、横に位置する見えない壁面、パラメータrel_angleが45〜135°であるものは、側面の見えない壁面、パラメータrel_angleが135〜180°であるものは、背面の見えない壁面、パラメータrel_angleが0〜45°であり、かつ、その壁面が視線方向の左右どちらにあるか(rel_pos)が右であるものは、もっと右に位置する見えない壁面、パラメータrel_angleが0〜45°でありパラメータrel_posが左であるものは、もっと左に位置する見えない壁面、パラメータrel_angleが45〜135°でありパラメータrel_posが右であるものは、右側面の見えない壁面、パラメータrel_angleが45〜135°でありパラメータrel_posが左であるものは、左側面の見えない壁面と種別することを用いる
    請求項29ないし31のいずれか
    に記載の写真マッピング方法。
  33. 所望の条件の壁面の写った写真の抽出としては、
    見えている壁面が写っている写真としては、写っている壁面のうち、撮影位置から見える壁面が視界内で20%以上、より好ましくは30%以上、更に好ましくは40%以上占めるものを選び、占有量の多い順に抽出し、
    アップが写っている写真としては、写っている壁面のうち、撮影位置から見える壁面が60%以上、より好ましくは70%以上、更に好ましくは80%以上占めるものを選び、占有量の多い順に抽出し、
    引いた壁面が写っている写真としては、写っている壁面のうち、撮影位置から見える壁面が視界内で80%以上、より好ましくは90%以上、更に好ましくは95%以上占めるものを選び、占有量の多い順に抽出し、
    もっと右の位置が写っている写真としては、写っている壁面のうち、撮影位置から見て建造物のもっと右の壁面を写していて、その割合が撮影位置から見えていない壁面の60%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、その割合の多い順に抽出し、
    もっと左の位置が写っている写真としては、写っている壁面のうち、撮影位置から見て建造物のもっと左の壁面を写していて、その割合が撮影位置から見えていない壁面の60%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、その割合の多い順に抽出し、
    右側面が写っている写真としては、写っている壁面が撮影位置から見て建造物の右側面の壁面を写していて、その割合が撮影位置から見えていない壁面の60%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、その割合の多い順に抽出し、
    左側面が写っている写真としては、写っている壁面が撮影位置から見て建造物の左側面の壁面を写していて、その割合が撮影位置から見えていない壁面の60%以上、より好ましくは70%以上、更に好ましくは80%以上であるものを選び、その割合の多い順に抽出し、
    背面が写っている写真としては、写っている壁面が撮影位置から見て建造物の背面の壁面を写しているものを選び、その壁面の平均的な方位との相対角度が大きい順に抽出する
    請求項32に記載の写真マッピング方法。
  34. 撮影端末、サーバー及び表示端末を備えたシステムを、請求項1ないし28のいずれかに記載の写真マッピングシステムとして機能させ
    とを特徴とするプログラム。
  35. 撮影端末、サーバー及び表示端末を備えたシステムに、請求項29ないし33のいずれかに記載の写真マッピング方法を実行させる
    ことを特徴とするプログラム。
JP2008061234A 2007-12-04 2008-03-11 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体 Expired - Fee Related JP5288445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008061234A JP5288445B2 (ja) 2007-12-04 2008-03-11 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007313042 2007-12-04
JP2007313042 2007-12-04
JP2008061234A JP5288445B2 (ja) 2007-12-04 2008-03-11 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2009157897A JP2009157897A (ja) 2009-07-16
JP5288445B2 true JP5288445B2 (ja) 2013-09-11

Family

ID=40961793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008061234A Expired - Fee Related JP5288445B2 (ja) 2007-12-04 2008-03-11 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP5288445B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971778B1 (ko) * 2009-09-16 2010-07-22 (주)올라웍스 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP5629178B2 (ja) * 2010-10-19 2014-11-19 株式会社 ミックウェア ゲーム端末装置、サーバ装置、およびプログラム
JP5430726B1 (ja) * 2012-09-05 2014-03-05 ヤフー株式会社 情報提供装置、ネットワークシステム、情報提供方法及び情報提供プログラム
US10270964B2 (en) 2014-09-12 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Camera and illumination system
WO2017007254A1 (ko) * 2015-07-08 2017-01-12 고려대학교 산학협력단 3차원 지도 생성 및 표시 장치 및 방법
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007078842A (ja) * 2005-09-12 2007-03-29 Seiko Epson Corp 表示制御装置及び表示制御方法
JP4745937B2 (ja) * 2006-10-18 2011-08-10 財団法人砂防フロンティア整備推進機構 位置方位付き写真提供システム及びそのプログラム

Also Published As

Publication number Publication date
JP2009157897A (ja) 2009-07-16

Similar Documents

Publication Publication Date Title
US20180286098A1 (en) Annotation Transfer for Panoramic Image
JP5334159B2 (ja) 電子地図上での写真表示方法及びシステム
JP5229791B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
JP5288445B2 (ja) 写真マッピング方法及びシステム、並びにプログラム及び記憶媒体
JP5467177B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
US10796207B2 (en) Automatic detection of noteworthy locations
JP2014160471A (ja) ナビゲータとしてのモバイルイメージング装置
JP5858754B2 (ja) 撮影装置、表示方法及びプログラム
JP2008513852A (ja) 写真中の対象体を識別する方法及びシステム,並びにそのシステムを実現するためのプログラム,記録媒体,端末及びサーバ
US20230360257A1 (en) Use Of Image Sensors To Query Real World for Geo-Reference Information
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
TW200928311A (en) Satellite navigation method and system
JP5951465B2 (ja) 道路情報に基づいて見通しエリアを決定するプログラム、情報端末、サーバ及び方法
JP5578719B2 (ja) 情報システム、端末装置、広告出力方法、およびプログラム
JP5584581B2 (ja) 情報システム、端末装置、サーバ装置、およびWebページ検索方法
JP7498240B2 (ja) ジオリファレンス情報について現実世界をクエリするための画像センサの使用
JP5122508B2 (ja) 3次元空間データ作成方法及び3次元空間データ作成装置
JP2011193170A (ja) 撮影画像表示装置、撮影画像表示方法、及び撮影画像表示方法によって出力される電子地図
JP6040336B1 (ja) 撮影対象位置特定装置、撮影対象位置特定方法、及びプログラム
JP5387043B2 (ja) 情報提供装置、情報提供システムおよび情報提供プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20121113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130530

R150 Certificate of patent or registration of utility model

Ref document number: 5288445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees