JP3053172B2 - 距離参照型景観ラベリング装置およびシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。

【０００２】

【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。

【０００３】図１５は特開平８−２７３０００号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
７１と、地図データ等に基づいて表示道路データおよび
表示用背景データを発生させる表示用データ発生部７２
と、これらの表示用データに基づいて３次元動画像デー
タを作成する３次元動画像データ作成部７３と、記憶部
７４を有し、ナビゲーション装置のユーザが目的地、経
由地を含む走行経路を事前に設定する場合に、地図画面
でなく実際に存在する道路に沿ったリアルな動画像表示
画面を見ながら経路を設定できる機能を有する。

【０００４】この装置によれば、ユーザは実際に在る経
路に沿って走行するときに、その経路に沿った動画像表
示（例えば、図１６）を見ることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べて方角を把握したり目印を見つけたりし
てその方向を注視し、その方向にある建物の特徴を理解
した上で再度地図を見てその建物が何であるかを理解し
ている。

【０００６】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。

【０００７】本発明の目的は、コンピュータ上の地理的
情報と実風景の画像（以下、景観画像と呼ぶ。）中の各
部分とを対応付けて利用者に教示する景観ラベリング装
置およびシステムを提供することである。

【０００８】

【課題を解決するための手段】本発明は、コンピュータ
上の地図データを３次元データとして予め作成してお
き、画像（ＣＧ画像と区別するため以降景観画像と呼
ぶ）が入力されるときの位置とカメラの角度と焦点距離
と画像サイズを撮影時に取得し、コンピュータ上の３次
元地図空間内で実風景撮影時の位置とカメラの角度と焦
点距離から眺望した場合のコンピュータグラフィックス
（以下、ＣＧとする。）画像内での地理的情報を取得
し、その地理的情報を、実風景である景観画像に重畳表
示することで対応付けを実現するものである。この地理
的情報とは画像での、構造物等の称またはその属性情報
であり、属性情報とはその構造物に関するあらゆる属性
（例えば輪郭、色等）についての情報を意味する。この
明細書の中では構造物という言葉を人工の構造物以外
に、山や川や海等の天然の地形も含めて地図ＤＢでの何
らかの地理的構造を有するデータ全ての意味で用いるこ
ととする。地理的情報の取得に当たっては、カメラ位
置、カメラ角、焦点距離、画像サイズを基に景観画像を
求め、複数画像の構造物を求める。その構造物が写って
いるはずの景観画像の位置（以下、付与位置と称す）を
求めて、構造物の名称または属性情報を重畳表示する。

【０００９】さらに、景観画像での構造物とＣＧ画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。本発明は、パター
ンマッチングを行うのに画像の各点での奥行き値を利用
する。画像取得時のカメラ位置に対する景観画像の各点
までの距離である、景観画像の部分領域毎の各点での奥
行き値を求める。同様に、画像取得時のカメラ位置に対
するＣＧ画像の部分領域毎の各点までの距離である奥行
き値を求める。そして例えばＣＧ画像の部分領域毎の奥
行き値の組の平均に対する、景観画像の部分領域毎の奥
行き値の組の平均の比率を求める。その比率から景観画
像の部分領域とＣＧ画像の部分領域が対応付けられるか
否かを決定する。あるいはさらに景観画像の部分領域と
ＣＧ画像の部分領域の重複比率を求め、両平均奥行き値
の比率と部分領域の重複比率から景観画像の部分領域と
ＣＧ画像の部分領域が対応付けられるか否かを決定する
ようにしてもよい。獲得した構造物を基にしてＣＧ画像
を作成し、景観画像の前記部分領域に対してパターンマ
ッチングによりＣＧ画像中の部分領域を対応付け、対応
付けられた部分領域の基となった構造物を求める。な
お、平均奥行き値に限らず奥行きの組から得られる統計
値であれば何でもよい。

【００１０】ここで、ＣＧ画像の作成法の一例について
述べる。先に取得したカメラ位置とカメラ角度と焦点距
離と画像サイズを基に３次元地図ＤＢにアクセスして、
３次元地図空間内での視野空間を求める。視野空間中の
構造物を求め、カメラ画面を投影面として、各構造物の
立体データをこの投影面に３次元投影変換する。さらに
各構造物の投影図形を構成する線データのうち、他の構
造物に隠れて見えない線データを法線ベクトル法等の手
法を用いて隠線消去する。隠線消去して残った線データ
を基にして、ＣＧ画像を領域分割する。３次元地図ＤＢ
を利用しているため、各領域毎にその領域の基となる構
造物の名称を対応付けできる。

【００１１】そうして、パターンマチングにより景観画
像の各部分領域に対応付けられたＣＧ画像の部分領域の
構造物名称を抽出する。抽出した構造物名称を重畳すべ
き実風景画像の位置座標を、３次元地図空間中での構造
物の位置座標を先の投影面に３次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標からラベル情報を作成する。ラベル情報を基に実風
景である景観画像に構造物名称を重畳して、視覚機器に
表示する。

【００１２】本発明の距離参照型景観ラベリング装置
は、画像を取得する画像取得手段と、画像取得時のカメ
ラ位置を取得する位置情報取得手段と、画像を取得した
ときのカメラ角と焦点距離と画像サイズを取得するカメ
ラ属性情報取得手段と、取得した画像を複数の部分領域
に分割する画像処理手段と、前記画像取得時のカメラ位
置に対する画像の各点までの距離である、画像の部分領
域毎の各点での奥行き値を求める距離情報取得手段と、
地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、前記地図情報管理手段で獲得された
構造物を基にしてコンピュータグラフィックス画像であ
るＣＧ画像を作成した後、前記画像取得時の前記カメラ
位置に対するＣＧ画像の部分領域毎の各点までの距離で
ある奥行き値を求め、前記ＣＧ画像の部分領域毎の各点
での奥行き値の組と、前記画像の部分領域毎の各点での
奥行きの組の比較により、前記画像の部分領域をＣＧ画
像中の部分領域と対応付け、対応付けられた部分領域の
構造物を求め、その構造物の名称または属性情報および
付与位置を含むラベル情報を作成するラベル情報作成手
段と、作成されたラベル情報中の付与位置の情報に対応
する画像中の位置に構造物の名称またはその属性情報を
重畳し、重畳された画像を視覚機器に表示するラベル情
報出力手段と、上記各手段を制御する制御手段を有す
る。

【００１３】本発明の他の距離参照型景観ラベリング装
置は、画像を取得する画像取得手段と、画像取得時のカ
メラ位置を取得する位置情報取得手段と、画像を取得し
たときのカメラ角と焦点距離と画像サイズを取得するカ
メラ属性情報取得手段と、取得した画像を複数の部分領
域に分割する画像処理手段と、前記画像取得時のカメラ
位置に対する前記画像の各点までの距離である、前記画
像の部分領域毎の各点での奥行き値を求める距離情報取
得手段と、地図情報を管理し、取得したカメラ位置とカ
メラ角と焦点距離と画像サイズを基に地図情報空間の中
で視野空間を求め、その視野空間中に存在する構造物を
獲得する地図情報管理手段と、前記地図情報管理手段で
獲得された構造物を基にしてコンピュータグラフィック
ス画像であるＣＧ画像を作成した後、前記画像取得時の
前記カメラ位置に対するＣＧ画像の部分領域毎の各点ま
での距離である奥行き値を求め、ＣＧ画像の部分領域毎
の各点での奥行き値の組と、前記画像の部分領域毎の各
点での奥行き値の組の比と、ＣＧ画像の部分領域と画像
の部分領域の重複比率とから、前記画像の部分領域をＣ
Ｇ画像中の部分領域と対応付け、対応付けられた部分領
域の構造物を求め、その構造物の名称または属性情報お
よび付与位置を含むラベル情報を作成するラベル情報作
成手段と、作成されたラベル情報中の付与位置の情報に
対応する画像中の位置に構造物の名称またはその属性情
報を重畳し、重畳された画像を視覚機器に表示するラベ
ル情報出力手段と、上記各手段を制御する制御手段を有
する。

【００１４】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物をカメラ画面に３次元投影変
換し、視点から見えない構造物を消去してＣＧ画像を作
成し、ＣＧ画像中の部分領域の輪郭線によってＣＧ画像
を部分領域に分割する。

【００１５】本発明の実施態様によれば、画像取得手段
と位置情報取得手段とカメラ属性情報取得手段を複数有
する。

【００１６】本発明の距離参照型景観ラベリングシステ
ムは、景観ラベリング端末と景観ラベリングセンターか
らなり、景観ラベリング端末は、画像を取得する画像取
得手段と、画像取得時のカメラ位置を取得する位置情報
取得手段と、画像取得時のカメラ角と焦点距離と画像サ
イズを取得するカメラ属性情報取得手段と、取得した画
像を複数の部分領域に分割する画像処理手段と、前記画
像取得時のカメラ位置に対する前記画像の各点までの距
離である、画像の部分領域毎の各点での奥行き値を求め
る距離情報取得手段と、前記画像の領域分割に関する情
報と前記カメラ位置と前記カメラ角と前記焦点距離と前
記画像サイズとを通信網を介して前記景観ラベリングセ
ンターに送信し、前記景観ラベリングセンターからラベ
ル情報を受信する通信制御手段と、前記ラベル情報中の
構造物の名称またはその属性情報を画像中の付与位置に
対応する位置に重畳し、重畳された画像を視覚機器に表
示するラベル情報出力手段と、上記各手段を制御する端
末制御手段を有し、前記景観ラベリングセンターは、前
記通信網を介して前記景観ラベリング端末から前記画像
の領域分割に関する情報と前記カメラ位置と前記カメラ
角と前記焦点距離と前記画像サイズと前記奥行き値を受
信し、前記景観ラベリング端末に前記ラベル情報を送信
する通信制御手段と、地図情報を管理し、受信したカメ
ラ位置とカメラ角と焦点距離と画像サイズを基に地図情
報空間の中で視野空間を求め、その視野空間中に存在す
る構造物を獲得する地図情報管理手段と、前記地図情報
管理手段で獲得された構造物を基にしてコンピュータグ
ラフィックス画像であるＣＧ画像を作成した後、前記画
像取得時のカメラ位置に対するＣＧ画像の部分領域毎の
各点までの距離である奥行き値を部分領域毎に求め、Ｃ
Ｇ画像の部分領域毎の奥行き値の組と、前記画像の部分
領域毎の各点での奥行き値の組の比較により前記画像の
部分領域をＣＧ画像中の部分領域と対応付け、対応付け
られた部分領域の構造物を求め、その構造物の名称また
は属性情報および付与位置を含むラベル情報を作成する
ラベル情報作成手段と、上記各手段を制御するセンター
制御手段を有する。

【００１７】本発明の他の距離参照型景観ラベリングシ
ステムは、景観ラベリング端末と景観ラベリングセンタ
ーからなり、前記景観ラベリング端末は、画像を取得す
る画像取得手段と、画像取得時のカメラ位置を取得する
位置情報取得手段と、画像取得時のカメラ角と焦点距離
と画像サイズを取得するカメラ属性情報取得手段と、取
得した画像を複数の部分領域に分割する画像処理手段
と、前記画像取得時のカメラ位置に対する前記画像の各
点までの距離である、画像の部分領域毎の各点での奥行
き値を求める距離情報取得手段と、前記画像の領域分割
に関する情報と前記カメラ位置と前記カメラ角と前記焦
点距離と前記画像サイズと前記奥行き値を通信網を介し
て前記景観ラベリングセンターに送信し、前記景観ラベ
リングセンターからラベル情報を受信する通信制御手段
と、前記ラベル情報中の構造物の名称またはその属性情
報を画像中の付与位置に対応する位置に重畳し、重畳さ
れた画像を視覚機器に表示するラベル情報出力手段と、
上記各手段を制御する端末制御手段を有し、前記景観ラ
ベリングセンターは、前記通信網を介して前記景観ラベ
リング端末から前記画像の領域分割に関する情報と前記
カメラ位置と前記カメラ角と前記焦点距離と前記画像サ
イズと前記奥行き値を受信し、前記景観ラベリング端末
に前記ラベル情報を送信する通信制御手段と、地図情報
を管理し、受信したカメラ位置とカメラ角と焦点距離と
画像サイズを基に地図情報空間の中で視野空間を求め、
その視野空間中に存在する構造物を獲得する地図情報管
理手段と、前記地図情報管理手段で獲得された構造物を
基にしてコンピュータグラフィックス画像であるＣＧ画
像を作成した後、前記画像取得時の前記カメラ位置に対
するＣＧ画像の部分領域毎の各点までの距離である奥行
き値を部分領域毎に求め、前記ＣＧ画像の部分領域毎の
各点での奥行き値の組と、前記画像の部分領域毎の各点
での奥行き値の組の比と、前記ＣＧ画像の部分領域と前
記画像の部分領域の重複比率とから、前記画像の部分領
域をＣＧ画像中の部分領域と対応付け、対応付けられた
部分領域の構造物を求め、その構造物の名称または属性
情報および付与位置を含むラベル情報を作成するラベル
情報作成手段と、上記各手段を制御するセンター制御手
段を有する。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１９】図１は本発明の第１の一実施形態の景観ラ
ベリング装置の構成図、図２は図１の景観ラベリング装
置の処理の流れ図である。

【００２０】本実施形態の景観ラベリング装置は、画像
を取得する、例えばディジタルカメラである画像取得部
１と、画像を取得する際の画像取得部１の位置を取得す
る、例えばＧＰＳ受信機である位置情報取得部２と、画
像取得部１が画像を取得する際にカメラ角と焦点距離と
画像サイズを取得する、例えばディジタルカメラにに取
り付けられた３次元電子コンパスであるカメラ属性情報
取得部３と、取得した画像を複数の部分領域に分割する
画像処理部４と、前記画像取得時のカメラ位置に対する
前記画像の各点までの距離（奥行き値）を前記画像の部
分領域毎に求める距離情報取得部５と、地図情報を管理
し、取得した位置（カメラ位置）とカメラ角と焦点距離
と画像サイズを基に地図情報空間の中で視野空間を求
め、その視野空間中に存在する構造物を獲得する地図情
報管理部６と、地図情報管理部６で獲得された構造物を
基にしてＣＧ画像を作成した後、画像取得時のカメラ位
置に対するＣＧ画像の部分領域毎の各点までの距離であ
る奥行きを求め、ＣＧ画像の部分領域毎の各点での平均
奥行き値の組と、前記画像の部分領域毎の各点での奥行
き値の組の比率により、画像の部分領域をＣＧ画像の部
分領域とパターンマッチングにより対応づけ、対応付け
られた構造物の名称または属性情報および付与位置を含
むラベル情報を作成するラベル情報作成部７と、作成さ
れたラベル情報中の構造物の名称または属性情報を画像
中の付与位置に対応する位置に重畳し、重畳された画像
を視覚機器に出力するラベル情報出力部８と、上記各部
１〜８を制御する制御部９で構成されている。

【００２１】距離情報取得部５では、３次元計測法に関
する従来技術を利用して画像取得部１により得られた景
観画像中の部分領域毎の各点と画像取扱時の画像取得部
１（カメラ位置）との距離を求める。ここで、３次元計
測法の従来技術に関する参考文献として画像電子学会誌
第２４巻第５号４７４ページ〜４８２ページを挙げる。
この文献の中では、光レーダ法（パルス光投影法や変調
光投影法）や、単眼視法、ステレオ画像法、アクティブ
ステレオ法（スリット光投影法やパターン光投影法な
ど）等が説明されている。例えば、パルス光投影法は、
光パルスを投影し反射して帰ってくるまでの時間を計測
して距離を求める方式であり、変調光投影法は、正弦波
または矩形波で強度を時間変調した光ビームを投影し、
反射波との位相差から距離を求める方式である。例え
ば、ステレオ画像法は、複数台のカメラから得られた画
像間で三角測量法を適用して３次元位置を求める手法で
あり、スリット光投影法はスリット光を投影してできる
像の位置から三角測量法により距離得る方式であり、パ
ターン光投影法は計測空間を光パターンでコード化する
ことにより少数枚の画像から緻密な距離画像を得る方式
である。

【００２２】本実施形態では、画像取得部１は１つであ
るので、距離情報取得部５は取得画像が１つで済む光レ
ーダ法等の３次元計測法を用いて距離を求める。

【００２３】制御部９は画像取得部１を基準カメラとし
て画像取得部１から得られた画像を景観画像として扱
う。画像取得部１により位置／カメラ属性／画像情報が
制御部９を経て、距離情報取得部５に渡される。

【００２４】景観ラベリング装置が起動されると、まず
制御部９が景観画像に関する情報を取得するために、画
像取得部１、位置情報取得部２、カメラ属性情報取得部
３に対して処理開始コマンドを送る。位置情報取得部１
は、制御部９から命令を受けてＧＰＳ受信機等により位
置情報を毎秒収集し、制御部９に渡す（ステップ２
０）。ここで、時間間隔は秒単位に限らずどのようにと
ってもよい。画像取得部１は、制御部９から命令を受け
て毎秒の景観画像を取得し、制御部９に渡す（ステップ
２１）。カメラ属性情報取得部３は、制御部９の命令を
受けて画像撮影時のカメラ等景観画像記録装置のカメラ
角を水平角と仰角の組で取得し（ステップ２２）、同時
にズーム機能を有する景観画像装置であれば焦点距離を
取得する（ステップ２３）。画像サイズは景観画像装置
毎に固定なので、制御部９が画像サイズ情報を保持して
おく。距離情報取得部５は画像取得時のカメラ位置に対
する画像の各点までの距離である、部分領域毎の各点で
の奥行き値を求める（ステップ２４）。制御部９は収集
した情報を景観画像ファイルとして保持する。

【００２５】図３は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式を持つ。

【００２６】制御部９は景観画像ファイルを格納する
と、画像処理部４に対して、景観画像から輪郭線を抽出
し、景観画像を複数の領域に分割するように命令する。
画像処理部４では、大まかに言えば景観画像内の濃度差
を基に微分処理を行って輪郭線を抽出し（ステップ２
５）、その輪郭線を境界としたラベリングを行うことに
よって領域分割する（ステップ２６）。なお、ここで用
いたラベリングと言う技術用語は画像の領域分割におい
て用いられる技術用語であって、本発明の名称である景
観ラベリングとは異なるものである。手順としてはま
ず、画像を白黒濃淡画像に変換する。輪郭は明るさの急
変する部分であるから、微分処理を行って微分値が閾値
より大きい部分を求めることで輪郭線の抽出を行う、こ
のとき輪郭線の線幅は１画素であり、輪郭線は連結して
いるようにする。そのために細線化処理を行って、線幅
１画素の連結した線を得る。ここで微分処理、細線化処
理は従来からある手法を用いれば十分である。

【００２７】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図８に示す。なお、領域間の類似度
（近さ）の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。

【００２８】制御部９は景観画像の領域分割処理を完了
させると、地図情報管理部６に対して景観画像ファイル
のヘッダ情報を渡して視野空間の算出処理を行う処理要
求を出す（ステップ２７）。地図情報管理部６の例とし
ては、地図データベースプログラムがある。地図情報管
理部６は３次元地図データを管理している。２次元地図
データでもよいが、その場合は高さ情報がないために実
風景へのラベリングの付与位置の精度が劣る。なお、２
次元地図データを基にする場合は、高さ情報を補って処
理する。例えば、家屋の２次元データである場合に、家
屋が何階建てかを表す階数情報があれば、階数に一定数
を掛けてその家屋の高さを推定し、２次元データと推定
して求めた高さ情報を基に３次元データを作成する。階
数情報がない場合でも、家屋図形の面積に応じて一定数
の高さを割り振る等して高さ情報を推定することがで
き、同様に推定高さ情報を基に３次元データを作成す
る。こうして３次元データを作成して処理を進める。

【００２９】３次元地図データの例を図４に示す。図４
（１）に２次元で表現した地図情報空間を示し、図４
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部６では制御
部９の命令を受けて景観画像ファイルのヘッダ情報を基
に視野空間を算出する（ステップ２８）。図５に視野空
間の計算例を示す。まず、水平方向にＸＹ軸が張り、垂
直方向にＺ軸が張るものとする。景観画像ファイルのヘ
ッダ情報中の位置情報から、視点Ｅの位置を３次元地図
情報空間の中で設定する。例えば、東経１３７度５５分
１９秒、北緯３４度３４分３０秒、標高１０１ｍ３３ｃ
ｍであれば、それに対応する地図メッシュ番号中の対応
する座標を設定する。同じくヘッダ情報中のカメラ角情
報中の水平角と仰角を基にカメラ角方向を設定する。カ
メラ角方向を表す直線上に視点Ｅから焦点距離分進んだ
点に焦点Ｆをとる。視線方向ベクトルはその直線上で視
点Ｅから出る長さ１の単位ベクトルである。景観画像フ
ァイルの画像サイズで横方向のサイズからカメラ画面の
Ｘ軸での幅ｘを設定し、縦方向のサイズからＹ軸での幅
ｙを設定する。横ｘ縦ｙの平面は視線方向ベクトルに対
してカメラ角方向に垂直で、かつ焦点Ｆを含むように設
定される。視点Ｅの座標からカメラ画面の４隅の点とを
結ぶ直線を各々求め、視点Ｅから伸びる４本の半直線が
作る３次元空間を視野空間とする。図６に、３次元地図
空間での視野空間の例を示す。３次元地図空間をＸＺ平
面から眺めたものである。図６中で斜線で囲まれた部分
は視野空間に属する空間の、ＸＺ平面での断面図であ
る。図６の例では、視野空間の中のビルや山が含まれて
いる。

【００３０】さらに、地図情報管理部６では、求めた視
野空間の中に存在する構造物を求める。構造物毎に、構
造物を表す立体を構成する各頂点が、視野空間の内部領
域に存在するか否かを計算する。通常２次元地図空間は
一定サイズの２次元メッシュで区切られている。３次元
地図空間のメッシュの切り方としては、縦横の２次元方
向のメッシュに加えて高さ方向にも一定間隔でメッシュ
を切っていく。空間を直方体の単位空間で区切ることに
なる。まず、直方体の単位空間毎視野空間との重なり部
分の有無を調べ、重なり部分がある３次元単位地図空間
の番号を求める。ここでいう３次元単位地図空間の番号
とは、いわゆるメッシュ番号と同様のものである。重な
りを持つ３次元単位地図空間内にある構造物に対して、
視野空間と重なり部分の有無を調べる。構造物を構成す
る頂点の座標と視点の座標とを結ぶ直線を求め、その直
線が図７のカメラ画面に対して交点を持つならば視野空
間内にある。構造物を構成する複数の頂点のうち、一つ
の頂点でもこの条件を満たせば、その構造物は視野空間
と重なり部分を持つものとする。

【００３１】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る（ステップ２９）。ここで、図７に示すように、点
Ｐを次式（１）を基にして視点Ｅを基にした座標系で表
現し直した後、点Ｐをカメラ画面に投影して交点Ｑを求
める。

【００３２】

【数１】 ここで、 点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標 点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標 ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル） 点Ｐ’＝（ｘ’，ｙ’，ｘ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標 ｒ＝（ｌｘ² ＋ｌｙ² ）^1/2 交点Ｑ＝（Ｘ，Ｙ）：点Ｐのカメラ画面への投影点 ｔは焦点距離 ３次元投影変換に当たっては、まず各構造物毎にその頂
点が張る面を求める。例えば、直方体で表現される構造
物ならば、６つの面が求まる。各面をカメラ画面に投影
変換する際に、投影領域に含まれるカメラ画面上の各画
素に対し、視点とその面上の対応点との距離を計算して
奥行き値（Ｚ値）としてメモリに格納する。各構造物の
各面毎に、カメラ画面上の各画素に対する奥行き値（Ｚ
値）を計算し、メモリに格納する。なお、式（１）中の
ｚ’は視点からの奥行き値（Ｚ値）を表す。

【００３３】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ３
０）。隠面処理の方法には、いろいろあるが、例えばＺ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。

【００３４】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。

【００３５】こうしてできた領域がＣＧ画像領域を形成
する（ステップ３１）。

【００３６】ＣＧ画像領域を構成する２次元図形の頂点
座標に対して、投影変換前の３次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その２次元領域がどの構造物の投影図
かということを求めること等に用いる。

【００３７】隠線消去して残った線データを基にして、
ＣＧ画像を領域分割する。３次元地図ＤＢを利用してい
るため、各領域毎にその領域の基となる構造物の名称を
対応付けできる。ＣＧ画像の分割された領域に順番に番
号を付けていく。ＣＧ画像を複数の部分領域に分割した
例を図９に示す。

【００３８】ＣＧ画像の領域分割処理が完了したら、制
御部９はラベル情報作成部７に対して、ＣＧ画像の分割
領域と景観画像の分割領域の対応づけを行うよう命令す
る。

【００３９】ラベル情報作成部７では、ＣＧ画像を作成
した後、画像取得時のカメラ位置に対するＣＧ画像の部
分領域の各点での距離である奥行き値を求める。次に、
ＣＧ画像の部分領域の各点での奥行き値を基に、ＣＧ画
像の部分領域毎の平均奥行き値を求める（ステップ３
２）。例えば、ＣＧ画像の第ｍ番目の部分領域が、ある
構造物Ｚの像が占める領域であるとする。そのとき、そ
の構造物Ｚが景観画像中に実際に写っているか否かを、
視点と画像中の点との距離（奥行き値）の比較によって
推定したいわけである。そこで、ＣＧ画像中の第ｍ番目
の部分領域中に、複数個のサンプル座標Ｘ₁、Ｘ₂、Ｘ₃
をとり、視点（カメラ位置）と点Ｘ₁との距離、視点と
点Ｘ₂との距離、視点と点Ｘ₃との距離を計算する（図１
５（１）参照）。点Ｘ₁、Ｘ₂、Ｘ₃の座標に対応する、
景観画像中の座標を有する点を各々Ｘ₁’、Ｘ₂’、
Ｘ₃’とする。視点と点Ｘ₁’との距離、視点と点Ｘ₂’
との距離、視点と点Ｘ₃’との距離を各々距離情報取得
部５を用いて計測する。視点と点Ｘ₁、Ｘ₂、Ｘ₃との距
離がそれぞれ１０１ｍ、１０３ｍ、１０２ｍであったな
らば、平均奥行き値は１０２ｍである。視点と点
Ｘ₁’、Ｘ₂’、Ｘ₃’との距離がそれぞれ９９ｍ、１０
３ｍ、１０１ｍであったならば、平均奥行き値は１０１
ｍである。このとき距離比率は、０．９９０１９とな
る。値が０．９０に設定されていたとすると、０．９９
０１９＞０．９０なので、構造物Ｚが景観画像中に存在
するとみなす。次に、ＣＧ画像の部分領域毎の平均奥行
き値に対する景観画像の部分領域毎の平均奥行き値の比
率（距離比率）を求める。一方、景観画像とＣＧ景観画
像の比較する２つの領域を重ね合わせ、重なり部分の比
率（重複比率）を求める。そして比較する両領域の距離
比率と重複比率を乗算し、その結果を設定された閾値と
比較して、閾値以上であれば、同一の構造物に関する領
域として対応付けることになる。この対応付けは、景観
画像の分割領域のうち、番号の若い領域（例えば、１
番）から順にＣＧ画像の分割領域と行う（ステップ３
３）。重複比率の計算は次のように行う。例えば、景観
画像の分割領域１番目のＲ１に関して、その領域内にあ
る各画素の座標値を（Ａ，Ｂ）とする。座標（Ａ，Ｂ）
での画素の値は、領域の内部ゆえに１である。ＣＧ画像
の１番目の分割領域Ｓ１において、座標（Ａ，Ｂ）が領
域Ｓ１内ならば画素値１であり重なるが、Ｓ１の外なら
ば画素値０であり重ならない。こうして座標（Ａ，Ｂ）
での重なり係数Ｋ（Ａ、Ｂ）として、重なる場合１、重
ならない場合０で決まる。座標（Ａ，Ｂ）を領域Ｒ１内
で動かして、重なり係数Ｋ（Ａ，Ｂ）を求める。そし
て、領域Ｒ１内で動かした座標（Ａ，Ｂ）の数Ｎ１に対
して、重なり係数Ｋ（Ａ，Ｂ）が１であった座標の数Ｎ
２を求めて、Ｎ１／Ｎ２が重複比率となる。

【００４０】なお、マッチング方法としてこの他、ＸＹ
方向に多少の位置ずれがあっても同じ値になるような評
価関数を用いてもよい。

【００４１】ラベル情報作成部７では、景観画像の部分
領域に対してＣＧ画像の部分領域を対応付けた後、対応
は付けられた部分領域の構造物を抽出し（ステップ３
４）、さらに景観画像の部分領域毎に重畳すべき情報を
求め、重畳すべき位置とともにラベル情報として作成す
る処理（ステップ３５）に入る。まず、景観画像の部分
領域に対して、対応するＣＧ画像の部分領域を取り出
す。取り出したＣＧ画像の部分領域はもともと３次元地
図空間の中の３次元構造物のある面をカメラ画面に対し
て３次元投影変換して得られたものである。そこで、３
次元投影変換の基となった３次元構造物の面を、ＣＧ画
像の部分領域が持つ奥行き値（Ｚ値）をキーとして求め
る。さきに３次元投影変換した際に作成しておいたリン
ク情報をキーにしてもよい。もととなった構造物の面を
もとに、３次元地図ＤＢにアクセスしてその構造物の名
称または属性情報を取得する。ここで属性情報とは、そ
の構造物に関して付随する情報を意味し、その構造物に
係る情報ならば何でもよい。そして、名称または属性情
報を重畳すべき位置座標を、景観画像の部分領域に対し
て決める。決め方は、どのように決めてもよい。例え
ば、部分領域を張る図形の重心でもよい。その構造物の
名称または属性情報、および付与位置座標からラベル情
報を作成する。表１にラベル情報の例を示す。

【００４２】

【表１】 ラベル情報作成部７は、ラベル情報を作成し終ったら、
制御部９にラベル情報を渡す。

【００４３】制御部９は、ラベル情報を受け取ると、ラ
ベル情報出力部８に対して視覚機器に対してラベル情報
を表示等して出力するように命令する。ここでは視覚機
器は、ディスプレイ、ヘッドマウントディプレイ等の映
像表示装置を含む。ラベル情報中の構造物の名称または
属性情報を景観画像中の位置に重畳し（ステップ３
６）、重畳された景観画像を映像表示装置に出力する
（ステップ３７）。図１２にラベル情報が重畳された景
観画像の例を示す。

【００４４】ラベル情報出力部８はラベル情報を出力す
ると、出力完了を制御部９に通知する。制御部９は出力
完了通知を受け取ると、連続して景観ラベリングの処理
を行う場合は先に示した一連の処理手順を再び実行す
る。

【００４５】図１３は本発明の第２の実施形態の景観ラ
ベリング装置の構成図である。

【００４６】本実施形態の景観ラベリング装置は、それ
ぞれ第１、第２の画像を取得する、例えばディジタルカ
メラである第１、第２の画像取得部１Ａ，１Ｂと、画像
を取得する際の第１、第２の画像取得部１Ａ，１Ｂの位
置をそれぞれ取得する、例えばＧＰＳ受信機である第
１、第２の位置情報取得部２Ａ，２Ｂと、第１、第２の
画像取得部１，２が画像を取得する際にカメラ角と焦点
距離と画像サイズを取得する、例えばディジタルカメラ
にに取り付けられた３次元電子コンパスである第１、第
２のカメラ属性情報取得部３Ａ，３Ｂと、取得した画像
を複数の部分領域に分割する画像処理部４と、第２の画
像に対する第１の画像の各点までの距離（奥行き値）を
第１の画像の部分領域毎に求める距離情報取得部５と、
地図情報を管理し、取得した位置（カメラ位置）とカメ
ラ角と焦点距離と画像サイズを基に地図情報空間の中で
視野空間を求め、その視野空間中に存在する構造物を獲
得する地図情報管理部６と、画像の前記部分領域に対し
て獲得した構造物を画像とＣＧ画像の部分領域毎の平均
奥行き値の比率とパターンマッチングにより対応付け、
対応付けられた構造物の名称または属性情報および付与
位置を含むラベル情報を作成するラベル情報作成部７
と、作成されたラベル情報中の構造物の名称または属性
情報を画像中の付与位置に対応する位置に重畳し、重畳
された画像を視覚機器に出力するラベル情報出力部８
と、上記各部１〜８を制御する制御部９で構成されてい
る。

【００４７】本実施形態では、画像取得部、位置情報取
得部、カメラ属性情報取得部を複数有しているので、距
離情報取得部５は、光レーダ法のみならず、複数の取得
画像を必要とする前述したステレオ画像法、アクティブ
ステレオ画像法等の３次元計測法を用いて景観画像中の
部分領域の各点と画像取得時のカメラ位置を求める。

【００４８】制御部９は第１の画像取得部１Ａを基準カ
メラとして第１の画像取得部１Ａから得られた画像（第
１の画像）を景観画像として扱う。第２の画像取得部１
Ｂは距離情報を得るために設置するカメラであり、第１
の画像取得部１Ａと同様に位置／カメラ属性／画像を取
得する第２の画像取得部１Ｂによる画像（第２の画像）
は景観画像としては扱われない。第１および第２の画像
取得部１Ａ，１Ｂからの位置／カメラ属性／画像情報が
制御部９を経て、距離情報取得部５に渡される。

【００４９】景観ラベリング装置が起動されると、まず
制御部９が景観画像に関する情報を取得するために、画
像取得部１Ａ，１Ｂ、位置情報取得部２Ａ，２Ｂ、カメ
ラ属性情報取得部３Ａ，３Ｂに対して処理開始コマンド
を送る。位置情報取得部１Ａ，１Ｂは、制御部９から命
令を受けてＧＰＳ受信機等により位置情報を毎秒収集
し、制御部９に渡す（ステップ２０）。ここで、時間間
隔は秒単位に限らずどのようにとってもよい。画像取得
部１Ａ，１Ｂは、制御部９から命令を受けて毎秒の景観
画像を取得し、制御部９に渡す（ステップ２１）。カメ
ラ属性情報取得部３Ａ，３Ｂは、制御部９の命令を受け
て画像撮影時のカメラ等景観画像記録装置のカメラ角を
水平角と仰角の組で取得し（ステップ２２）、同時にズ
ーム機能を有する景観画像装置であれば焦点距離を取得
する（ステップ２３）。画像サイズは景観画像装置毎に
固定なので、制御部９が画像サイズ情報を保持してお
く。距離情報取得部５は第２の画像に対する第１の画像
の各点までの距離（奥行き値）を部分領域毎に求める
（ステップ２４）。制御部９は収集した情報を景観画像
ファイルとして保持する。以下の動作は第１の実施形態
と同様である。

【００５０】画像取得部、位置情報取得部、カメラ属性
情報取得部は３つ以上備えてもよい。

【００５１】図１４は図１の景観ラベリング装置を通信
システムに適用した景観ラベリングシステムの構成図で
ある。

【００５２】景観ラベリングシステムは景観ラベリング
端末４０と景観ラベリングセンター５０と通信網６０で
構成される。

【００５３】景観ラベリング端末４０は、画像を取得す
る画像取得部４１と、画像取得時のカメラ位置を取得す
る位置情報取得部４２と、画像取得時のカメラ角と焦点
距離と画像サイズを取得するカメラ属性情報取得部４３
と、取得した画像を複数の部分領域に分割する画像処理
部４４と、画像取得時のカメラ位置に対する画像の各点
までの距離である、画像の部分領域毎の各点での奥行き
値を求める距離情報取得部４５と、画像の領域分割に関
する情報とカメラ位置とカメラ角と焦点距離と画像サイ
ズとを通信網６０を介して景観ラベリングセンター５０
に送信し、景観ラベリングセンター５０からラベル情報
を受信する通信制御部４６と、ラベル情報中の構造物の
名称または属性情報を画像中の付与位置に対応する位置
に重畳し、重畳された画像を視覚機器に出力するラベル
情報出力部４７と、上記各部を制御する端末制御部４８
で構成される。

【００５４】景観ラベリングセンター５０は通信網６０
を介して景観ラベリング端末４０から前記画像の領域分
割に関する情報とカメラ位置とカメラ角と焦点距離と画
像サイズと平均奥行き値を受信し、景観ラベリング端末
４０にラベル情報を送信する通信制御部５１と、地図情
報を管理し、受信したカメラ位置とカメラ角と焦点距離
と画像サイズを基に地図情報空間の中で視野空間を求
め、その視野空間中に存在する構造物を獲得する地図情
報管理部５２と、地図情報管理部５２で獲得された構造
物を基にしてコンピュターグラフィックス画像であるＣ
Ｇ画像を作成した後、前記画像画像取得時のカメラ位置
に対するＣＧ画像の部分領域毎の各点までの距離である
奥行き値を求め、該ＣＧ画像の部分領域毎の各点での奥
行き値の組と、画像の部分領域毎の各点での奥行き値の
組の比較により前記画像の部分領域をＣＧ画像の部分領
域と対応付け、対応付けられた部分領域の構造物を求
め、その構造物の名称または属性情報および付与位置を
含むラベル情報を作成するラベル情報作成部５３と、上
記各部を制御するセンター制御部５４で構成される。

【００５５】なお、本システムの動作は図１の装置の動
作と同様である。また、画像取得部、位置情報取得部、
カメラ属性情報取得部は２つ以上備えてもよい。

【００５６】

【発明の効果】以上説明したように本発明によれば、コ
ンピュータ上の地理的情報と実風景の景観画像中の各部
分とを対応付けて利用者に提示することができるため、
人間がコンピュータ上の地図と実風景を見比べて人間の
方で対応付けせずとも済む。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の距離参照型景観ラベ
リング装置の構成図である。

【図２】図１の実施形態の景観ラベリング装置の処理の
流れ図である。

【図３】景観画像ファイルのデータ構造を示す図であ
る。

【図４】２次元地図の例（同図（１））とその３次元地
図（同図（２））を示す図である。

【図５】視野空間の計算方法を示す図である。

【図６】３次元地図空間での視野空間の例を示す図であ
る。

【図７】投影図の例を示す図である。

【図８】景観画像の領域分割例を示す図である。

【図９】ＣＧ画像の領域分割例を示す図である。

【図１０】景観画像の部分領域とＣＧ画像の部分領域の
パターンマッチングの説明図である。

【図１１】ＣＧ画像の第ｍ番目の部分領域内の点と（図
１１（１））、これに対応する景観画像内の点を示す図
である。

【図１２】景観画像へのラベル情報の重畳の例を示す図
である。

【図１３】本発明の第２の実施形態の距離参照型景観ラ
ベリング装置の構成図である。

【図１４】本発明の一実施形態の距離参照型景観ラベリ
ングシステムの構成図である。

【図１５】特開平８−２７３０００号に開示されたナビ
ゲーション装置の構成図である。

【図１６】動画像の表示例を示す図である。

【符号の説明】

１、１Ａ、１Ｂ 画像取得部 ２、２Ａ、２Ｂ 位置情報取得部 ３、３Ａ、３Ｂ カメラ属性情報取得部 ４ 画像処理部 ５ 距離情報取得部 ６ 地図情報管理部 ７ ラベル情報作成部 ８ ラベル情報出力部 ９ 制御部 ２０〜３７ ステップ ４０ 景観ラベリング端末 ４１ 画像取得部 ４２ 位置情報取得部 ４３ カメラ属性情報取得部 ４４ 画像処理部 ４５ 距離情報取得部 ４６ 通信制御部 ４８ ラベル情報出力部 ４７ 端末制御部 ５０ 景観ラベリングセンター ５１ 通信制御部 ５２ 地図情報管理部 ５３ ラベル情報作成部 ５４ センター制御部 ６０ 通信網

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 晃 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 池田 武史 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平８−255239（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 17/50 G09B 23/00 - 29/14 G08G 1/00 - 9/02

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 画像を取得する画像取得手段と、 画像取得時のカメラ位置を取得する位置情報取得手段
   と、 画像を取得したときのカメラ角と焦点距離と画像サイズ
   を取得するカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
   と、 前記画像取得時のカメラ位置に対する前記画像の各点ま
   での距離である、前記画像の部分領域毎の各点での奥行
   き値を求める距離情報取得手段と、 地図情報を管理し、前記の取得したカメラ位置とカメラ
   角と焦点距離と画像サイズを基に地図情報空間の中で視
   野空間を求め、その視野空間中に存在する構造物を獲得
   する地図情報管理手段と、 前記地図情報管理手段で獲得された構造物を基にしてコ
   ンピュータグラフィックス画像であるＣＧ画像を作成し
   た後、前記画像取得時の前記カメラ位置に対するＣＧ画
   像の部分領域毎の各点までの距離である奥行き値を求
   め、該ＣＧ画像の部分領域毎の各点での奥行き値の組
   と、前記画像の部分領域毎の各点での奥行き値の組の比
   較により、画像の部分領域を前記ＣＧ画像中の部分領域
   と対応付け、対応付けられた部分領域の構造物を求め、
   その構造物の名称または属性情報および付与位置を含む
   ラベル情報を作成するラベル情報作成手段と、 作成されたラベル情報中の付与位置の情報に対応する画
   像中の位置に構造物の名称またはその属性情報を重畳
   し、重畳された画像を視覚機器に表示するラベル情報出
   力手段と、 前記各手段を制御する制御手段を有する距離参照型景観
   ラベリング装置。
2. 【請求項２】 画像を取得する画像取得手段と、 画像取得時のカメラ位置を取得する位置情報取得手段
   と、 画像を取得したときのカメラ角と焦点距離と画像サイズ
   を取得するカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
   と、 前記画像取得時のカメラ位置に対する前記画像取得時の
   カメラ位置の部分領域の各点までの距離である、前記画
   像の部分領域毎の各点での奥行き値を求める距離情報取
   得手段と、 地図情報を管理し、前記の取得したカメラ位置とカメラ
   角と焦点距離と画像サイズを基に地図情報空間の中で視
   野空間を求め、その視野空間中に存在する構造物を獲得
   する地図情報管理手段と、 前記地図情報管理手段で獲得された構造物を基にしてコ
   ンピュータグラフィックス画像であるＣＧ画像を作成し
   た後、前記画像取得時の前記カメラ位置に対するＣＧ画
   像の部分領域の各点までの距離である奥行き値を求め、
   該ＣＧ画像の部分領域毎の各点での奥行き値の組と、前
   記画像の部分領域毎の各点での奥行き値の組の比と、前
   記ＣＧ画像の部分領域と前記画像の部分領域の重複比率
   とから、前記画像の部分領域を前記ＣＧ画像中の部分領
   域と対応付け、対応付けられた部分領域の構造物を求
   め、その構造物の名称または属性情報および付与位置を
   含むラベル情報を作成するラベル情報作成手段と、 作成されたラベル情報中の付与位置の情報に対応する画
   像中の位置に構造物の名称またはその属性情報を重畳
   し、重畳された画像を視覚機器に表示するラベル情報出
   力手段と、 前記各手段を制御する制御手段を有する距離参照型景観
   ラベリング装置。
3. 【請求項３】 前記ラベル情報作成手段は、獲得した構
   造物をカメラ画面に３次元投影変換し、視点から見えな
   い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
   分領域の輪郭線によってＣＧ画像を部分領域に分割す
   る、請求項１または２記載の景観ラベリング装置。
4. 【請求項４】 前記画像取得手段と前記位置情報取得手
   段と前記カメラ属性情報取得手段を各々複数有する、請
   求項１から３のいずれか１項記載の装置。
5. 【請求項５】 景観ラベリング端末と景観ラベリングセ
   ンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
   段と、画像取得時のカメラ位置を取得する位置情報取得
   手段と、画像取得時のカメラ角と焦点距離と画像サイズ
   を取得するカメラ属性情報取得手段と、取得した画像を
   複数の部分領域に分割する画像処理手段と、前記画像取
   得時のカメラ位置に対する前記画像の各点までの距離で
   ある、前記画像の部分領域毎の各点での奥行き値を求め
   る距離情報取得手段と、前記画像の領域分割に関する情
   報と前記カメラ位置と前記カメラ角と前記焦点距離と前
   記画像サイズと前記奥行き値を通信網を介して前記景観
   ラベリングセンターに送信し、前記景観ラベリングセン
   ターからラベル情報を受信する通信制御手段と、前記ラ
   ベル情報中の構造物の名称またはその属性情報を前記画
   像中の付与位置に対応する位置に重畳し、重畳された画
   像を視覚機器に表示するラベル情報出力手段と、上記各
   手段を制御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
   記景観ラベリング端末から前記画像の領域分割に関する
   情報と前記カメラ位置と前記カメラ角と前記焦点距離と
   前記画像サイズと前記奥行き値とを受信し、前記景観ラ
   ベリング端末に前記ラベル情報を送信する通信制御手段
   と、地図情報を管理し、受信したカメラ位置とカメラ角
   と焦点距離と画像サイズを基に地図情報空間の中で視野
   空間を求め、その視野空間中に存在する構造物を獲得す
   る地図情報管理手段と、前記地図情報管理手段で獲得さ
   れた構造物を基にしてコンピュータグラフィックス画像
   であるＣＧ画像を作成した後、前記画像取得時のカメラ
   位置に対するＣＧ画像の部分領域毎の各点までの距離で
   ある奥行き値を部分領域毎に求め、該ＣＧ画像の部分領
   域毎の各点での奥行き値の組と、前記画像の部分領域毎
   の各点での奥行き値の組の比較により前記画像の部分領
   域を前記ＣＧ画像中の部分領域と対応付け、対応付けら
   れた部分領域の構造物を求め、その構造物の名称または
   属性情報および付与位置を含むラベル情報を作成するラ
   ベル情報作成手段と、前記各手段を制御するセンター制
   御手段を有する距離参照型景観ラベリングシステム。
6. 【請求項６】 景観ラベリング端末と景観ラベリングセ
   ンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
   段と、画像取得時のカメラ位置を取得する位置情報取得
   手段と、画像取得時のカメラ角と焦点距離と画像サイズ
   を取得するカメラ属性情報取得手段と、取得した画像を
   複数の部分領域に分割する画像処理手段と、前記画像取
   得時のカメラ位置に対する画像の各点までの距離であ
   る、画像の部分領域毎の各点での奥行き値を求める距離
   情報取得手段と、前記画像の領域分割に関する情報と前
   記カメラ位置と前記カメラ角と前記焦点距離と前記画像
   サイズと前記奥行き値を通信網を介して前記景観ラベリ
   ングセンターに送信し、前記景観ラベリングセンターか
   らラベル情報を受信する通信制御手段と、前記ラベル情
   報中の構造物の名称またはその属性情報を前記画像中の
   付与位置に対応する位置に重畳し、重畳された画像を視
   覚機器に表示するラベル情報出力手段と、上記各手段を
   制御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
   記景観ラベリング端末から前記画像の領域分割に関する
   情報と前記カメラ位置と前記カメラ角と前記焦点距離と
   前記画像サイズと前記奥行き値を受信し、前記景観ラベ
   リング端末に前記ラベル情報を送信する通信制御手段
   と、地図情報を管理し、受信したカメラ位置とカメラ角
   と焦点距離と画像サイズを基に地図情報空間の中で視野
   空間を求め、その視野空間中に存在する構造物を獲得す
   る地図情報管理手段と、前記地図情報管理手段で獲得さ
   れた構造物を基にしてコンピュータグラフィックス画像
   であるＣＧ画像を作成した後、前記画像取得時の前記カ
   メラ位置に対するＣＧ画像の部分領域毎の各点までの距
   離である奥行き値を部分領域毎に求め、前記ＣＧ画像の
   部分領域毎の各点での奥行き値の組と、前記画像の部分
   領域毎の各点での奥行き値の組の比と、前記ＣＧ画像の
   部分領域と前記画像の部分領域の重複比率とから、前記
   画像の部分領域をＣＧ画像中の部分領域と対応付け、対
   応付けられた部分領域の構造物を求め、その構造物の名
   称または属性情報および付与位置を含むラベル情報を作
   成するラベル情報作成手段と、上記各手段を制御するセ
   ンター制御手段を有する距離参照型景観ラベリングシス
   テム。
7. 【請求項７】 前記ラベル情報作成手段は、獲得した構
   造物をカメラ画面に３次元投影変換し、視点から見えな
   い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
   分領域の輪郭線によってＣＧ画像を部分領域に分割す
   る、請求項４または６記載の景観ラベリングシステム。
8. 【請求項８】 前記画像取得手段と前記位置情報手段と
   前記カメラ属性情報とを各々複数有する、請求項５から
   ７のいずれか１項に記載のシステム。