JPH1131238A - 差分型景観ラベリング装置およびシステム - Google Patents

Abstract

(57)【要約】 【課題】 コンピュータ上の地理的情報と実風景の景観
画像中の各部分とを対応付けて利用者に提示するととも
に、システムの負担を軽減する。 【解決手段】 一定時間経過毎に景観画像を画像取得部
１で取得し、画像取得時の位置を位置情報取得部２で取
得し、カメラ角と焦点距離と景観画像サイズをカメラ属
性情報取得部３で取得する。地図情報管理部５で、取得
した位置とカメラ角と焦点距離と画像サイズを基に地図
情報空間の中で視野空間を求め、視野空間中に存在する
構造物を取得する。ラベル情報作成手段６Ａで構造物の
名称またはその属性情報およびその付与位置を含むラベ
ル情報を作成する。前記一定時間経過する前はカメラ位
置、カメラ角、焦点距離の、前回の画像取得時との差分
を求め、差分を基に付与位置の座標を再計算し、ラベル
情報を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。

【０００２】

【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。

【０００３】図１４は特開平８−２７３０００号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
７１と、地図データ等に基づいて表示用道路データおよ
び表示用背景データを発生させる表示用データ発生部７
２と、これらの表示用データに基づいて３次元動画像デ
ータを作成する３次元動画像データ作成部７３と、記憶
部７４を有し、ナビゲーション装置のユーザが目的地、
経由地を含む走行経路を事前に設定する場合に、地図画
面でなく実際に存在する道路に沿ったリアルな動画像表
示画面を見ながら経路を設定できる機能を有する。

【０００４】この装置によれば、ユーザは実際に在る経
路に沿って走行するときに、その経路に沿った動画像表
示（例えば、図１５）を見ることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べては方角を把握したり目印を見つけたり
してその方向を注視し、その方向にある建物の特徴を理
解した上で再度地図を見てその建物が何であるかを理解
している。

【０００６】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。

【０００７】本発明の目的は、コンピュータ上の地理的
情報と実風景の画像（以下、景観画像と呼ぶ。）中の各
部分とを対応付けて利用者に教示する景観ラベリング装
置およびシステムを提供することである。

【０００８】

【課題を解決するための手段】本発明は、コンピュータ
上の地図データを３次元データとして予め作成してお
き、画像（ＣＧ画像と区別するため以降景観画像と呼
ぶ）が入力されるときの位置とカメラの角度と焦点距離
と画像サイズを撮影時に取得し、コンピュータ上の３次
元地図空間内で実風景撮影時の位置とカメラの角度と焦
点距離から眺望した場合のコンピュータグラフィックス
（以下、ＣＧとする。）画像内での地理的情報を取得
し、その地理的情報を、実風景である景観画像に重畳表
示することで対応付けを実現するものである。この地理
的情報とは画像での、構造物等の名称またはその属性情
報であり、属性情報とはその構造物に関するあらゆる属
性（例えば輪郭、色等）についての情報を意味する。こ
の明細書の中では構造物という言葉を人工の構造物以外
に、山や川や海等の天然の地形も含めて地図ＤＢでの何
らかの地理的構造を有するデータ全ての意味で用いるこ
ととする。地理的情報の取得に当たっては、カメラ位
置、カメラ角、焦点距離、画像サイズをもとに景観画像
を求め、複数画像の構造物を求める。その構造物が写っ
ているはずの景観画像の位置（以下、付与位置と称す）
を求めて、構造物の名称または属性情報を重畳表示す
る。

【０００９】さらに、景観画像での構造物とＣＧ画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。獲得した構造物を
基にしてＣＧ画像を作成し、景観画像の前記部分領域に
対してパターンマッチングによりＣＧ画像中の部分領域
を対応付け、対応付けられた部分領域のもととなった構
造物を求める。

【００１０】ここで、ＣＧ画像の作成法の一例について
述べる。先に取得したカメラ位置とカメラ角度と焦点距
離と画像サイズを基に３次元地図ＤＢにアクセスして、
３次元地図空間内での視野空間を求める。視野空間中の
構造物を求め、カメラ画面を投影面として、各構造物の
立体データをこの投影面に３次元投影変換する。さらに
各構造物の投影図形を構成する線データのうち、他の構
造物に隠れて見えない線データを法線ベクトル法等の手
法を用いて隠線消去する。隠線消去して残った線データ
を基にして、ＣＧ画像を領域分割する。３次元地図ＤＢ
を利用しているため、各領域毎にその領域の基となる構
造物の名称を対応付けできる。

【００１１】そうして、パターンマッチングにより景観
画像の各部分領域に対応付けられたＣＧ画像の部分領域
の構造物名称を抽出する。抽出した構造物名称を重畳す
べき実風景画像の位置座標を、３次元地図空間中での構
造物の位置座標を先の投影面に３次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標からラベル情報を作成する。ラベル情報を基に実風
景である景観画像に構造物名称を重畳して、視覚機器に
表示する。

【００１２】ところで、景観ラベルを貼る処理を一定の
短い時間間隔で連続的に行う場合に、上記の処理を毎度
行うのはシステムにとって負担である。そこで、本発明
ではより長い一定時間間隔（例えば、３分）毎にラベル
情報の作成を行い、それより短い時間間隔（例えば、３
秒）では、直前のラベル情報を再利用してラベル情報を
作成し、システムの負担を軽減する。

【００１３】そのために差分情報作成手段を発明の構成
に追加する。差分情報作成手段では、一定時間経過した
か否かをチェックし、もし一定時間経過していれば画像
の取得処理以降の処理を順次行い、未経過ならば差分情
報を計算する。差分情報にはカメラ位置の変動量、カメ
ラ属性の変動量を含む。

【００１４】ラベル情報作成手段では、上記差分情報を
基に直前に作成したラベル情報の内、各構造物名称毎の
付与位置の座標を再計算し、再計算して得られた付与位
置の座標を基にしてラベル情報を修正して新しいラベル
情報を作成し、新たに作成されたラベル情報をラベル情
報出力手段に渡す。

【００１５】本発明の差分型景観ラベリング装置は、一
定時間経過毎に画像を取得する画像取得手段と、カメラ
位置を取得する位置情報取得手段と、カメラ角と焦点距
離と画像サイズを取得するカメラ属性情報取得手段と、
前記一定時間経過していないとき、該一定時間より短い
時間間隔経過毎にそのときのカメラ位置、カメラ角、焦
点距離を前記位置情報取得手段、前記カメラ属性情報取
得手段より取得し、これらのデータの前回の前記一定時
間経過時のカメラ位置、カメラ角、焦点距離との差分を
求める差分情報作成手段と、地図情報を管理し、画像を
取得したときのカメラ位置とカメラ角と焦点距離と画像
サイズを基に地図情報空間の中で視野空間を求め、その
視野空間中に存在する構造物を獲得する地図情報管理手
段と、前記地図情報管理手段で得られた構造物の名称ま
たはその属性情報および付与位置の座標を含むラベル情
報を作成し、前記差分情報作成手段で差分情報が得られ
たときは直前に作成されたラベル情報の内、構造物名称
の付与位置の座標を、前記差分情報を基に再計算し、再
計算して得られた付与位置の座標を基にして前記ラベル
情報を修正して新しいラベル情報を作成するラベル情報
作成手段と、取得したラベル情報中の付与位置の情報に
対応する画像中の位置に構造物の名称またはその属性情
報を重畳し、重畳された画像を視覚機器に出力するラベ
ル情報出力手段と、上記各手段を制御する制御手段を有
する。

【００１６】本発明の他の差分型景観ラベリング装置
は、一定時間経過毎に画像を取得する画像取得手段と、
カメラ位置を取得する位置情報取得手段と、カメラ角と
焦点距離と画像サイズを取得するカメラ属性情報取得手
段と、取得した画像を複数の部分領域に分割する画像処
理手段と、地図情報を管理し、画像を取得したときのカ
メラ位置とカメラ角と焦点距離と画像サイズを基に地図
情報空間の中で視野空間を求め、その視野空間中に存在
する構造物を獲得する地図情報管理手段と、前記地図情
報管理手段で得られた前記構造物の名称またはその属性
情報および付与位置の座標を含むラベル情報を作成し、
前記差分情報作成手段で差分情報が得られたときは直前
に作成されたラベル情報の内、構造物名称の付与位置の
座標を、前記差分情報を基に再計算し、再計算して得ら
れた付与位置の座標を基にして前記ラベル情報を修正し
て新しいラベル情報を作成するラベル情報作成手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に出力するラベル情報出力手段と、前記
各手段を制御する制御手段を有する。

【００１７】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物を基にしてＣＧ画像を作成
し、前記画像の前記部分領域に対してパターンマッチン
グにより前記ＣＧ画像中の部分領域に対応付け、対応付
けられた部分領域の構造物を求め、その構造物の名称ま
たは属性情報および付与位置を含むラベル情報を作成す
る。

【００１８】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物をカメラ画面に３次元投影変
換し、視点から見えない構造物を消去してＣＧ画像を作
成し、ＣＧ画像中の部分領域の輪郭線によってＣＧ画像
を部分領域に分割し、前記画像の前記部分領域と前記Ｃ
Ｇ画像の前記部分領域とをパターンマッチングにより対
応付け、対応付けられた部分領域の構造物を求め、その
構造物の名称または属性情報および付与位置を含むラベ
ル情報を作成する。

【００１９】本発明の差分型景観ラベリングシステム
は、景観ラベリング端末と景観ラベリングセンターから
なり、前記景観ラベリング端末は、一定時間経過毎に画
像を取得する画像取得手段と、カメラ位置を取得する位
置情報取得手段と、カメラ角と焦点距離と画像サイズを
取得するカメラ属性情報取得手段と、前記一定時間経過
していないとき、該一定時間より短い時間間隔経過毎に
そのときのカメラ位置、カメラ角、焦点距離を前記位置
情報取得手段、前記カメラ属性情報取得手段より取得
し、これらのデータの前回の前記一定時間経過時のカメ
ラ位置、カメラ角、焦点距離との差分を求める差分情報
作成手段と、取得した画像を複数の部分領域に分割する
画像処理手段と、前記画像の領域分割に関する情報と画
像取得時の前記カメラ位置と前記カメラ角と前記焦点距
離と前記画像サイズと前記差分を通信網を介して前記景
観ラベリングセンターに送信し、前記景観ラベリングセ
ンターからラベル情報を受信する通信制御手段と、前記
ラベル情報中の構造物名称またはその属性情報を画像中
の付与位置に対応する位置に重畳し、重畳された画像を
視覚機器に出力するラベル情報出力手段と、上記各手段
を制御する端末制御手段を有し、前記景観ラベリングセ
ンターは、前記通信網を介して前記景観ラベリング端末
から前記画像の領域分割に関する情報と前記カメラ位置
と前記カメラ角と前記焦点距離と前記画像サイズと前記
差分を受信し、前記景観ラベリング端末に前記ラベル情
報を送信する通信制御手段と、地図情報を管理し、受信
したカメラ位置とカメラ角と焦点距離と画像サイズを基
に地図情報空間の中で視野空間を求め、その視野空間中
に存在する構造物を獲得する地図情報管理手段と、前記
地図情報管理手段で得られた画像の前記部分領域に対し
て前記獲得した構造物を対応付け、対応付けられた前記
構造物の名称または属性情報および付与位置を含む前記
ラベル情報を作成し、前記差分の情報が送られてきたと
きは直前に作成されたラベル情報の内、構造物名称の付
与位置の座標を、前記差分情報を基に再計算し、再計算
して得られた付与位置の座標を基にして前記ラベル情報
を修正して新しいラベル情報を作成するラベル情報作成
手段と、上記各手段を制御するセンター制御手段を有す
る。

【００２０】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００２１】図１は本発明の第１の実施形態の差分型景
観ラベリング装置の構成図である。

【００２２】本実施形態の景観ラベリング装置は、一定
時間経過毎に画像を取得する、例えばディジタルカメラ
である画像取得部１と、カメラ位置を取得する、例えば
ＧＰＳ受信機である位置情報取得部２と、カメラ角と焦
点距離と画像サイズを取得する、例えばディジタルカメ
ラに取り付けられた３次元電子コンパスであるカメラ属
性情報取得部３と、前記一定時間経過していないとき、
該一定時間より短い時間間隔経過毎にそのときのカメラ
位置、カメラ角、焦点距離を位置情報取得部２、カメラ
属性情報取得部３より取得し、これらのデータの前回の
前記一定時間経過時のカメラ位置、カメラ角、焦点距離
との差分を求める差分情報作成部４と、地図情報を管理
し、画像を取得したときのカメラ位置とカメラ角と焦点
距離と画像サイズを基に地図情報空間の中で視野空間を
求め、その視野空間中に存在する構造物を獲得する、例
えば地図ＤＢ管理のプログラムである地図情報管理部６
と、地図情報管理部６で得られた前記構造物の名称また
はその属性情報および付与位置の座標を含むラベル情報
を作成し、差分情報作成部４で差分情報が得られたとき
は直前に作成されたラベル情報の内、構造物名称の付与
位置の座標を、前記差分情報を基に再計算し、再計算し
て得られた付与位置の座標を基にして前記ラベル情報を
修正して新しいラベル情報を作成するラベル情報作成部
７Ａと、取得したラベル情報中の付与位置の情報に対応
する画像中の位置に地図情報の名称また輪郭を重畳し、
重畳された画像を視覚機器（不図示）に出力するラベル
情報出力部８Ａと、各部１〜８Ａを制御する制御部９Ａ
で構成されている。

【００２３】図２は本発明の第２の実施形態の景観ラベ
リング装置の構成図、図３は図１の景観ラベリング装置
の処理の流れ図である。

【００２４】本実施形態の景観ラベリング装置は、一定
時間経過毎に景観画像を取得する、例えばディジタルカ
メラである画像取得部１と、カメラ位置を取得する、例
えばＧＰＳ受信機である位置情報取得部２と、カメラ角
と焦点距離と画像サイズを取得する、例えばディジタル
カメラに取り付けられた３次元電子コンパスであるカメ
ラ属性情報取得部３と、前記一定時間経過していないと
き、該一定時間より短い時間間隔経過毎にそのときのカ
メラ位置、カメラ角、焦点距離を位置情報取得部２、カ
メラ属性情報取得部３より取得し、これらのデータの前
回の前記一定時間経過時のカメラ位置、カメラ角、焦点
距離との差分を求める差分情報作成部４と、取得した画
像を複数の部分領域に分割する画像処理部５と、地図情
報を管理し、画像を取得したときのカメラの位置とカメ
ラ角と焦点距離と画像サイズを基に地図情報空間の中で
視野空間を求め、その視野空間中に存在する構造物を獲
得する地図情報管理部６と、地図情報管理部６で得られ
た前記構造物の名称またはその属性情報および付与位置
の座標を含むラベル情報を作成し、差分情報作成部４で
差分情報が得られたときは直前に作成されたラベル情報
の内、構造物名称の付与位置の座標を、前記差分情報を
基に再計算し、再計算して得られた付与位置の座標を基
にして前記ラベル情報を修正して新しいラベル情報を作
成するラベル情報作成部７Ｂと、作成されたラベル情報
中の構造物の名称または属性情報を画像中の付与位置に
対応する位置に重畳し、重畳された画像を視覚機器に出
力するラベル情報出力部８Ｂと、上記各部１〜８Ｂを制
御する制御部９Ｂで構成されている。

【００２５】次に、本実施形態の動作を詳細に説明す
る。

【００２６】景観ラベリング装置が起動されると、まず
制御部９Ｂが景観画像に関する情報を取得するために、
位置情報取得部２、カメラ属性情報取得部３、画像取得
部１に対して処理開始コマンドを送る。位置情報取得部
２は、制御部９Ｂから命令を受けてＧＰＳ受信機等によ
り位置情報を例えば３秒間隔で収集し、制御部９Ｂに渡
す（ステップ２０）。ここで時間間隔は秒単位に限らず
どのようにとってもよい。カメラ属性情報取得部３は、
制御部９Ｂの命令を受けて画像撮影時のカメラ等景観画
像記録装置のカメラ角を水平角と仰角の組で取得し（ス
テップ２１）、同時にズーム機能を有する景観画像装置
であれば焦点距離を取得する（ステップ２２）。次に、
一定時間間隔、例えば３分経過したかどうかを判定する
（ステップ２３）。経過していれば画像取得部１は制御
部９Ｂから命令を受けて毎秒の景観画像を取得し、制御
部９Ｂに渡す（ステップ２４）。画像サイズは景観画像
装置毎に固定なので、制御部９Ｂが画像サイズ情報を保
持しておく。制御部９Ｂは収集した情報を景観画像ファ
イルとして保持する。

【００２７】図４は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式を持つ。

【００２８】制御部９Ｂは景観画像ファイルを格納する
と、画像処理部５に対して、景観画像から輪郭線を抽出
し、景観画像を複数の領域に分割するように命令する。
画像処理部５では、大まかに言えば景観画像内の濃度差
を基に微分処理を行って輪郭線を抽出し（ステップ２
５）、その輪郭線を境界としたラベリングを行うことに
よって領域分割する（ステップ２６）。なお、ここで用
いたラベリングと言う技術用語は画像の領域分割におい
て用いられる技術用語であって、本発明の名称である景
観ラベリングとは異なるものである。手順としてはま
ず、画像を白黒濃淡画像に変換する。輪郭は明るさの急
変する部分であるから、微分処理を行って微分値がしき
い値より大きい部分を求めることで輪郭線の抽出を行
う、このとき輪郭線の線幅は１画素であり、輪郭線は連
結しているようにする。そのために細線化処理を行っ
て、線幅１画素の連結した線を得る。ここで微分処理、
細線化処理は従来からある手法を用いれば十分である。

【００２９】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図９に示す。なお、領域間の類似度
（近さ）の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。

【００３０】制御部９Ｂは景観画像の領域分割処理を完
了させると、地図情報管理部６に対して景観画像ファイ
ルのヘッダ情報を渡して視野空間の算出処理を行う処理
要求を出す（ステップ２７）。地図情報管理部６の例と
しては、地図データベースプログラムがある。地図情報
管理部６は３次元地図データを管理している。２次元地
図データでもよいが、その場合は高さ情報がないために
実風景へのラベリングの付与位置の精度が劣る。なお、
２次元地図データを基にする場合は、高さ情報を補って
処理する。例えば、家屋の２次元データである場合に、
家屋が何階建てかを表す階数情報があれば、階数に一定
数を掛けてその家屋の高さを推定し、２次元データと推
定して求めた高さ情報を基に３次元データを作成する。
階数情報がない場合でも、家屋図形の面積に応じて一定
数の高さを割り振る等して高さ情報を推定することがで
き、同様に推定高さ情報をもとに３次元データを作成す
る。こうして３次元データを作成して処理を進める。

【００３１】３次元地図データの例を図５に示す。図５
（１）に２次元で表現した地図情報空間を示し、図５
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部６では制御
部９Ｂの命令を受けて景観画像ファイルのヘッダ情報を
基に視野空間を算出する（ステップ２８）。図６に視野
空間の計算例を示す。まず、水平方向にＸＹ軸が張り、
垂直方向にＺ軸が張るものとする。景観画像ファイルの
ヘッダ情報中の位置情報から、視点Ｅの位置を３次元地
図情報空間の中で設定する。例えば、東経１３７度５５
分１９秒、北緯３４度３４分３０秒、標高１０１ｍ３３
ｃｍであれば、それに対応する地図メッシュ番号中の対
応する座標を設定する。同じくヘッダ情報中のカメラ角
情報中の水平角と仰角をもとにカメラ角方向を設定す
る。カメラ角方向を表す直線上に視点Ｅから焦点距離分
進んだ点に焦点Ｆをとる。視線方向ベクトルはその直線
上で視点Ｅから出る長さ１の単位ベクトルである。景観
画像ファイルの画像サイズで横方向のサイズからカメラ
画面のＸ軸での幅ｘを設定し、縦方向のサイズからＹ軸
での幅ｙを設定する。横ｘ縦ｙの平面は視線方向ベクト
ルに対してカメラ角方向に垂直で、かつ焦点Ｆを含むよ
うに設定される。視点Ｅの座標からカメラ画面の４隅の
点とを結ぶ直線を各々求め、視点Ｅから伸びる４本の半
直線が作る３次元空間を視野空間とする。図７に、３次
元地図空間での視野空間の例を示す。３次元地図空間を
ＸＺ平面から眺めたものである。図７中で斜線で囲まれ
た部分は視野空間に属する空間の、ＸＺ平面での断面図
である。図７の例では、視野空間の中のビルや山が含ま
れている。

【００３２】さらに、地図情報管理部６では、求めた視
野空間の中に存在する構造物を求める。構造物毎に、構
造物を表す立体を構成する各頂点が、視野空間の内部領
域に存在するか否かを計算する。通常２次元地図空間は
一定サイズの２次元メッシュで区切られている。３次元
地図空間のメッシュの切り方としては、縦横の２次元方
向のメッシュに加えて高さ方向にも一定間隔でメッシュ
を切っていく。空間を直方体の単位空間で区切ることに
なる。まず、直方体の単位空間毎視野空間との重なり部
分の有無を調べ、重なり部分がある３次元単位地図空間
の番号を求める。ここでいう３次元単位地図空間の番号
とは、いわゆるメッシュ番号と同様のものである。重な
りを持つ３次元単位地図空間内にある構造物に対して、
視野空間と重なり部分の有無を調べる。構造物を構成す
る頂点の座標と視点の座標とを結ぶ直線を求め、その直
線が図８のカメラ画面に対して交点を持つならば視野空
間内にある。構造物を構成する複数の頂点のうち、一つ
の頂点でもこの条件を満たせば、その構造物は視野空間
と重なり部分を持つものとする。

【００３３】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る（ステップ２９）。ここで、図８に示すように、点
Ｐを次式（１）を基にして視点Ｅを基にした座標系で表
現し直した後、点Ｐをカメラ画面に投影して交点Ｑを求
める。

【００３４】

【数１】 ここで、 点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標 点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標 ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル） 点Ｐ’＝（ｘ’，ｙ’，ｘ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標 ｒ＝（ｌｘ² ＋ｌｙ² ）^1/2 交点Ｑ＝（Ｘ，Ｙ）：点Ｐのカメラ画面への投影点 ｔは焦点距離 ３次元投影変換に当たっては、まず各構造物毎にその頂
点が張る面を求める。例えば、直方体で表現される構造
物ならば、６つの面が求まる。各面をカメラ画面に投影
変換する際に、投影領域に含まれるカメラ画面上の各画
素に対し、視点とその面上の対応点との距離を計算して
奥行き値（Ｚ値）としてメモリに格納する。各構造物の
各面毎に、カメラ画面上の各画素に対する奥行き値（Ｚ
値）を計算し、メモリに格納する。なお式（１）中の
ｚ’は視点からの奥行き値（Ｚ値）を表す。

【００３５】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ３
０）。隠面処理の方法には、いろいろあるが、例えばＺ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。

【００３６】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。

【００３７】こうしてできた領域がＣＧ画像領域を形成
する（ステップ３１）。

【００３８】ＣＧ画像領域を構成する２次元図形の頂点
座標に対して、投影変換前の３次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その２次元領域がどの構造物の投影図
かということを求めること等に用いる。

【００３９】隠線消去して残った線データを基にして、
ＣＧ画像を領域分割する。３次元地図ＤＢを利用してい
るため、各領域毎にその領域の基となる構造物の名称を
対応付けできる。ＣＧ画像の分割された領域に順番に番
号を付けていく。ＣＧ画像を複数の部分領域に分割した
例を図１０に示す。

【００４０】ＣＧ画像の領域分割処理が完了したら、制
御部９Ｂはラベル情報作成部７Ｂに対して、ＣＧ画像の
分割領域と景観画像の分割領域の対応付けを行うように
命令する。ラベル情報作成部７Ｂでは、テンプレートマ
ッチングによりＣＧ画像の分割領域と景観画像の分割領
域の対応付けを行い（ステップ３２、図１１参照）、対
応付け構造物を抽出する（ステップ３３）。

【００４１】景観画像の分割領域のうち、番号の若い領
域（例えば、１番）から順にＣＧ画像の分割領域と対応
付けていく。対応付けに当たっては、従来からあるマッ
チング方法のうちのどれをとってもよいが、ここでは単
純なテンプレートマッチング法をとる。つまり、比較す
る２つの領域を重ね合わせ、重なり合う部分の比率が、
しきい値として決めた一定の比率以上にある場合に同一
の構造物に関する領域として対応付けることとする。例
えば、景観画像の分割領域１番目のＲ１に関して、その
領域内にある各画素の座標値を（Ａ，Ｂ）とする。座標
（Ａ，Ｂ）での画素の値は、領域の内部ゆえに１であ
る。ＣＧ画像の１番目の分割領域Ｓ１において、座標
（Ａ，Ｂ）が領域Ｓ１内ならば画素値１であり重なる
が、Ｓ１の外ならば画素値０であり重ならない。こうし
て座標（Ａ，Ｂ）での重なり係数Ｋ（Ａ、Ｂ）として、
重なる場合１、重ならない場合０で決まる。座標（Ａ，
Ｂ）を領域Ｒ１内で動かして、重なり係数Ｋ（Ａ，Ｂ）
を求める。そして、領域Ｒ１内で動かした座標（Ａ，
Ｂ）の数Ｎ１に対して、重なり係数Ｋ（Ａ，Ｂ）が１で
あった座標の数Ｎ２を求めて、Ｎ１／Ｎ２がしきい値以
上である場合に、景観画像の分割領域Ｒ１とＣＧ画像の
分割領域Ｓ１が対応するものと決める。この対応付けを
景観画像の分割領域の１番目から最後のものまで行う。
なお、マッチング方法としてこの他、ＸＹ方向に多少の
位置ずれがあっても同じ値になるような評価関数を用い
てもよい。

【００４２】ラベル情報作成部７Ｂでは、景観画像の部
分領域に対してＣＧ画像の部分領域を対応付けた後、さ
らに景観画像の部分領域毎に重畳すべき情報を求め、重
畳すべき位置とともにラベル情報として作成する処理
（ステップ３４）に入る。まず、景観画像の部分領域に
対して、対応するＣＧ画像の部分領域を取り出す。取り
出したＣＧ画像の部分領域はもともと３次元地図空間の
中の３次元構造物のある面をカメラ画面に対して３次元
投影変換して得られたものである。そこで、３次元投影
変換の基となった３次元構造物の面を、ＣＧ画像の部分
領域が持つ奥行き値（Ｚ値）をキーとして求める。さき
に３次元投影変換した際に作成しておいたリンク情報を
キーにしてもよい。もととなった構造物の面をもとに、
３次元地図ＤＢにアクセスしてその構造物の名称または
属性情報を取得する。ここで属性情報とは、その構造物
に関して付随する情報を意味し、その構造物に係る情報
ならば何でもよい。そして、名称または属性情報を重畳
すべき位置座標を、景観画像の部分領域に対して決め
る。決め方は、どのように決めてもよい。例えば、部分
領域を張る図形の重心でもよい。その構造物の名称また
は属性情報、および付与位置座標からラベル情報を作成
する。表１にラベル情報の例を示す。

【００４３】

【表１】 ラベル情報作成部７Ｂは、ラベル情報を作成し終った
ら、制御部９Ｂにラベル情報を渡す。

【００４４】制御部９Ｂは、ラベル情報を受け取ると、
ラベル情報出力部８Ｂに対して視覚機器に対してラベル
情報を表示等して出力するように命令する。ここでは視
覚機器は、ディスプレイ、ヘッドマウントディスプレイ
等の映像表示装置を含む。ラベル情報中の構造物の名称
または属性情報を景観画像中の位置に重畳し（ステップ
３５）、重畳された景観画像を映像表示装置に出力する
（ステップ３６）。図１２にラベル情報が重畳された景
観画像の例を示す。

【００４５】ラベル情報出力部８Ｂはラベル情報を出力
すると、出力完了を制御部９Ｂに通知する。制御部９Ｂ
は出力完了通知を受け取ると、連続して景観ラベリング
の処理を行う場合は先に示した一連の処理手順を再び実
行する。

【００４６】ステップ２３Ａで一定時間（３分）経過し
ていなければ、時間間隔（３秒）の整数倍の時間が経過
したか判定する（ステップ２３Ｂ）。時間間隔（３秒）
の整数倍経過していればステップ２１〜２３で取得した
カメラ位置、カメラ角、焦点距離のデータの前回の一定
時間（３分）経過したときの差分を計算し（ステップ３
７）、直前に作成されたラベル情報の内、構造物の付与
位置の座標を、前記差分を基に再計算し（ステップ３
８）、再計算した付与位置の座標を基にしてラベル情報
を修正して新しいラベル情報を作成する（ステップ３
９）。

【００４７】簡単な例を示す。カメラ属性が一定のまま
平坦な土地を前方へ等速直線運動を行う場合について説
明する。時間間隔を仮に３秒とする。この場合、直前の
ラベル情報（Ｌ１とする）中の構造物名称毎の付与位置
座標Ｈ１をずらして、ラベル情報（Ｌ２とする）を作成
することになる。まず、Ｌ１に対応するＣＧ景観画像の
中で、ラベルＬ１での構造物名称に対応する構造物の重
心座標Ｃ１を求める。同様に３秒後の等速直線運動を行
った場合に構造物の重心座標Ｃ１が移動するであろう移
動先の座標Ｃ２を計算する。構造物名称の付与位置座標
Ｈ２をＨ１からＣ２とＣ１の差分ベクトルの分だけ差し
引くことで与える。同様の処理をＬ１の各構造物名称に
対して行うことによって、ラベルＬ２を作成する。直観
的には、前方に移動した分だけ構造物名称がラベルされ
る位置が画面手前側に近づくように移動することにな
る。

【００４８】表２は一定時間間隔（３分）から３秒経過
後のラベル情報の例を示している。表１と比較すると、
重畳位置のＸ座標が３０ずれていることがわかる。

【００４９】

【表２】 図１３は図２の景観ラベリング装置を通信システムに適
用した景観ラベリングシステムの構成図である。

【００５０】景観ラベリングシステムは景観ラベリング
端末４０と景観ラベリングセンター５０と通信網６０で
構成される。

【００５１】景観ラベリング端末４０は、一定時間経過
毎に画像を取得する画像取得部４１と、カメラ位置を取
得する位置情報取得部４２と、カメラ角と焦点距離と画
像サイズを取得するカメラ属性情報取得部４３と、前記
一定時間経過していないとき、該一定時間より短い時間
間隔経過毎にそのときのカメラ位置、カメラ角、焦点距
離を位置情報取得部４２、カメラ属性情報取得部４３よ
り取得し、これらのデータの前回の前記一定時間経過時
のカメラ位置、カメラ角、焦点距離との差分を求める差
分情報作成部４４と、取得した画像を複数の部分領域に
分割する画像処理部４５と、画像の領域分割に関する情
報とカメラ位置とカメラ角と焦点距離と画像サイズと差
分とを通信網６０を介して景観ラベリングセンター５０
に送信し、景観ラベリングセンター５０からラベル情報
を受信する通信制御部４６と、ラベル情報中の構造物の
名称または属性情報を画像中の対応する位置に重畳し、
重畳される画像の視覚機器に出力するラベル情報出力部
４７と、上記各部を制御する端末制御部４８で構成され
る。

【００５２】景観ラベリングセンター５０は通信網６０
を介して景観ラベリング端末４０から前記画像の領域分
割に関する情報とカメラ位置とカメラ角と焦点距離と画
像サイズを受信し、景観ラベリング端末４０にラベル情
報を送信する通信制御部５３と、地図情報を管理し、受
信したカメラ位置とカメラ角と焦点距離と画像サイズを
基に地図情報空間の中で視野空間を求め、その視野空間
中に存在する構造物を獲得する地図情報管理部５１と、
地図情報管理部５１で得られた画像の前記部分領域に対
して前記獲得した構造物をパターンマッチングにより対
応付け、対応付けられた前記構造物の名称または属性情
報および付与位置を含むラベル情報を作成し、前記差分
の情報が送られてきたときは直前に作成されたラベル情
報の内、構造物名称の付与位置の座標を、前記差分情報
を基に再計算し、再計算して得られた付与位置の座標を
基にして前記ラベル情報を修正して新しいラベル情報を
作成するラベル情報作成部５２と、上記各部を制御する
センター制御部５４で構成される。

【００５３】なお、ラベル情報作成部５２は図２中のラ
ベル情報作成部８Ｂと同じ構成をとることができる。

【００５４】

【発明の効果】以上説明したように本発明によれば、コ
ンピュータ上の地理的情報と実風景の景観画像中の各部
分とを対応付けて利用者に提示することができるため、
人間がコンピュータ上の地図と実風景を見比べて人間の
方で対応付けせずとも済み、また直前のラベル情報を利
用してラベル情報を作成するので、システムの負担が軽
減される。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の差分型景観ラベリン
グ装置の構成図である。

【図２】本発明の第２の実施形態の差分型景観ラベリン
グ装置の構成図である。

【図３】第２の実施形態の景観ラベリング装置の処理の
流れ図である。

【図４】景観画像ファイルのデータ構造を示す図であ
る。

【図５】２次元地図の例（同図（１））とその３次元地
図（同図（２））を示す図である。

【図６】視野空間の計算方法を示す図である。

【図７】３次元地図空間での視野空間の例を示す図であ
る。

【図８】投影図の例を示す図である。

【図９】景観画像の領域分割例を示す図である。

【図１０】ＣＧ画像の領域分割例を示す図である。

【図１１】景観画像の部分領域とＣＧ画像の部分領域の
パターンマッチングの説明図である。

【図１２】景観画像へのラベル情報の重畳の例を示す図
である。

【図１３】本発明の一実施形態の差分型景観ラベリング
システムの構成図である。

【図１４】特開平８−２７３０００号に開示されたナビ
ゲーション装置の構成図である。

【図１５】動画像の表示例を示す図である。

【符号の説明】

１ 景観画像取得部 ２ 位置情報取得部 ３ カメラ属性情報取得部 ４ 差分情報作成部 ５ 画像処理部 ６ 地図情報管理部 ７Ａ，７Ｂ ラベル情報作成部 ８Ａ，８Ｂ ラベル情報出力部 ９Ａ，９Ｂ 制御部 ２０〜３９ ステップ ４０ 景観ラベリング端末 ４１ 景観画像取得部 ４２ 位置情報取得部 ４３ カメラ属性情報取得部 ４４ 差分情報作成部 ４５ 画像処理部 ４６ 通信制御部 ４７ ラベル情報出力部 ４８ 端末制御部 ５０ 景観ラベリングセンター ５１ 地図情報管理部 ５２ ラベル情報作成部 ５３ 通信制御部 ５４ センター制御部 ６０ 通信網

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ (72)発明者 鈴木 晃 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 池田 武史 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 一定時間経過毎に画像を取得する画像取
   得手段と、 カメラ位置を取得する位置情報取得手段と、 カメラ角と焦点距離と画像サイズを取得するカメラ属性
   情報取得手段と、 前記一定時間経過していないとき、該一定時間より短い
   時間間隔経過毎にそのときのカメラ位置、カメラ角、焦
   点距離を前記位置情報取得手段、前記カメラ属性情報取
   得手段より取得し、これらのデータの前回の前記一定時
   間経過時のカメラ位置、カメラ角、焦点距離との差分を
   求める差分情報作成手段と、 地図情報を管理し、画像を取得したときのカメラ位置と
   カメラ角と焦点距離と画像サイズを基に地図情報空間の
   中で視野空間を求め、その視野空間中に存在する構造物
   を獲得する地図情報管理手段と、 前記地図情報管理手段で得られた前記構造物の名称また
   はその属性情報および付与位置の座標を含むラベル情報
   を作成し、前記差分情報作成手段で差分情報が得られた
   ときは直前に作成されたラベル情報の内、構造物名称の
   付与位置の座標を、前記差分情報を基に再計算し、再計
   算して得られた付与位置の座標を基にして前記ラベル情
   報を修正して新しいラベル情報を作成するラベル情報作
   成手段と、 取得したラベル情報中の付与位置の情報に対応する画像
   中の位置に構造物の名称またはその属性情報を重畳し、
   重畳された画像を視覚機器に出力するラベル情報出力手
   段と、 上記各手段を制御する制御手段を有する差分型景観ラベ
   リング装置。
2. 【請求項２】 一定時間経過毎に画像を取得する画像取
   得手段と、 カメラ位置を取得する位置情報取得手段と、 カメラ角と焦点距離と画像サイズを取得するカメラ属性
   情報取得手段と、 前記一定時間経過していないとき、該一定時間より短い
   時間間隔経過毎にそのときのカメラ位置、カメラ角、焦
   点距離を前記位置情報取得手段、前記カメラ属性情報取
   得手段より取得し、これらのデータの前回の前記一定時
   間経過時のカメラ位置、カメラ角、焦点距離との差分を
   求める差分情報作成手段と、 取得した画像を複数の部分領域に分割する画像処理手段
   と、 地図情報を管理し、画像を取得したときのカメラ位置と
   カメラ角と焦点距離と画像サイズを基に地図情報空間の
   中で視野空間を求め、その視野空間中に存在する構造物
   を獲得する地図情報管理手段と、 前記地図情報管理手段で得られた前記構造物の名称また
   はその属性情報および付与位置の座標を含むラベル情報
   を作成し、前記差分情報作成手段で差分情報が得られた
   ときは直前に作成されたラベル情報の内、構造物名称の
   付与位置の座標を、前記差分情報を基に再計算し、再計
   算して得られた付与位置の座標を基にして前記ラベル情
   報を修正して新しいラベル情報を作成するラベル情報作
   成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
   画像中の付与位置に対応する位置に重畳し、重畳された
   画像を視覚機器に出力するラベル情報出力手段と、 前記各手段を制御する制御手段を有する差分型景観ラベ
   リング装置。
3. 【請求項３】 前記ラベル情報作成手段は、獲得した構
   造物を基にしてコンピュータグラフィックス画像である
   ＣＧ画像を作成し、前記画像の前記部分領域に対してパ
   ターンマッチングにより前記ＣＧ画像中の部分領域に対
   応付け、対応付けられた部分領域の構造物を求め、その
   構造物の名称または属性情報および付与位置を含むラベ
   ル情報を作成する、請求項２記載の装置。
4. 【請求項４】 前記ラベル情報作成手段は、獲得した構
   造物をカメラ画面に３次元投影変換し、視点から見えな
   い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
   分領域の輪郭線によってＣＧ画像を部分領域に分割し、
   前記画像の前記部分領域と前記ＣＧ画像の前記部分領域
   とをパターンマッチングにより対応付け、対応付けられ
   た部分領域の構造物を求め、その構造物の名称または属
   性情報および付与位置を含むラベル情報を作成する、請
   求項２記載の装置。
5. 【請求項５】 景観ラベリング端末と景観ラベリングセ
   ンターからなり、 前記景観ラベリング端末は、一定時間経過毎に画像を取
   得する画像取得手段と、カメラ位置を取得する位置情報
   取得手段と、カメラ角と焦点距離と画像サイズを取得す
   るカメラ属性情報取得手段と、前記一定時間経過してい
   ないとき、該一定時間より短い時間間隔経過毎にそのと
   きのカメラ位置、カメラ角、焦点距離を前記位置情報取
   得手段、前記カメラ属性情報取得手段より取得し、これ
   らのデータの前回の前記一定時間経過時のカメラ位置、
   カメラ角、焦点距離との差分を求める差分情報作成手段
   と、取得した画像を複数の部分領域に分割する画像処理
   手段と、前記画像の領域分割に関する情報と画像取得時
   の前記カメラ位置と前記カメラ角と前記焦点距離と前記
   画像サイズと前記差分を通信網を介して前記景観ラベリ
   ングセンターに送信し、前記景観ラベリングセンターか
   らラベル情報を受信する通信制御手段と、前記ラベル情
   報中の構造物名称またはその属性情報を画像中の付与装
   置に対応する位置に重畳し、重畳された画像を視覚機器
   に出力するラベル情報出力手段と、上記各手段を制御す
   る端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
   記景観ラベリング端末から前記画像の領域分割に関する
   情報と前記カメラ位置と前記カメラ角と前記焦点距離と
   前記画像サイズと前記差分を受信し、前記景観ラベリン
   グ端末に前記ラベル情報を送信する通信制御手段と、地
   図情報を管理し、受信したカメラ位置とカメラ角と焦点
   距離と画像サイズを基に地図情報空間の中で視野空間を
   求め、その視野空間中に存在する構造物を獲得する地図
   情報管理手段と、前記地図情報管理手段で得られた画像
   の前記部分領域に対して前記獲得した構造物を対応付
   け、対応付けられた前記構造物の名称または属性情報お
   よび付与位置を含む前記ラベル情報を作成し、前記差分
   情報が送られてきたときは直前に作成されたラベル情報
   の内、構造物名称の付与位置の座標を、前記差分情報を
   基に再計算し、再計算して得られた付与位置の座標を基
   にして前記ラベル情報を修正して新しいラベル情報を作
   成するラベル情報作成手段と、上記各手段を制御するセ
   ンター制御手段を有する差分型景観ラベリングシステ
   ム。
6. 【請求項６】 前記ラベル情報作成手段は、獲得した構
   造物を基にしてコンピュータグラフィックス画像である
   ＣＧ画像を作成し、前記画像の前記部分領域に対してパ
   ターンマッチングにより前記ＣＧ画像中の部分領域に対
   応付け、対応付けられた部分領域の構造物を求め、その
   構造物の名称または属性情報および付与位置を含むラベ
   ル情報を作成する、請求項５記載のシステム。
7. 【請求項７】 前記ラベル情報作成手段は、獲得した構
   造物をカメラ画面に３次元投影変換し、視点から見えな
   い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
   分領域の輪郭線によってＣＧ画像を部分領域に分割し、
   前記画像の前記部分領域と前記ＣＧ画像の前記部分領域
   とをパターンマッチングにより対応付け、対応付けられ
   た部分領域の構造物を求め、その構造物の名称または属
   性情報および付与位置を含むラベル情報を作成する、請
   求項５記載のシステム。