JPH1131239A - 注視方向景観ラベリング装置およびシステム - Google Patents

注視方向景観ラベリング装置およびシステム

Info

Publication number
JPH1131239A
JPH1131239A JP9186678A JP18667897A JPH1131239A JP H1131239 A JPH1131239 A JP H1131239A JP 9186678 A JP9186678 A JP 9186678A JP 18667897 A JP18667897 A JP 18667897A JP H1131239 A JPH1131239 A JP H1131239A
Authority
JP
Japan
Prior art keywords
image
information
camera
label information
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9186678A
Other languages
English (en)
Inventor
Takahiro Matsumura
隆宏 松村
Toshiaki Sugimura
利明 杉村
Masaji Katagiri
雅二 片桐
Akira Suzuki
晃 鈴木
Masaji Takano
正次 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP9186678A priority Critical patent/JPH1131239A/ja
Publication of JPH1131239A publication Critical patent/JPH1131239A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 コンピュータ上の地理的情報と実風景の景観
画像中の各部分とを対応付けて利用者に提示する。 【解決手段】 注視方向取得部1で人間の注視方向を取
得する。人間の注視方向の景観画像を画像取得部2で取
得し、画像取得時のカメラ位置を位置情報取得部3で取
得し、カメラ角と焦点距離と景観画像サイズをカメラ属
性情報取得部4で取得する。地図情報管理部6で、取得
したカメラ位置とカメラ角と焦点距離と画像サイズを基
に地図情報空間の中で視野空間を求め、視野空間中に存
在する構造物を取得する。ラベル情報作成手段7Aで構
造物の名称またはその属性情報およびその付与位置を含
むラベル情報を作成し、ラベル情報出力手段8Aで、ラ
ベル情報中の付与位置の情報に対応する画像中の位置に
構造物の名称またはその属性情報を重畳し、重畳された
画像を視覚機器に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。
【0002】
【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。
【0003】図15は特開平8−273000号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
71と、地図データ等に基づいて表示用道路データおよ
び表示用背景データを発生させる表示用データ発生部7
2と、これらの表示用データに基づいて3次元動画像デ
ータを作成する3次元動画像データ作成部73と、記憶
部74を有し、ナビゲーション装置のユーザが目的地、
経由地を含む走行経路を事前に設定する場合に、地図画
面でなく実際に存在する道路に沿ったリアルな動画像表
示画面を見ながら経路を設定できる機能を有する。
【0004】この装置によれば、ユーザは実際に在る経
路に沿って走行するときに、その経路に沿った動画像表
示(例えば、図16)を見ることができる。
【0005】
【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べては方角を把握したり目印を見つけたり
してその方向を注視し、その方向にある建物の特徴を理
解した上で再度地図を見てその建物が何であるかを理解
している。
【0006】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。
【0007】本発明の目的は、コンピュータ上の地理的
情報と実風景の画像(以下、景観画像と呼ぶ。)中の各
部分とを対応付けて利用者に教示する景観ラベリング装
置およびシステムを提供することである。
【0008】
【課題を解決するための手段】本発明は、コンピュータ
上の地図データを3次元データとして予め作成してお
き、人間が注視する方向の画像(CG画像と区別するた
め以降景観画像と呼ぶ)を取得し、そのときの位置とカ
メラの角度と焦点距離と画像サイズを撮影時に取得し、
コンピュータ上の3次元地図空間内で実風景撮影時の位
置とカメラの角度と焦点距離から眺望した場合のコンピ
ュータグラフィックス(以下、CGとする。)画像内で
の地理的情報を取得し、その地理的情報を、実風景であ
る景観画像に重畳表示することで対応付けを実現するも
のである。この地理的情報とは画像での、構造物等の名
称またはその属性情報であり、属性情報とはその構造物
に関するあらゆる属性(例えば輪郭、色等)についての
情報を意味する。この明細書の中では構造物という言葉
を人工の構造物以外に、山や川や海等の天然の地形も含
めて地図DBでの何らかの地理的構造を有するデータ全
ての意味で用いることとする。地理的情報の取得にあた
っては、カメラ位置、カメラ角、焦点距離、画像サイズ
をもとに景観画像を求め、複数画像の構造物を求める。
その構造物が写っているはずの景観画像の位置(以下、
付与位置と称す)を求めて、構造物の名称または属性情
報を重畳表示する。
【0009】さらに、景観画像での構造物とCG画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。獲得した構造物を
基にしてCG画像を作成し、景観画像の前記部分領域に
対してパターンマッチングによりCG画像中の部分領域
を対応付け、対応付けられた部分領域のもととなった構
造物を求める。
【0010】ここで、CG画像の作成法の一例について
述べる。先に取得したカメラ位置とカメラ角度と焦点距
離と画像サイズを基に3次元地図DBにアクセスして、
3次元地図空間内での視野空間を求める。視野空間中の
構造物を求め、カメラ画面を投影面として、各構造物の
立体データをこの投影面に3次元投影変換する。さらに
各構造物の投影図形を構成する線データのうち、他の構
造物に隠れて見えない線データを法線ベクトル法等の手
法を用いて隠線消去する。隠線消去して残った線データ
を基にして、CG画像を領域分割する。3次元地図DB
を利用しているため、各領域毎にその領域のもととなる
構造物の名称を対応付けできる。
【0011】そうして、パターンマッチングにより景観
画像の各部分領域に対応付けられたCG画像の部分領域
の構造物名称を抽出する。抽出した構造物名称を重畳す
べき実風景画像の位置座標を、3次元地図空間中での構
造物の位置座標を先の投影面に3次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標からラベル情報を作成する。ラベル情報を基に実風
景である景観画像に構造物名称を重畳して、視覚機器に
表示する。
【0012】本発明の注視方向景観ラベリング装置は、
人間が注視する方向を取得する注視方向取得手段と、注
視方向の画像を取得する画像取得手段と、画像取得時の
カメラ位置を取得する位置情報取得手段と、画像を取得
したときのカメラ角と焦点距離と画像サイズを取得する
カメラ属性情報取得手段と、地図情報を管理し、取得し
たカメラ位置とカメラ角と焦点距離と画像サイズを基に
地図情報空間の中で視野空間を求め、その視野空間中に
存在する構造物を獲得する地図情報管理手段と、構造物
の名称またはその属性情報および付与位置を含むラベル
情報を作成するラベル情報作成手段と、取得したラベル
情報中の付与位置の情報に対応する画像中の位置に前記
構造物の名称またはその属性情報を重畳し、重畳された
画像を視覚機器に出力するラベル情報出力手段と、上記
各手段を制御する制御手段を有する。
【0013】本発明の他の注視方向景観ラベリング装置
は、人間が注視する方向を取得する注視方向取得手段
と、注視方向の画像を取得する画像取得手段と、画像取
得時のカメラ位置を取得する位置情報取得手段と、画像
取得時のカメラ角と焦点距離と画像サイズを取得するカ
メラ属性情報取得手段と、取得した画像を複数の部分領
域に分割する画像処理手段と、地図情報を管理し、取得
したカメラ位置とカメラ角と焦点距離と画像サイズを基
に地図情報空間のなかで視野空間を求め、その視野空間
中に存在する構造物を獲得する地図情報管理手段と、前
記画像の前記部分領域に対して前記獲得した構造物を対
応付け、対応付けられた前記構造物の名称またはその属
性情報および付与位置を含むラベル情報を作成するラベ
ル情報作成手段と、前記ラベル情報中の構造物の名称ま
たはその属性情報を画像中の付与位置に対応する位置に
重畳し、重畳された画像を視覚機器に出力するラベル情
報出力手段と、前記各手段を制御する制御手段を有す
る。
【0014】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物を基にしてCG画像を作成
し、前記取得した画像の前記部分領域をパターンマッチ
ングにより前記CG画像中の部分領域に対応付け、対応
付けられた部分領域の構造物を求め、その構造物の名称
または属性情報および付与位置を含むラベル情報を作成
する。
【0015】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物をカメラ画面に3次元投影変
換し、視点から見えない構造物を消去してCG画像を作
成し、CG画像中の部分領域の輪郭線によってCG画像
を部分領域に分割し、前記取得した画像の前記部分領域
をパターンマッチングにより前記CG画像の前記部分領
域に対応付け、対応付けられた部分領域の構造物を求
め、その構造物の名称または属性情報および付与位置を
含むラベル情報を作成する。
【0016】本発明の注視方向景観ラベリングシステム
は、景観ラベリング端末と景観ラベリングセンターから
なり、景観ラベリング端末は、人間が注視する方向を取
得する注視方向取得手段と、注視方向の画像を取得する
画像取得手段と、画像取得時のカメラ位置を取得する位
置情報取得手段と、画像取得時のカメラ角と焦点距離と
画像サイズを取得するカメラ属性情報取得手段と、取得
した画像を複数の部分領域に分割する画像処理手段と、
前記画像の領域分割に関する情報と前記カメラ位置と前
記カメラ角と前記焦点距離と前記画像サイズとを通信網
を介して前記景観ラベリングセンターに送信し、後記景
観ラベリングセンターから後記ラベル情報を受信する通
信制御手段と、後記ラベル情報中の構造物の名称または
属性情報を付与位置に対応する画像中の位置に重畳し、
重畳された画像を視覚機器に出力するラベル情報出力手
段と、上記各手段を制御する端末制御手段を有し、景観
ラベリングセンターは、前記通信網を介して前記景観ラ
ベリング端末から前記画像の領域分割に関する情報と前
記カメラ位置と前記カメラ角と前記焦点距離と前記画像
サイズとを受信し、前記景観ラベリング端末に前記ラベ
ル情報を送信する通信制御手段と、地図情報を管理し、
受信したカメラ位置とカメラ角と焦点距離と画像サイズ
を基に地図情報空間の中で視野空間を求め、その視野空
間中に存在する構造物を獲得する地図情報管理手段と、
前記画像の前記部分領域に対して前記獲得した構造物を
対応付け、対応付けられた前記構造物の名称または属性
情報および付与位置を含む前記ラベル情報を作成するラ
ベル情報作成手段と、上記各手段を制御するセンター制
御手段を有する。
【0017】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0018】図1は本発明の第1の実施形態の注視方向
景観ラベリング装置の構成図である。
【0019】本実施形態の注視方向景観ラベリング装置
は、人間が注視する方向を取得する注視方向取得部1
と、人間の注視方向の画像を取得する、例えばディジタ
ルカメラである画像取得部2と、画像を取得する際のカ
メラ位置を取得する、例えばGPS受信機である位置情
報取得部3と、画像を取得する際のカメラ角と焦点距離
と画像サイズを取得する、例えばディジタルカメラに取
り付けられた3次元電子コンパスであるカメラ属性情報
取得部4と、地図情報を管理し、取得したカメラ位置と
カメラ角と焦点距離と画像サイズを基に地図情報空間の
中で視野空間を求め、その視野空間中に存在する構造物
を獲得する、例えば地図DB管理プログラムである地図
情報管理部6と、構造物の名称また輪郭および位置を含
むラベル情報を作成するラベル情報作成部7Aと、取得
したラベル情報中の付与位置の情報に対応する画像中の
位置に構造物の名称また輪郭を重畳し、重畳された画像
を視覚機器(不図示)に出力するラベル情報出力部8A
と、各部1〜8Aを制御する制御部9Aで構成されてい
る。
【0020】図2は本発明の第2の実施形態の注視方向
景観ラベリング装置の構成図である。
【0021】本実施形態の注視方向景観ラベリング装置
は、人間が注視する方向を取得する注視方向取得部1
と、人間の注視方向の景観画像を取得する、例えばディ
ジタルカメラである画像取得部2と、画像を取得する際
のカメラ位置を取得する、例えばGPS受信機である位
置情報取得部3と、同じく画像を取得する際にカメラ角
と焦点距離と画像サイズを取得する、例えばディジタル
カメラに取り付けられた3次元電子コンパスであるカメ
ラ属性情報取得部4と、取得した画像を複数の部分領域
に分割する画像処理部5と、地図情報を管理し、取得し
たカメラ位置とカメラ角と焦点距離と画像サイズを基に
地図情報空間の中で視野空間を求め、その視野空間中に
存在する構造物を獲得する地図情報管理部6と、画像の
前記部分領域に対して獲得した構造物をパターンマッチ
ングにより対応付け、対応付けられた構造物の名称また
は属性情報および付与位置を含むラベル情報を作成する
情報作成部7Bと、作成されたラベル情報中の構造物の
名称または属性情報を画像中に対応する位置に重畳し、
重畳された画像を視覚機器に出力するラベル情報出力部
8Bと、上記各部1〜8Bを制御する制御部9Bで構成
されている。
【0022】図3(1)、(2)はヘッドマウントディ
スプレイ装置の構成図で、図1、図2中の注視方向取得
部1、画像取得部2、位置情報取得部3の具体例構成例
を示す図である。なお、図3(1)では図3(2)中の
ものが部省略されている。
【0023】図3のヘッドマウントディスプレイ装置
は、右眼11R、左眼11Lの動きを測定する眼球運動
測定装置12R、12Lと、平面表示装置13R、13
Lと、レンズ14R、14Lと、眼球運動測定装置12
R、12Lから求めた両眼の動きより人の注視点Pの3
次元位置を算出する注視点算出装置15と、カメラ16
と、GPSユニット17から構成される。
【0024】ここで、眼球運動測定装置12R、12L
と注視点算出装置15は例えば特開平8−166559
号公報に開示されたものを使用でき、GPSユニット1
7をヘッドマウントディスプレイ装置に組み込むことに
ついては特開平−84519号公報に記載されている。
そして眼球運動測定装置12R、12Lと注視点算出装
置15が注視方向取得部1を構成し、カメラ16が画像
取得部2を構成し、GPSユニット17が位置情報取得
部3を構成している。
【0025】次に、本実施形態の動作を図4の流れ図を
基に詳細に説明する。
【0026】景観ラベリング装置が起動されると、まず
制御部9Bが景観画像に関する情報を取得するために、
注視方向取得部1、位置情報取得部3、カメラ属性情報
取得部4、画像取得部2に対して処理開始コマンドを送
る。注視方向取得部1は人間の注視方向を取得し、制御
部9Bに渡す(ステップ20)。位置情報取得部3は、
制御部9Bから命令を受けてGPS受信機等により位置
情報を毎秒収集し、制御部9Bに渡す(ステップ2
1)。ここで、時間間隔は秒単位に限らずどのようにと
ってもよい。画像取得部2は、制御部9Bから命令を受
けて人間の注視方向の毎秒の景観画像を取得し、制御部
9Bに渡す(ステップ22)。カメラ属性情報取得部4
は、制御部9Bの命令を受けて画像撮影時のカメラ等景
観画像記録装置のカメラ角を水平角と仰角の組で取得し
(ステップ23)、同時にズーム機能を有する景観画像
装置であれば焦点距離を取得する(ステップ24)。画
像サイズは景観画像装置毎に固定なので、制御部9Bが
画像サイズ情報を保持しておく。制御部9Bは収集した
情報を景観画像ファイルとして保持する。
【0027】図5は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ(例えば、東経137度5
5分10秒、北緯34度34分30秒、標高101m3
3cm等)を有する。カメラ角として、水平角と仰角の
各データ(例えば、水平角右回り254度、仰角15度
等)を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離(例えば28mm等)である。時刻情
報として、撮影時の時刻(例えば、日本時間1997年
1月31日15時6分17秒等)を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ(例えば、64
0×480等)を持つ。同じくファイルタイプ(TIF
E形式、8ビットカラー等)を持つ。同じくファイルの
バイト数(307.2KB等)を持つ。画像データその
ものを例えばバイナリー形式で持つ。
【0028】制御部9Bは景観画像ファイルを格納する
と、画像処理部5に対して、景観画像から輪郭線を抽出
し、景観画像を複数の領域に分割するように命令する。
画像処理部5では、大まかに言えば景観画像内の濃度差
を基に微分処理を行って輪郭線を抽出し(ステップ2
5)、その輪郭線を境界としたラベリングを行うことに
よって領域分割する(ステップ26)。なお、ここで用
いたラベリングと言う技術用語は画像の領域分割におい
て用いられる技術用語であって、本発明の名称である景
観ラベリングとは異なるものである。手順としてはま
ず、画像を白黒濃淡画像に変換する。輪郭は明るさの急
変する部分であるから、微分処理を行って微分値がしき
い値より大きい部分を求めることで輪郭線の抽出を行
う。このとき輪郭線の線幅は1画素であり、輪郭線は連
結しているようにする。そのために細線化処理を行っ
て、線幅1画素の連結した線を得る。ここで微分処理、
細線化処理は従来からある手法を用いれば十分である。
【0029】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図10に示す。なお、領域間の類似度
(近さ)の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。
【0030】制御部9Bは景観画像の領域分割処理を完
了させると、地図情報管理部6に対して景観画像ファイ
ルのヘッダ情報を渡して視野空間の算出処理を行う処理
要求を出す(ステップ27)。地図情報管理部6の例と
しては、地図データベースプログラムがある。地図情報
管理部6は3次元地図データを管理している。2次元地
図データでもよいが、その場合は高さ情報がないために
実風景へのラベリングの付与位置の精度が劣る。なお、
2次元地図データを基にする場合は、高さ情報を補って
処理する。例えば、家屋の2次元データである場合に、
家屋が何階建てかを表す階数情報があれば、階数に一定
数を掛けてその家屋の高さを推定し、2次元データと推
定して求めた高さ情報を基に3次元データを作成する。
階数情報がない場合でも、家屋図形の面積に応じて一定
数の高さを割り振る等して高さ情報を推定することがで
き、同様に推定高さ情報をもとに3次元データを作成す
る。こうして3次元データを作成して処理を進める。
【0031】3次元地図データの例を図6に示す。図6
(1)に2次元で表現した地図情報空間を示し、図6
(2)に3次元で表現した地図情報空間を示す。この3
次元地図情報空間に対して、地図情報管理部6では制御
部9Bの命令を受けて景観画像ファイルのヘッダ情報を
基に視野空間を算出する(ステップ28)。図7に視野
空間の計算例を示す。まず、水平方向にXY軸が張り、
垂直方向にZ軸が張るものとする。景観画像ファイルの
ヘッダ情報中の位置情報から、視点Eの位置を3次元地
図情報空間の中で設定する。例えば、東経137度55
分19秒、北緯34度34分30秒、標高101m33
cmであれば、それに対応する地図メッシュ番号中の対
応する座標を設定する。同じくヘッダ情報中のカメラ角
情報中の水平角と仰角をもとにカメラ角方向を設定す
る。カメラ角方向を表す直線上に視点Eから焦点距離分
進んだ点に焦点Fをとる。視線方向ベクトルはその直線
上で視点Eから出る長さ1の単位ベクトルである。景観
画像ファイルの画像サイズで横方向のサイズからカメラ
画面のX軸での幅xを設定し、縦方向のサイズからY軸
での幅yを設定する。横x縦yの平面は視線方向ベクト
ルに対してカメラ角方向に垂直で、かつ焦点Fを含むよ
うに設定される。視点Eの座標からカメラ画面の4隅の
点とを結ぶ直線を各々求め、視点Eから伸びる4本の半
直線が作る3次元空間を視野空間とする。図8に、3次
元地図空間での視野空間の例を示す。3次元地図空間を
XZ平面から眺めたものである。図8中で斜線で囲まれ
た部分は視野空間に属する空間の、XZ平面での断面図
である。図8の例では、視野空間の中のビルや山が含ま
れている。
【0032】さらに、地図情報管理部6では、求めら視
野空間の中に存在する構造物を求める。構造物毎に、構
造物を表す立体を構成する各頂点が、視野空間の内部領
域に存在するか否かを計算する。通常2次元地図空間は
一定サイズの2次元メッシュで区切られている。3次元
地図空間のメッシュの切り方としては、縦横の2次元方
向のメッシュに加えて高さ方向にも一定間隔でメッシュ
を切っていく。空間を直方体の単位空間で区切ることに
なる。まず、直方体の単位空間毎視野空間との重なり部
分の有無を調べ、重なり部分がある3次元単位地図空間
の番号を求める。ここでいう3次元単位地図空間の番号
とは、いわゆるメッシュ番号と同様のものである。重な
りを持つ3次元単位地図空間内にある構造物に対して、
視野空間と重なり部分の有無を調べる。構造物を構成す
る頂点の座標と視点の座標とを結ぶ直線を求め、その直
線が図9のカメラ画面に対して交点を持つならば視野空
間内にある。構造物を構成する複数の頂点のうち、一つ
の頂点でもこの条件を満たせば、その構造物は視野空間
と重なり部分を持つものとする。
【0033】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に3次元投影変換する処理に
入る(ステップ29)。ここで、図9に示すように、点
Pを次式(1)を基にして視点Eを基にした座標系で表
現し直した後、点Pをカメラ画面に投影して交点Qを求
める。
【0034】
【数1】 ここで、 点P=(x,y,z):構造物を構成する頂点の座標 点E=(ex,ey,ez):視点の座標 ベクトルL=(lx,ly,lz):視線方向ベクトル
(単位ベクトル) 点P’=(x’,y’,z’):点Pの視点Eを基にし
た座標系で表現した場合の座標 r=(lx2 +ly21/2 交点Q=(X,Y):点Pのカメラ画面への投影点 tは焦点距離 3次元投影変換にあたっては、まず各構造物毎にその頂
点が張る面を求める。例えば、直方体で表現される構造
物ならば、6つの面が求まる。各面をカメラ画面に投影
変換する際に、投影領域に含まれるカメラ画面上の各画
素に対し、視点とその面上の対応点との距離を計算して
奥行き値(Z値)としてメモリに格納する。各構造物の
各面毎に、カメラ画面上の各画素に対する奥行き値(Z
値)を計算し、メモリに格納する。なお(式)1中の
z’は視点からの奥行き値(Z値)を表す。
【0035】カメラ画面に3次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う(ステップ3
0)。隠面処理の方法には、いろいろあるが、例えばZ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。
【0036】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を3次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。
【0037】こうしてできた領域がCG画像領域を形成
する(ステップ31)。
【0038】CG画像領域を構成する2次元図形の頂点
座標に対して、投影変換前の3次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その2次元領域がどの構造物の投影図
かということを求めること等に用いる。
【0039】隠線消去して残った線データを基にして、
CG画像を領域分割する。3次元地図DBを利用してい
るため、各領域毎にその領域の基となる構造物の名称を
対応付けできる。CG画像の分割された領域に順番に番
号を付けていく。CG画像を複数の部分領域に分割した
例を図11に示す。
【0040】CG画像の領域分割処理が完了したら、制
御部9Bはラベル情報作成部7Bに対して、CG画像の
分割領域と景観画像の分割領域の対応付けを行うように
命令する。ラベル情報作成部7Bでは、テンプレートマ
ッチングによりCG画像の分割領域と景観画像の分割領
域の対応付けを行う(ステップ32、図12参照)。
【0041】景観画像の分割領域のうち、番号の若い領
域(例えば、1番)から順にCG画像の分割領域と対応
付けしていく。対応付けに当たっては、従来からあるマ
チング方法のうちのどれをとってもよいが、ここでは単
純なテンプレートマッチング法をとる。つまり、比較す
る2つの領域を重ね合わせ、重なり合う部分の比率が、
しきい値として決めた一定の比率以上にある場合に同一
の構造物に関する領域として対応付けることとする。例
えば、景観画像の分割領域1番目のR1に関して、その
領域内にある各画素の座標値を(A,B)とする。座標
(A,B)での画素の値は、領域の内部ゆえに1であ
る。CG画像の1番目の分割領域S1において、座標
(A,B)が領域S1内ならば画素値1であり重なる
が、S1の外ならば画素値0であり重ならない。こうし
て座標(A,B)での重なり係数K(A,B)として、
重なる場合1、重ならない場合0で決まる。座標(A,
B)を領域R1内で動かして、重なり係数K(A,B)
を求める。そして、領域R1内で動かした座標(A,
B)の数N1に対して、重なり係数K(A,B)が1で
あった座標の数N2を求めて、N1/N2がしきい値以
上である場合に、景観画像の分割領域R1とCG画像の
分割領域S1が対応するものと決める。この対応付けを
景観画像の分割領域の1番目から最後のものまで行う。
なお、マッチング方法としてこの他、XY方向に多少の
位置ずれがあっても同じ値になるような評価関数を用い
てもよい。
【0042】ラベル情報作成部7Bでは、景観画像の部
分領域に対してCG画像の部分領域を対応付けた後、さ
らに景観画像の部分領域毎に重畳すべき情報を求め、重
畳すべき位置とともにラベル情報として作成する処理
(ステップ34)に入る。まず、景観画像の部分領域に
対して、対応するCG画像の部分領域を取り出す。取り
出したCG画像の部分領域はもともと3次元地図空間の
中の3次元構造物のある面をカメラ画面に対して3次元
投影変換して得られたものである。そこで、3次元投影
変換の基となった3次元構造物の面を、CG画像の部分
領域が持つ奥行き値(Z値)をキーとして求める。先に
3次元投影変換した際に作成しておいたリンク情報をキ
ーにしてもよい。もととなった構造物の面をもとに、3
次元地図DBにアクセスしてその構造物の名称または属
性情報を取得する。ここで属性情報とは、その構造物に
関して付随する情報を意味し、その構造物に係る情報な
らば何でもよい。そして、名称または属性情報を重畳す
べき位置座標を、景観画像の部分領域に対して決める。
決め方は、どのように決めてもよい。例えば、部分領域
を張る図形の重心でもよい。その構造物の名称または属
性情報、および付与位置座標からラベル情報を作成す
る。表1にラベル情報の例を示す。
【0043】
【表1】 ラベル情報作成部7Bは、ラベル情報を作成し終った
ら、制御部9Bにラベル情報を渡す。
【0044】制御部9Bは、ラベル情報を受け取ると、
ラベル情報出力部8Bに対して視覚機器に対してラベル
情報を表示等して出力するように命令する。ここでは視
覚機器は、ディスプレイ、ヘッドマウントディスプレイ
等の映像表示装置を含む。ラベル情報中の構造物の名称
または属性情報を景観画像中の位置に重畳し(ステップ
35)、重畳された景観画像を映像表示装置に出力する
(ステップ36)。図12にラベル情報が重畳された景
観画像の例を示す。
【0045】ラベル情報出力部8Bはラベル情報を出力
すると、出力完了を制御部9Bに通知する。制御部9B
は出力完了通知を受け取ると、連続して景観ラベリング
の処理を行う場合は先に示した一連の処理手順を再び実
行する。
【0046】図14は図2の景観ラベリング装置を通信
システムに適用した注視方向景観ラベリングシステムの
構成図である。
【0047】景観ラベリングシステムは景観ラベリング
端末40と景観ラベリングセンター50と通信網60で
構成される。
【0048】景観ラベリング端末40は、人間の注視方
向を取得する注視方向取得部41と注視方向の画像を取
得する画像取得部42と、画像取得時のカメラ位置を取
得する位置情報取得部43と、画像取得時のカメラ角と
焦点距離と画像サイズを取得するカメラ属性情報取得部
44と、取得した画像を複数の部分領域に分割する画像
処理部45と、画像の領域分割に関する情報とカメラ位
置とカメラ角と焦点距離と画像サイズの情報を通信網6
0を介して景観ラベリングセンター50に送信し、景観
ラベリングセンター50からラベル情報を受信する通信
制御部46と、ラベル情報中の構造物の名称または属性
情報を画像中の付与位置に対応する位置に重畳し、重畳
された画像を視覚機器に出力するラベル情報出力部47
と、上記各部を制御する端末制御部48で構成される。
【0049】景観ラベリングセンター50は通信網60
を介して景観ラベリング端末40から前記画像の領域分
割に関する情報とカメラ位置カメラ角と焦点距離と画像
サイズの情報を受信し、景観ラベリング端末40にラベ
ル情報を送信する通信制御部53と、地図情報を管理
し、受信したカメラ位置とカメラ角と焦点距離と画像サ
イズを基に地図情報空間の中で視野空間を求め、その視
野空間中に存在する構造物を獲得する地図情報管理部5
1と、画像の前記部分領域に対して前記獲得した構造物
をパターンマッチングにより対応付け、対応付けられた
前記構造物の名称または属性情報および付与位置を含む
ラベル情報を作成するラベル情報作成部52と、上記各
部を制御するセンタ−制御部54で構成される。
【0050】なお、ラベル情報作成部52は図2中のラ
ベル情報作成部6Bと同じ構成をとることができる。
【0051】
【発明の効果】以上説明したように本発明によれば、コ
ンピュータ上の地理的情報と利用者の注視方向の景観画
像中の各部分とを対応付けて利用者に提示するため、人
間がコンピュータ上の地図と実風景を見比べて人間の方
で対応付けせずとも済み、使い易く、便利であるという
効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の注視方向景観ラベリ
ング装置の構成図である。
【図2】本発明の第2の実施形態の注視方向景観ラベリ
ング装置の構成図である。
【図3】図1、図2中の注視方向取得部1、画像取得部
2、位置情報取得部3の具体例と構成例を示す図であ
る。
【図4】第2の実施形態の注視方向景観ラベリング装置
の処理の流れ図である。
【図5】景観画像ファイルのデータ構造を示す図であ
る。
【図6】2次元地図の例(同図(A))とその3次元地
図(同図(B))を示す図である。
【図7】視野空間の計算方法を示す図である。
【図8】3次元地図空間での視野空間の例を示す図であ
る。
【図9】投影図の例を示す図である。
【図10】景観画像の領域分割例を示す図である。
【図11】CG画像の領域分割例を示す図である。
【図12】景観画像の部分領域とCG画像の部分領域の
パターンエッチングの説明図である。
【図13】景観画像へのラベル情報の重畳の例を示す図
である。
【図14】本発明の一実施形態の注視方向景観ラベリン
グシステムの構成図である。
【図15】特開平8−273000号に開示されたナビ
ゲーション装置の構成図である。
【図16】動画像の表示例を示す図である。
【符号の説明】
1 注視方向取得部 2 画像取得部 3 位置情報取得部 4 カメラ属性情報取得部 5 画像処理部 6 地図情報管理部 7A,7B ラベル情報作成部 8A,8B ラベル情報出力部 9A,9B 制御部 20〜36 ステップ 40 景観ラベリング端末 41 注視方向取得部 42 画像取得部 43 位置情報取得部 44 カメラ属性情報取得部 45 画像処理部 46 通信制御部 47 ラベル情報出力部 48 端末制御部 50 景観ラベリングセンター 51 地図情報管理部 52 ラベル情報作成部 53 通信制御部 54 センター制御部 60 通信網
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 晃 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 (72)発明者 高野 正次 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 人間が注視する方向を取得する注視方向
    取得手段と、 前記注視方向の画像を取得する画像取得手段と、 画像取得時のカメラ位置を取得する位置情報取得手段
    と、 画像を取得したときのカメラ角と焦点距離と画像サイズ
    を取得するカメラ属性情報取得手段と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
    点距離と画像サイズを基に地図情報空間の中で視野空間
    を求め、その視野空間中に存在する構造物を獲得する地
    図情報管理手段と、 前記構造物の名称またはその属性情報および付与位置を
    含むラベル情報を作成するラベル情報作成手段と、 前記ラベル情報中の付与位置の情報に対応する画像中の
    位置に前記構造物の名称またはその属性情報を重畳し、
    重畳された画像を視覚機器に出力するラベル情報出力手
    段と、 上記各手段を制御する制御手段を有する景観ラベリング
    装置。
  2. 【請求項2】 人間が注視する方向を取得する注視方向
    取得手段と、 前記注視方向の画像を取得する画像取得手段と、 画像取得時のカメラ位置を取得する位置情報取得手段
    と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
    るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
    と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
    点距離と画像サイズを基に地図情報空間の中で視野空間
    を求め、その視野空間中に存在する構造物を獲得する地
    図情報管理手段と、 前記画像の前記部分領域に対して前記獲得した構造物を
    対応付け、対応付けられた前記構造物の名称またはその
    属性情報および付与位置を含むラベル情報を作成するラ
    ベル情報作成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
    画像中の前記付与位置に対応する位置に重畳し、重畳さ
    れた画像を視覚機器に出力するラベル情報出力手段と、 前記各手段を制御する制御手段を有する景観ラベリング
    装置。
  3. 【請求項3】 前記ラベル情報作成手段は、獲得した構
    造物を基にしてコンピュータグラフィックス画像である
    CG画像を作成し、前記取得した画像の前記部分領域を
    パターンマッチングにより前記CG画像中の部分領域に
    対応付け、対応付けられた部分領域の構造物を求め、そ
    の構造物の名称または属性情報および付与位置を含むラ
    ベル情報を作成する、請求項2記載の装置。
  4. 【請求項4】 前記ラベル情報作成手段は、獲得した構
    造物をカメラ画面に3次元投影変換し、視点から見えな
    い構造物を消去してCG画像を作成し、CG画像中の部
    分領域の輪郭線によってCG画像を部分領域に分割し、
    前記取得した画像の前記部分領域をパターンマッチング
    により前記CG画像の前記部分領域に対応付け、対応付
    けられた部分領域の構造物を求め、その構造物の名称ま
    たは属性情報および付与位置を含むラベル情報を作成す
    る、請求項2記載の装置。
  5. 【請求項5】 景観ラベリング端末と景観ラベリングセ
    ンターからなり、 前記景観ラベリング端末は、人間が注視する方向を取得
    する注視方向取得手段と、前記注視方向の画像を取得す
    る画像取得手段と、画像取得時のカメラ位置を取得する
    位置情報取得手段と、画像取得時のカメラ角と焦点距離
    と画像サイズを取得するカメラ属性情報取得手段と、取
    得した画像を複数の部分領域に分割する画像処理手段
    と、前記画像の領域分割に関する情報と前記カメラ位置
    と前記カメラ角と前記焦点距離と前記画像サイズとを通
    信網を介して前記景観ラベリングセンターに送信し、前
    記景観ラベリングセンターからラベル情報を受信する通
    信制御手段と、前記ラベル情報中の構造物の名称または
    その属性情報を付与位置に対応する画像中の位置に重畳
    し、重畳された画像を視覚機器に出力するラベル情報出
    力手段と、上記各手段を制御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
    記景観ラベリング端末から前記画像の領域分割に関する
    情報と前記カメラ位置と前記カメラ角と前記焦点距離と
    前記画像サイズとを受信し、前記景観ラベリング端末に
    前記ラベル情報を送信する通信制御手段と、地図情報を
    管理し、受信したカメラ位置とカメラ角と焦点距離と画
    像サイズを基に地図情報空間の中で視野空間を求め、そ
    の視野空間中に存在する構造物を獲得する地図情報管理
    手段と、前記画像の前記部分領域に対して前記獲得した
    構造物を対応付け、対応付けられた前記構造物の名称ま
    たは属性情報および付与位置を含む前記ラベル情報を作
    成するラベル情報作成手段と、上記各手段を制御するセ
    ンター制御手段を有する注視方向景観ラベリングシステ
    ム。
  6. 【請求項6】 前記ラベル情報作成手段は、獲得した構
    造物を基にしてコンピュータグラフィックス画像である
    CG画像を作成し、前記取得した画像の前記部分領域を
    パターンマッチングにより前記CG画像中の部分領域に
    対応付け、対応付けられた部分領域の構造物を求め、そ
    の構造物の名称または属性情報および付与位置を含むラ
    ベル情報を作成する、請求項5記載のシステム。
  7. 【請求項7】 前記ラベル情報作成手段は、獲得した構
    造物をカメラ画面に3次元投影変換し、視点から見えな
    い構造物を消去してCG画像を作成し、CG画像中の部
    分領域の輪郭線によってCG画像を部分領域に分割し、
    前記取得した画像の前記部分領域をパターンマッチング
    により前記CG画像の前記部分領域に対応付け、対応付
    けられた部分領域の構造物を求め、その構造物の名称ま
    たは属性情報および付与位置を含むラベル情報を作成す
    る、請求項5記載のシステム。
JP9186678A 1997-07-11 1997-07-11 注視方向景観ラベリング装置およびシステム Pending JPH1131239A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9186678A JPH1131239A (ja) 1997-07-11 1997-07-11 注視方向景観ラベリング装置およびシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9186678A JPH1131239A (ja) 1997-07-11 1997-07-11 注視方向景観ラベリング装置およびシステム

Publications (1)

Publication Number Publication Date
JPH1131239A true JPH1131239A (ja) 1999-02-02

Family

ID=16192743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9186678A Pending JPH1131239A (ja) 1997-07-11 1997-07-11 注視方向景観ラベリング装置およびシステム

Country Status (1)

Country Link
JP (1) JPH1131239A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172378A (ja) * 2005-12-22 2007-07-05 Toyota Motor Corp 注視対象物体特定装置
US7826092B2 (en) * 1998-11-20 2010-11-02 Nikon Corporation Image processing apparatus having image selection function, and recording medium having image selection function program
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7826092B2 (en) * 1998-11-20 2010-11-02 Nikon Corporation Image processing apparatus having image selection function, and recording medium having image selection function program
JP2007172378A (ja) * 2005-12-22 2007-07-05 Toyota Motor Corp 注視対象物体特定装置
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
WO2015051606A1 (zh) * 2013-10-10 2015-04-16 北京智谷睿拓技术服务有限公司 定位方法及定位系统
US10247813B2 (en) 2013-10-10 2019-04-02 Beijing Zhigu Rui Tuo Tech Co., Ltd. Positioning method and positioning system

Similar Documents

Publication Publication Date Title
JP3225882B2 (ja) 景観ラベリングシステム
JPH1165431A (ja) 景観ラベル付カーナビゲーション装置およびシステム
US6222583B1 (en) Device and system for labeling sight images
CN108460815B (zh) 地图道路要素编辑方法和装置
EP3359918B1 (en) Systems and methods for orienting a user in a map display
JP3437555B2 (ja) 特定点検出方法及び装置
JPH09292833A (ja) ナビゲーション装置
JP2010109783A (ja) 電子カメラ
JP3156646B2 (ja) 検索型景観ラベリング装置およびシステム
JPH1186034A (ja) 景観ラベル付ヒューマンナビゲーション装置およびシステム
JP6110780B2 (ja) 付加情報表示システム
JP2000050156A (ja) 報道支援システム
JP2004265396A (ja) 映像生成システム及び映像生成方法
JP3156645B2 (ja) 情報発信型景観ラベリング装置およびシステム
JP3053172B2 (ja) 距離参照型景観ラベリング装置およびシステム
JPH1157209A (ja) 景観ラベル利用型ラリーゲームシステム
JP3114862B2 (ja) 相互利用型景観ラベリングシステム
JP3053169B2 (ja) 景観ラベル利用型通信装置およびシステム
JP3156649B2 (ja) 変形ラベル型景観ラベリング装置およびシステム
US20130120373A1 (en) Object distribution range setting device and object distribution range setting method
JPH1131239A (ja) 注視方向景観ラベリング装置およびシステム
JPH1132250A (ja) 音声案内型景観ラベリング装置およびシステム
JPH1157206A (ja) 景観ラベル利用型射撃ゲームシステム
JPH1166349A (ja) 移動量予測型景観ラベリング装置およびシステム
JPH1131238A (ja) 差分型景観ラベリング装置およびシステム