JPH1157209A

JPH1157209A - 景観ラベル利用型ラリーゲームシステム

Info

Publication number: JPH1157209A
Application number: JP22854297A
Authority: JP
Inventors: Takahiro Matsumura; 隆宏松村; Toshiaki Sugimura; 利明杉村; Masaji Katagiri; 雅二片桐; Akira Suzuki; 晃鈴木; Masaji Takano; 正次高野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-08-25
Filing date: 1997-08-25
Publication date: 1999-03-02

Abstract

(57)【要約】【課題】コンピュータ上の地理的情報と実風景の景観
画像中の各部分とを対応付けて利用者に提示するととも
に現実の市街で自動車ラリーゲームを可能にする。【解決手段】端末１０からセンター２０へユーザの自
動車に関する位置情報（時刻付）および自動車情報を一
定時間毎に送る。ゲーム情報管理部２５では、各自動車
の位置情報および自動車情報を管理し、ユーザの位置情
報と順位情報をラベル情報作成部２２に渡す。ラベル情
報作成部２２では、景観画像中の自動車の領域にラリー
の順位情報を対応させたラリー順位ラベル情報を作成す
る。ラリー順位ラベル情報は端末１０のラベル情報出力
部１７に渡り、ユーザの自動車のフロントガラスに表示
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。

【０００２】

【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。

【０００３】図１２は特開平８−２７３０００号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
７１と、地図データ等に基づいて表示用道路データおよ
び表示用背景データを発生させる表示用データ発生部７
２と、これらの表示用データに基づいて３次元動画像デ
ータを作成する３次元動画像データ作成部７３と、記憶
部７４を有し、ナビゲーション装置のユーザが目的地、
経由地を含む走行経路を事前に設定する場合に、地図画
面でなく実際に存在する道路に沿ったリアルな動画像表
示画面を見ながら経路を設定できる機能を有する。

【０００４】この装置によれば、ユーザは実際に在る経
路に沿って走行するときに、その経路に沿った動画像表
示（例えば、図１３）を見ることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べては方角を把握したり目印を見つけたり
してその方向を注視し、その方向にある建物の特徴を理
解した上で再度地図を見てその建物が何であるかを理解
している。

【０００６】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。

【０００７】また、パソコンの中での自動車ラリーゲー
ムは現実感が少なく物足りないという欠点がある。

【０００８】本発明の目的は、コンピュータ上の地理的
情報と実風景の画像（以下、景観画像と呼ぶ。）中の各
部分とを対応付けて利用者に教示するとともに、現実の
市街でラリーゲームができる景観ラベル利用型ラリーゲ
ームシステムを提供することである。

【０００９】

【課題を解決するための手段】本発明は、コンピュータ
上の地図データを３次元データとして予め作成してお
き、画像（ＣＧ画像と区別するため以降景観画像と呼
ぶ）が入力されるときの位置とカメラの角度と焦点距離
と画像サイズを撮影時に取得し、コンピュータ上の３次
元地図空間内で実風景撮影時の位置とカメラの角度と焦
点距離から眺望した場合のコンピュータグラフィックス
（以下、ＣＧとする。）画像内での地理的情報を取得
し、その地理的情報を、実風景である景観画像に重畳表
示することで対応付けを実現するものである。この地理
的情報とは画像での、構造物等の名称またはその属性情
報であり、属性情報とはその構造物に関するあらゆる属
性（例えば輪郭、色等）についての情報を意味する。こ
の明細書の中では構造物という言葉を人工の構造物以外
に、山や川や海等の天然の地形も含めて地図ＤＢでの何
らかの地理的構造を有するデータ全ての意味で用いるこ
ととする。地理的情報の取得にあたっては、カメラ位
置、カメラ角、焦点距離、画像サイズをもとに景観画像
を求め、複数画像の構造物を求める。その構造物が写っ
ているはずの景観画像の位置（以下、付与位置と称す）
を求めて、構造物の名称または属性情報を重畳表示す
る。

【００１０】さらに、景観画像での構造物とＣＧ画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。獲得した構造物を
基にしてＣＧ画像を作成し、景観画像の前記部分領域に
対してパターンマッチングによりＣＧ画像中の部分領域
を対応付け、対応付けられた部分領域のもととなった構
造物を求める。

【００１１】ここで、ＣＧ画像の作成法の一例について
述べる。先に取得したカメラ位置とカメラ角度と焦点距
離と画像サイズを基に３次元地図ＤＢにアクセスして、
３次元地図空間内での視野空間を求める。視野空間中の
構造物を求め、カメラ画面を投影面として、各構造物の
立体データをこの投影面に３次元投影変換する。さらに
各構造物の投影図形を構成する線データのうち、他の構
造物に隠れて見えない線データを法線ベクトル法等の手
法を用いて隠線消去する。隠線消去して残った線データ
を基にして、ＣＧ画像を領域分割する。３次元地図ＤＢ
を利用しているため、各領域毎にその領域のもととなる
構造物の名称を対応付けできる。

【００１２】そうして、パターンマッチングにより景観
画像の各部分領域に対応付けられたＣＧ画像の部分領域
の構造物名称を抽出する。抽出した構造物名称を重畳す
べき実風景画像の位置座標を、３次元地図空間中での構
造物の位置座標を先の投影面に３次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標からラベル情報を作成する。ラベル情報を基に実風
景である景観画像に構造物名称を重畳して、視覚機器に
表示する。

【００１３】本発明ではさらに、現実の市街での自動車
ラリーゲームができるようにするために下記の構成をと
る。

【００１４】端末からセンターへ、ユーザに関する位置
情報（時刻付）および自動車情報を一定時間ごとに通信
制御手段が送る。ここで、自動車情報といっているの
は、各ユーザが運転する自動車に関する属性情報（例え
ば、自動車の登録番号、自動車の車名／年式／色、自動
車搭載のトランシーバの使用周波数等）からなる。セン
ター側の通信制御手段はゲーム情報管理手段にユーザに
関する位置情報および自動車情報を、センター制御手段
経由で渡す。ゲーム情報管理手段では、各ユーザの位置
情報および自動車情報を管理し、ゲームに参加するユー
ザが運転する自動車に関する位置情報、および位置情報
と地図情報から算出される各自動車のラリーでの順位情
報を管理し、位置情報および順位情報をセンター制御手
段に渡す。センター制御手段では、ユーザの位置情報お
よび順位情報さらに自動車情報をラベル情報作成手段に
渡す。ラベル情報作成手段では、参加中のユーザの位置
情報と自動車情報をもとに、景観画像中に存在する自動
車を認識し、その自動車のナンバープレートからその自
動車の登録番号を認識できた場合には、その登録番号が
位置情報および自動車情報の点からあるユーザが運転す
る自動車の登録番号であると推定し得たら、景観画像中
の自動車の領域にラリーの順位情報を対応させた、ラリ
ー順位ラベル情報を作成して通常のラベル情報に加えて
センター制御手段に渡す。ここで、ラリー順位ラベル情
報とは、参加中のユーザが運転する自動車たる構造物の
名称、順位情報を含む属性情報およびその位置情報から
なる。ラリー順位ラベル情報は通信制御部を介してラベ
ル情報出力部に渡り、ユーザの自動車のフロントガラス
に自動車の画像に順位番号を重畳して表示される。

【００１５】本発明の景観ラベル利用型ラリーゲームシ
ステムは、それぞれ自動車に搭載された複数の端末とセ
ンターからなり、前記各端末は、画像を取得する画像取
得手段と、画像取得時のカメラ位置を取得する位置情報
取得手段と、画像取得時のカメラ角と焦点距離と画像サ
イズを取得するカメラ属性情報取得手段と、取得した画
像を複数の部分領域に分割する画像処理手段と、前記画
像の領域分割に関する情報と前記カメラ位置と前記カメ
ラ角と前記焦点距離と前記画像サイズを通信網を介し
て、センターに送信し当該端末の自動車の時刻付位置情
報と自動車の属性情報である自動車情報を一定時間毎に
通信網を介してセンターに送信し、前記センターからラ
ベル情報とラリー順位ラベル情報を受信する通信制御手
段と、前記ラベル情報中の構造物の名称またはその属性
情報を画像中の付与位置に対応する位置に重畳し、重畳
された画像を視覚機器に表示し、また前記ラリー順位ラ
ベル情報を自動車のフロントガラスに表示するラベル情
報出力手段と、前記各手段を制御する端末制御手段を有
し、前記センターは、前記通信網を介して前記各端末か
ら前記画像の領域分割に関する情報と前記カメラ位置と
前記カメラ角と前記焦点距離と前記画像サイズと各端末
の時刻付位置情報と自動車情報を受信し、前記端末に前
記ラベル情報と前記ラリー順位ラベル情報を送信する通
信制御手段と、地図情報を管理し、受信したカメラ位置
とカメラ角と焦点距離と画像サイズを基に地図情報空間
の中で視野空間を求め、その視野空間中に存在する構造
物を獲得する地図情報管理手段と、各端末の時刻付位置
情報および自動車情報を管理し、自動車ラリーゲームに
参加するユーザが運転する各自動車のラリーでの順位情
報を管理するゲーム情報管理手段と、前記画像の前記部
分領域に対して前記獲得した構造物を対応付け、対応付
けられた前記構造物の名称または属性情報および付与位
置を含む前記ラベル情報を作成し、またラリーゲーム参
加中のユーザの位置情報と自動車情報をもとに、景観画
像中に存在する自動車を、その自動車のナンバープレー
トからその自動車の登録番号を認識できた場合には、そ
の登録番号が位置情報および自動車情報の点からあるユ
ーザが運転する自動車の登録番号と推定し得たら、景観
画像中の自動車の領域にラリーゲームの順位情報を対応
させたラリー順位ラベル情報を作成するラベル情報作成
手段と、前記各手段を制御するセンター制御手段を有す
る。

【００１６】本発明の実施態様によれば、ラベル情報作
成手段は、獲得した構造物を基にしてコンピュータグラ
フィックス画像であるＣＧ画像を作成し、前記画像の前
記部分領域に対してパターンマッチングにより前記ＣＧ
画像中の部分領域を対応付け、対応付けられた部分領域
の構造物を求め、その構造物の名称または属性情報およ
び付与位置を含むラベル情報を作成する。

【００１７】本発明の他の実施態様によれば、ラベル情
報作成手段は、獲得した構造物をカメラ画面に３次元投
影変換し、視点から見えない構造物を消去してＣＧ画像
を作成し、ＣＧ画像中の部分領域の輪郭線によってＣＧ
画像を部分領域に分割し、前記画像の前記部分領域と前
記ＣＧ画像の前記部分領域とをパターンマッチングによ
り対応付け、画像の部分領域に対して対応付けＣＧ画像
の部分領域の基となった構造物を求め、その構造物の名
称または属性情報および付与位置を含むラベル情報を作
成する。

【００１８】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００１９】図１を参照すると、本発明の一実施形態の
景観ラベル利用型ラリーゲームシステムは、自動車に搭
載された端末１０とセンター２０と通信網３０で構成さ
れる。ここで、端末１０は便宣上一つしか図示されてい
ないが、実際には複数存在する。

【００２０】端末１０は、画像を取得する画像取得部１
１と、画像取得時のカメラ位置を取得する位置情報取得
部１２、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得部１３と、取得した画像
を複数の部分領域に分割する画像処理部１４と、前記画
像の領域分割に関する情報とカメラ位置とカメラ角と焦
点距離と画像サイズを通信網を介してセンター２０に送
信し、端末１０の自動車の時刻付位置情報と自動車１０
に関する属性情報（自動車の登録番号、車名／年式／
色、自動車搭載のトランシーバの使用周波数等）からな
る自動車情報を一定時間毎に通信網３０を介してセンタ
ー２０に送信し、センター２０からラベル情報とラリー
順位ラベル情報を受信する通信制御部１５と、ラベル情
報中の構造物の名称またはその属性情報を画像中の付与
位置に対応する位置に重畳し、重畳された画像を視覚機
器に表示し、またラリー順位ラベル情報を自動車のフロ
ントガラスに表示するラベル情報出力部１７と、各部１
１〜１５、１７を制御する端末制御部１６で構成されて
いる。

【００２１】センター２０は、通信網３０を介して各端
末１０から画像の領域分割に関する情報とカメラ位置と
カメラ角と焦点距離と画像サイズと各端末の時刻付位置
情報と自動車情報を受信し、端末１０にラベル情報とラ
リー順位ラベル情報を送信する通信制御部２３と、地図
情報を管理し、受信したカメラ位置とカメラ角と焦点距
離と画像サイズを基に地図情報空間の中で視野空間を求
め、その視野空間中に存在する構造物を獲得する地図情
報管理部２１と、各端末１０の時刻付位置情報および自
動車情報を管理し、自動車ラリーゲームに参加するユー
ザが運転する各自動車のラリーでの順位情報を管理する
ゲーム情報管理部２５と、前記画像の部分領域に対して
獲得した構造物を対応付け、対応付けられた構造物の名
称または属性情報および付与位置を含むラベル情報を作
成し、またラリーゲーム参加中のユーザの位置情報と自
動車情報をもとに、景観画像中に存在する自動車を、そ
の自動車のナンバープレートからその自動車の登録番号
を認識できた場合には、その登録番号が位置情報および
自動車情報の点からあるユーザが運転する自動車の登録
番号と推定し得たら、景観画像中の自動車の領域にラリ
ーゲームの順位情報を重畳させたラリー順位ラベル情報
を作成するラベル情報作成部２２と、各部２１〜２３、
２５を制御するセンター制御部２４で構成されている。

【００２２】次に、本実施形態の動作を図２の流れ図を
参照して説明する。

【００２３】まず、端末制御部１６が景観画像に関する
情報を取得するために、位置情報取得部１２、カメラ属
性情報取得部１３、画像取得部１１に対して処理開始コ
マンドを送る。位置情報取得部１２は、端末制御部１６
から命令を受けてＧＰＳ受信機等により位置情報を毎秒
収集し、端末制御部１６に渡す（ステップ２１）。ここ
で、時間間隔は秒単位に限らずどのようにとってもよ
い。カメラ属性情報取得部１３は、端末制御部１６の命
令を受けて画像撮影時のカメラ等景観画像記録装置のカ
メラ角を水平角と仰角の組で取得し（ステップ２２）、
同時にズーム機能を有する景観画像装置であれば焦点距
離を取得する（ステップ２３）。画像取得部１１は、端
末制御部１６から命令を受けて毎秒の景観画像を取得
し、制御部１６に渡す（ステップ２４）。画像サイズは
景観画像装置毎に固定なので、端末制御部１６が画像サ
イズ情報を保持しておく。端末制御部１６は収集した情
報を景観画像ファイルとして保持する。

【００２４】図３は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式で持つ。

【００２５】端末制御部１６は景観画像ファイルを格納
すると、画像処理部１４に対して、景観画像から輪郭線
を抽出し、景観画像を複数の領域に分割するように命令
する。画像処理部１４では、大まかに言えば景観画像内
の濃度差を基に微分処理を行って輪郭線を抽出し（ステ
ップ２５）、その輪郭線を境界としたラベリングを行う
ことによって領域分割する（ステップ２６）。なお、こ
こで用いたラベリングと言う技術用語は画像の領域分割
において用いられる技術用語である。手順としてはま
ず、画像を白黒濃淡画像に変換する。輪郭は明るさの急
変する部分であるから、微分処理を行って微分値がしき
い値より大きい部分を求めることで輪郭線の抽出を行
う。このとき輪郭線の線幅は１画素であり、輪郭線は連
結しているようにする。そのために細線化処理を行っ
て、線幅１画素の連結した線を得る。ここで微分処理、
細線化処理は従来からある手法を用いれば十分である。

【００２６】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図８に示す。なお、領域間の類似度
（近さ）の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。

【００２７】景観画像の領域分割処理が完了すると、通
信制御部１５は端末制御部１６の指示により、取得した
カメラ位置とカメラ角と焦点距離と画像サイズと画像の
領域分割に関する情報（景観画像ファイルのヘッダ情
報）をセンター２０に送信する（ステップ２７）。これ
らの情報は通信制御部２３、センター制御部２４を経て
センター２０の地図情報管理部２１に渡され、地図情報
管理部２１は地図ＤＢをアクセスし、視野空間の算出処
理を行う（ステップ２８）。地図情報管理部２１の例と
しては、地図データベースプログラムがある。地図情報
管理部２１は３次元地図データを管理している。２次元
地図データでもよいが、その場合は高さ情報がないため
に実風景へのラベリングの付与位置の精度が劣る。な
お、２次元地図データを基にする場合は、高さ情報を補
って処理する。例えば、家屋の２次元データである場合
に、家屋が何階建てかを表す階数情報があれば、階数に
一定数を掛けてその家屋の高さを推定し、２次元データ
と推定して求めた高さ情報を基に３次元データを作成す
る。階数情報がない場合でも、家屋図形の面積に応じて
一定数の高さを割り振る等して高さ情報を推定すること
ができ、同様に推定高さ情報をもとに３次元データを作
成する。こうして３次元データを作成して処理を進め
る。

【００２８】３次元地図データの例を図４に示す。図４
（１）に２次元で表現した地図情報空間を示し、図４
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部２１ではセ
ンター制御部２４の命令を受けて景観画像ファイルのヘ
ッダ情報を基に視野空間を算出する（ステップ２８）。
図５に視野空間の計算例を示す。まず、水平方向にＸＹ
軸が張り、垂直方向にＺ軸が張るものとする。景観画像
ファイルのヘッダ情報中の位置情報から、視点Ｅの位置
を３次元地図情報空間の中で設定する。例えば、東経１
３７度５５分１９秒、北緯３４度３４分３０秒、標高１
０１ｍ３３ｃｍであれば、それに対応する地図メッシュ
番号中の対応する座標を設定する。同じくヘッダ情報中
のカメラ角情報中の水平角と仰角をもとにカメラ角方向
を設定する。カメラ角方向を表す直線上に視点Ｅから焦
点距離分進んだ点に焦点Ｆをとる。視線方向ベクトルは
その直線上で視点Ｅから出る長さ１の単位ベクトルであ
る。景観画像ファイルの画像サイズで横方向のサイズか
らカメラ画面のＸ軸での幅ｘを設定し、縦方向のサイズ
からＹ軸での幅ｙを設定する。横ｘ縦ｙの平面は視線方
向ベクトルに対してカメラ角方向に垂直で、かつ焦点Ｆ
を含むように設定される。視点Ｅの座標からカメラ画面
の４隅の点とを結ぶ直線を各々求め、視点Ｅから延びる
４本の半直線が作る３次元空間を視野空間とする。図６
に、３次元地図空間での視野空間の例を示す。３次元地
図空間をＸＺ平面から眺めたものである。図６中で斜線
で囲まれた部分は視野空間に属する空間の、ＸＺ平面で
の断面図である。図６の例では、視野空間の中のビルや
山が含まれている。

【００２９】さらに、地図情報管理部２１では、求めた
視野空間の中に存在する構造物を求める。構造物毎に、
構造物を表す立体を構成する各頂点が、視野空間の内部
領域に存在するか否かを計算する。通常２次元地図空間
は一定サイズの２次元メッシュで区切られている。３次
元地図空間のメッシュの切り方としては、縦横の２次元
方向のメッシュに加えて高さ方向にも一定間隔でメッシ
ュを切っていく。空間を直方体の単位空間で区切ること
になる。まず、直方体の単位空間毎視野空間との重なり
部分の有無を調べ、重なり部分がある３次元単位地図空
間の番号を求める。ここでいう３次元単位地図空間の番
号とは、いわゆるメッシュ番号と同様のものである。重
なりを持つ３次元単位地図空間内にある構造物に対し
て、視野空間と重なり部分の有無を調べる。構造物を構
成する頂点の座標と視点の座標とを結ぶ直線を求め、そ
の直線が図７のカメラ画面に対して交点を持つならば視
野空間内にある。構造物を構成する複数の頂点のうち、
一つの頂点でもこの条件を満たせば、その構造物は視野
空間と重なり部分を持つものとする。

【００３０】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る（ステップ２９）。ここで、図７に示すように、点
Ｐを次式（１）を基にして視点Ｅを基にした座標系で表
現し直した後、点Ｐをカメラ画面に投影して交点Ｑを求
める。

【００３１】

【数１】ここで、点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル）点Ｐ’＝（ｘ’，ｙ’，ｚ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標ｒ＝（ｌｘ² ＋ｌｙ² ）^1/2 交点Ｑ＝（Ｘ，Ｙ）：点Ｐのカメラ画面への投影点ｔは焦点距離

【００３２】３次元投影変換にあたっては、まず各構造
物毎にその頂点が張る面を求める。例えば、直方体で表
現される構造物ならば、６つの面が求まる。各面をカメ
ラ画面に投影変換する際に、投影領域に含まれるカメラ
画面上の各画素に対し、視点とその面上の対応点との距
離を計算して奥行き値（Ｚ値）としてメモリに格納す
る。各構造物の各面毎に、カメラ画面上の各画素に対す
る奥行き値（Ｚ値）を計算し、メモリに格納する。なお
（式）１中のｚ’は視点からの奥行き値（Ｚ値）を表
す。

【００３３】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ３
０）。隠れ面処理の方法には、いろいろあるが、例えば
Ｚバッファ法を用いる。他のスキャンライン法、光線追
跡法でもよい。

【００３４】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。

【００３５】こうしてできた領域がＣＧ画像領域を形成
する（ステップ３１）。

【００３６】ＣＧ画像領域を構成する２次元図形の頂点
座標に対して、投影変換前の３次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その２次元領域がどの構造物の投影図
かということを求めること等に用いる。

【００３７】隠線消去して残った線データを基にしてＣ
Ｇ画像を領域分割する。３次元地図ＤＢを利用している
ため、各領域毎にその領域の基となる構造物の名称を対
応付けできる。ＣＧ画像の分割された領域に順番に番号
を付けていく。ＣＧ画像を複数の部分領域に分割した例
を図９に示す。

【００３８】ＣＧ画像の領域分割処理が完了したら、セ
ンター制御部２４はラベル情報作成部２２に対して、Ｃ
Ｇ画像の分割領域と景観画像の分割領域の対応付けを行
うように命令する。ラベル情報作成部２２では、テンプ
レートマッチングによりＣＧ画像の分割領域と景観画像
の分割領域の対応付けを行う（ステップ３２、図１０参
照）。

【００３９】景観画像の分割領域のうち、番号の若い領
域（例えば、１番）から順にＣＧ画像の分割領域と対応
付けしていく。対応付けに当たっては、従来からあるマ
チング方法のうちのどれをとってもよいが、ここでは単
純なテンプレートマッチング法をとる。つまり、比較す
る２つの領域を重ね合わせ、重なり合う部分の比率が、
しきい値として決めた一定の比率以上にある場合に同一
の構造物に関する領域として対応付けることとする。例
えば、景観画像の分割領域１番目のＲ１に関して、その
領域内にある各画素の座標値を（Ａ，Ｂ）とする。座標
（Ａ，Ｂ）での画素の値は、領域の内部ゆえに１であ
る。ＣＧ画像の１番目の分割領域Ｓ１において、座標
（Ａ，Ｂ）が領域Ｓ１内ならば画素値１であり重なる
が、Ｓ１の外ならば画素値０であり重ならない。こうし
て座標（Ａ，Ｂ）での重なり係数Ｋ（Ａ，Ｂ）として、
重なる場合１、重ならない場合０で決まる。座標（Ａ，
Ｂ）を領域Ｒ１内で動かして、重なり係数Ｋ（Ａ，Ｂ）
を求める。そして、領域Ｒ１内で動かした座標（Ａ，
Ｂ）の数Ｎ１に対して、重なり係数Ｋ（Ａ，Ｂ）が１で
あった座標の数Ｎ２を求めて、Ｎ１／Ｎ２がしきい値以
上である場合に、景観画像の分割領域Ｒ１とＣＧ画像の
分割領域Ｓ１が対応するものと決める。この対応付けを
景観画像の分割領域の１番目から最後のものまで行う。
なお、マッチング方法としてこの他、ＸＹ方向に多少の
位置ずれがあっても同じ値になるような評価関数を用い
てもよい。

【００４０】ラベル情報作成部２２では、景観画像の部
分領域に対してＣＧ画像の部分領域を対応付けた後、対
応付けられ部分領域の構造物を抽出し（ステップ３
３）、さらに景観画像の部分領域毎に重畳すべき情報
（構造物の名称または属性情報）を求め、重畳すべき位
置とともにラベル情報として作成する処理（ステップ３
４）に入る。まず、景観画像の部分領域に対して、対応
するＣＧ画像の部分領域を取り出す。取り出したＣＧ画
像の部分領域はもともと３次元地図空間の中の３次元構
造物のある面をカメラ画面に対して３次元投影変換して
得られたものである。そこで、３次元投影変換の基とな
った３次元構造物の面を、ＣＧ画像の部分領域が持つ奥
行き値（Ｚ値）をキーとして求める。先に３次元投影変
換した際に作成しておいたリンク情報をキーにしてもよ
い。もととなった構造物の面をもとに、３次元地図ＤＢ
にアクセスしてその構造物の名称または属性情報を取得
する。ここで属性情報とは、その構造物に関して付随す
る情報を意味し、その構造物に係る情報ならば何でもよ
い。そして、名称または属性情報を重畳すべき位置座標
を、景観画像の部分領域に対して決める。決め方は、ど
のように決めてもよい。例えば、部分領域を張る図形の
重心でもよい。その構造物の名称または属性情報および
付与位置座標からラベル情報を作成する。表１にラベル
情報の例を示す。

【００４１】

【表１】ラベル情報作成部２２は、ラベル情報を作成し終った
ら、センター制御部２４にラベル情報を渡す。センター
制御部２４は、ラベル情報を受け取ると、通信制御２３
に対してラベル情報を端末１０に送信するように命令す
る。（ステップ３５）。

【００４２】ラベル情報は端末１０のラベル情報出力部
１７に渡され、ラベル情報出力部１７はラベル情報中の
構造物の名称または属性情報を景観画像中の位置に重畳
し（ステップ３６）、重畳された景観画像をディスプレ
イ（ＣＲＴ）、ヘッドマラントディスプレイ等の映像表
示装置に表示する（ステップ３７）。図１１にラベル情
報が重畳された景観画像の例を示す。

【００４３】端末１０のユーザと他の端末のユーザの間
で自動車ラリーゲームが開始されると、端末１０のユー
ザが運転する自動車の時刻付位置情報と自動車情報を、
通信制御部１５が端末１０の時刻付位置情報とともに一
定時間毎にセンター２０へ送る（ステップ３８）。端末
１０の自動車の時刻付位置情報と自動車情報はセンター
制御部２４を経てセンター２０のゲーム情報管理部２５
に渡され、ゲーム情報管理部２５は、各ユーザの時刻付
位置情報および自動車情報を管理し、自動車ラリーゲー
ムに参加するユーザが運転する各自動車のラリーでの順
位情報を管理し、ユーザの位置情報と自動車情報をセン
ター制御部２４へ渡す（ステップ３９）。ユーザの位置
情報と自動車情報はセンター制御部２４によりラベル情
報作成部２２に渡され、ラベル情報作成部２２では、ラ
リーゲーム参加中のユーザの位置情報と自動車情報をも
とに、景観画像中に存在する自動車を、その自動車のナ
ンバープレートからその自動車の登録番号を認識できた
場合には、その登録番号が位置情報および自動車情報の
点からあるユーザが運転する自動車の登録番号と推定し
得たら、景観画像中の自動車の領域にラリーゲームの順
位情報を重畳させたラリー順位ラベル情報を作成して、
センター制御部２４に渡す（ステップ４０）。

【００４４】センター制御部２４はラリー順位ラベル情
報を端末１０へ送信する（ステップ４１）。端末１０の
ラベル情報出力部１７はラリー順位ラベル情報を自動車
のフロントガラスに表示する（ステップ４２）。

【００４５】

【発明の効果】以上説明したように本発明によれば、コ
ンピュータ上の地理的情報と実風景の景観画像中の各部
分とを対応付けて利用者に提示することができるため、
人間がコンピュータ上の地図と実風景を見比べて人間の
方で対応付けせずとも済み、また現実の市街で自動車ラ
リーゲームができ、一般国道等でラリー参加車だけその
存在および順位がわかる。

【図面の簡単な説明】

【図１】本発明の一実施形態の景観ラベル利用型ラリー
ゲームシステムの構成図である。

【図２】図１の景観ラベル利用型ラリーゲームシステム
の処理の流れ図である。

【図３】景観画像ファイルのデータ構造を示す図であ
る。

【図４】２次元地図の例（同図（１））とその３次元地
図（同図（２））を示す図である。

【図５】視野空間の計算方法を示す図である。

【図６】３次元地図空間での視野空間の例を示す図であ
る。

【図７】投影図の例を示す図である。

【図８】景観画像の領域分割例を示す図である。

【図９】ＣＧ画像の領域分割例を示す図である。

【図１０】景観画像の部分領域とＣＧ画像の部分領域の
パターンマッチングの説明図である。

【図１１】景観画像へのラベル情報の重畳の例を示す図
である。

【図１２】特開平８−２７３０００号に開示されたナビ
ゲーション装置の構成図である。

【図１３】動画像の表示例を示す図である。

【符号の説明】

１０端末１１画像取得部１２位置情報取得部１３カメラ属性情報取得部１４画像処理部１５通信制御部１６端末制御部１７ラベル情報出力部２０センター２１地図情報管理部２２ラベル情報作成部２３通信制御部２４センター制御部２５ゲーム情報管理部６０通信網

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩ // Ｂ６０Ｒ 1/00 Ｇ０６Ｆ 15/62 ３５０Ａ (72)発明者鈴木晃東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内 (72)発明者高野正次東京都新宿区西新宿三丁目19番２号日本電信電話株式会社内

Claims

【特許請求の範囲】

【請求項１】それぞれ自動車に搭載された複数の端末
と、センターからなり、前記各端末は、画像を取得する画像取得手段と、画像取
得時のカメラ位置を取得する位置情報取得手段と、画像
取得時のカメラ角と焦点距離と画像サイズを取得するカ
メラ属性情報取得手段と、取得した画像を複数の部分領
域に分割する画像処理手段と、前記画像の領域分割に関
する情報と前記カメラ位置と前記カメラ角と前記焦点距
離と前記画像サイズを通信網を介して前記センターに送
信し、また当該端末の自動車の時刻付位置情報と自動車
の属性情報である自動車情報を一定時間毎に前記通信網
を介して前記センターに送信し、前記センターからラベ
ル情報とラリー順位ラベル情報を受信する通信制御手段
と、前記ラベル情報中の構造物の名称またはその属性情
報を画像中の付与位置に対応する位置に重畳し、重畳さ
れた画像を視覚機器に表示し、また前記ラリー順位ラベ
ル情報を自動車のフロントガラスに表示するラベル情報
出力手段と、前記各手段を制御する端末制御手段を有
し、前記センターは、前記通信網を介して前記各端末から前
記画像の領域分割に関する情報と前記カメラ位置と前記
カメラ角と前記焦点距離と前記画像サイズと各端末の時
刻付位置情報と自動車情報を受信し、前記端末に前記ラ
ベル情報と前記ラリー順位ラベル情報を送信する通信制
御手段と、地図情報を管理し、受信したカメラ位置とカ
メラ角と焦点距離と画像サイズを基に地図情報空間の中
で視野空間を求め、その視野空間中に存在する構造物を
獲得する地図情報管理手段と、各端末の時刻付位置情報
および自動車情報を管理し、自動車ラリーゲームに参加
するユーザが運転する各自動車のラリーでの順位情報を
管理するゲーム情報管理手段と、前記画像の前記部分領
域に対して前記獲得した構造物を対応付け、対応付けら
れた前記構造物の名称または属性情報および付与位置を
含む前記ラベル情報を作成し、またラリーゲーム参加中
のユーザの位置情報と自動車情報をもとに、景観画像中
に存在する自動車を、その自動車のナンバープレートか
らその自動車の登録番号を認識できた場合には、その登
録番号が位置情報および自動車情報の点からあるユーザ
が運転する自動車の登録番号と推定し得たら、景観画像
中の自動車の領域にラリーゲームの順位情報を対応させ
たラリー順位ラベル情報を作成するラベル情報作成手段
と、前記各手段を制御するセンター制御手段を有する景
観ラベル利用型ラリーゲームシステム。
【請求項２】前記ラベル情報作成手段は、獲得した構
造物を基にしてコンピュータグラフィックス画像である
ＣＧ画像を作成し、前記画像の前記部分領域に対してパ
ターンマッチングにより前記ＣＧ画像中の部分領域を対
応付け、対応付けられた部分領域の構造物を求め、その
構造物の名称または属性情報および付与位置を含むラベ
ル情報を作成する、請求項１記載のシステム。
【請求項３】前記ラベル情報作成手段は、獲得した構
造物をカメラ画面に３次元投影変換し、視点から見えな
い構造物を消去してＣＧ画像を作成し、ＣＧ画像中の部
分領域の輪郭線によってＣＧ画像を部分領域に分割し、
前記画像の前記部分領域と前記ＣＧ画像の前記部分領域
とをパターンマッチングにより対応付け、画像の部分領
域に対して対応付けＣＧ画像の部分領域の基となった構
造物を求め、その構造物の名称または属性情報および付
与位置を含むラベル情報を作成する、請求項１記載のシ
ステム。