JPH1166355A - Transformational label type scene labeling device and system - Google Patents
Transformational label type scene labeling device and systemInfo
- Publication number
- JPH1166355A JPH1166355A JP9229771A JP22977197A JPH1166355A JP H1166355 A JPH1166355 A JP H1166355A JP 9229771 A JP9229771 A JP 9229771A JP 22977197 A JP22977197 A JP 22977197A JP H1166355 A JPH1166355 A JP H1166355A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- camera
- acquiring
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Record Information Processing For Printing (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、カメラ等の景観画
像入力機器を用いて利用者が撮影した画像に対してその
画像中の各部分領域に関する地理的な情報を画像表示装
置に重畳表示したり音声案内等して利用者に教示する装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention superimposes and displays, on an image display device, geographical information about each partial area in an image taken by a user using a landscape image input device such as a camera. The present invention relates to a device that teaches a user by voice guidance or the like.
【０００２】[0002]
【従来の技術】従来、利用者がいる周辺に関する地理的
情報を利用者に教示するシステムとして種々のナビゲー
ションシステムがあった。2. Description of the Related Art Conventionally, there have been various navigation systems as systems for instructing users on geographical information about the area where the users are located.
【０００３】図１３は特開平８−２７３０００号に開示
されたナビゲーション装置の構成図である。この装置
は、車両の位置データと動きデータを入力すると、道路
地図データを参照して車両の位置を更新する位置更新部
７１と、地図データ等に基づいて表示用道路データおよ
び表示用背景データを発生させる表示用データ発生部７
２と、これらの表示用データに基づいて３次元動画像デ
ータを作成する３次元動画像データ作成部７３と、記憶
部７４を有し、ナビゲーション装置のユーザが目的地、
経由地を含む走行経路を事前に設定する場合に、地図画
面でなく実際に存在する道路に沿ったリアルな動画像表
示画面を見ながら経路を設定できる機能を有する。FIG. 13 is a block diagram of a navigation device disclosed in Japanese Patent Application Laid-Open No. 8-273000. This device receives a vehicle position data and a movement data, receives a road map data, updates a vehicle position with reference to a position updating unit 71, and displays display road data and display background data based on map data and the like. Display data generator 7 to be generated
2, a three-dimensional moving image data creating unit 73 for creating three-dimensional moving image data based on these display data, and a storage unit 74.
When a travel route including a waypoint is set in advance, the device has a function of setting a route while viewing a real moving image display screen along a road that actually exists instead of a map screen.
【０００４】この装置によれば、ユーザは実際にある経
路に沿って走行するときに、その経路に沿った動画像表
示（例えば、図１４）を見ることができる。According to this device, when the user actually travels along a certain route, the user can see a moving image display (for example, FIG. 14) along the route.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、同装置
を用いる場合、最終的には人間が現実の風景とコンピュ
ータの世界での地理的情報とを肉眼で対応付けることに
よって、現実の風景の中のものが何であるかを認識しな
ければならない。つまり、利用者の眼前にある実際の建
物や道路や山が何であるかを、動画像表示された地図中
の記号等を基にして人間が肉眼を頼りにして人間の脳を
無意識に働かせて対応付けの作業を行って理解しなけれ
ばならない。街角等では、コンピュータでの地図と実際
の景観を見比べては方角を把握したり目印を見つけたり
してその方向を注視し、その方向にある建物の特徴を理
解した上で再度地図を見てその建物が何であるかを理解
している。However, in the case of using the same device, the human finally associates the real scene with the geographical information in the computer world with the naked eye, so that the person in the real scene can be used. You have to recognize what is. In other words, humans rely on the naked eye to work the human brain unconsciously, based on the symbols in the map displayed as a moving image, based on the actual buildings, roads, and mountains in front of the user. It must be understood by performing the work of association. At street corners, etc., comparing the map on the computer with the actual scenery, grasping the direction and finding landmarks, gazing at the direction, understanding the characteristics of the building in that direction, and then looking at the map again Understand what the building is.
【０００６】このため、何度もコンピュータ上の地図と
実風景を見比べて人間の方で対応付けする手間は省略で
きないという問題点がある。特に薄暗がりや夜間等は実
風景が見にくくて対応を取りにくい。[0006] For this reason, there is a problem that the trouble of comparing the map on the computer with the actual scenery many times and associating with the human cannot be omitted. Especially in the dark or at night, it is difficult to see the actual scenery and to take measures.
【０００７】本発明の目的は、コンピュータ上の地理的
情報と実風景の画像（以下、景観画像と呼ぶ。）中の各
部分とを対応付けて利用者に教示する景観ラベリング装
置およびシステムを提供することである。An object of the present invention is to provide a landscape labeling apparatus and system for associating a user with geographical information on a computer and each part in an image of a real landscape (hereinafter referred to as a landscape image). It is to be.
【０００８】[0008]
【課題を解決するための手段】本発明は、コンピュータ
上の地図データを３次元データとして予め作成してお
き、画像（ＣＧ画像と区別するため以降景観画像と呼
ぶ）が入力されるときの位置とカメラの角度と焦点距離
と画像サイズを撮影時に取得し、コンピュータ上の３次
元地図空間内で実風景撮影時の位置とカメラの角度と焦
点距離から眺望した場合のコンピュータグラフィックス
（以下、ＣＧとする。）画像内での地理的情報を取得
し、その地理的情報を、実風景である景観画像に重畳表
示することで対応付けを実現するものである。この地理
的情報とは画像での、構造物等の名称またはその属性情
報であり、属性情報とはその構造物に関するあらゆる属
性（例えば輪郭、色等）についての情報を意味する。こ
の明細書の中では構造物という言葉を人工の構造物以外
に、山や川や海等の天然の地形も含めて地図ＤＢでの何
らかの地理的構造を有するデータ全ての意味で用いるこ
ととする。地理的情報の取得にあたっては、カメラ位
置、カメラ角、焦点距離、画像サイズをもとに景観画像
を求め、複数画像の構造物を求める。その構造物が写っ
ているはずの景観画像の位置（以下、付与位置と称す）
を求めて、構造物の名称または属性情報を重畳表示す
る。According to the present invention, map data on a computer is created in advance as three-dimensional data, and a position at which an image (hereinafter referred to as a landscape image to distinguish it from a CG image) is input. , Camera angle, focal length, and image size at the time of shooting, and computer graphics (hereinafter referred to as CG) when viewed from the position at the time of shooting the actual scenery, the camera angle, and the focal length in the three-dimensional map space on the computer. This is to achieve the association by acquiring geographical information in the image and superimposing and displaying the geographical information on a landscape image which is a real scene. The geographic information is the name of a structure or the like or its attribute information in an image, and the attribute information means information on all attributes (for example, contour, color, etc.) of the structure. In this specification, the term structure is used to mean all data having a certain geographical structure in the map DB, including natural topography such as mountains, rivers, and the sea, in addition to artificial structures. . When acquiring geographic information, a landscape image is obtained based on a camera position, a camera angle, a focal length, and an image size, and a structure of a plurality of images is obtained. The position of the landscape image where the structure should be shown (hereinafter, referred to as the assigned position)
Is obtained, and the name or attribute information of the structure is superimposed and displayed.
【０００９】さらに、景観画像での構造物とＣＧ画像で
の構造物との対応付けの精度をさらに上げるためには、
景観画像の各部分領域に対して先に獲得した構造物をパ
ターンマッチングにより対応付ける。獲得した構造物を
基にしてＣＧ画像を作成し、景観画像の前記部分領域に
対してパターンマッチングによりＣＧ画像中の部分領域
を対応付け、対応付けられた部分領域のもととなった構
造物を求める。Further, in order to further improve the accuracy of associating the structure in the landscape image with the structure in the CG image,
The previously acquired structure is associated with each partial region of the landscape image by pattern matching. A CG image is created on the basis of the acquired structure, a partial region in the CG image is associated with the partial region of the landscape image by pattern matching, and the structure as a source of the associated partial region Ask for.
【００１０】ここで、ＣＧ画像の作成法の一例について
述べる。先に取得したカメラ位置とカメラ角度と焦点距
離と画像サイズを基に３次元地図ＤＢにアクセスして、
３次元地図空間内での視野空間を求める。視野空間中の
構造物を求め、カメラ画面を投影面として、各構造物の
立体データをこの投影面に３次元投影変換する。さらに
各構造物の投影図形を構成する線データのうち、他の構
造物に隠れて見えない線データを法線ベクトル法等の手
法を用いて隠線消去する。隠線消去して残った線データ
を基にして、ＣＧ画像を領域分割する。３次元地図ＤＢ
を利用しているため、各領域毎にその領域のもととなる
構造物の名称を対応付けできる。Here, an example of a method for creating a CG image will be described. By accessing the three-dimensional map DB based on the camera position, camera angle, focal length, and image size obtained earlier,
Obtain the visual field space in the three-dimensional map space. A structure in the visual field space is obtained, and three-dimensional data of each structure is three-dimensionally projected and converted onto the projection plane using the camera screen as a projection plane. Further, of the line data constituting the projected figure of each structure, line data hidden by other structures and invisible is erased using a normal vector method or the like. The CG image is divided into regions based on the line data remaining after the elimination of the hidden lines. 3D map DB
Is used, the name of the structure that is the basis of the area can be associated with each area.
【００１１】そうして、パターンマッチングにより景観
画像の各部分領域に対応付けられたＣＧ画像の部分領域
の構造物名称を抽出する。抽出した構造物名称を重畳す
べき実風景画像の位置座標を、３次元地図空間中での構
造物の位置座標を先の投影面に３次元投影変換して求め
る。抽出した構造物名称を重畳すべき実風景画像の位置
座標から、構造物の名称またはその属性情報およびその
付与位置の座標を含むラベル情報を作成する。ラベル情
報を基に実風景である景観画像に構造物名称を重畳し
て、視覚機器に表示する。Then, the structure name of the partial area of the CG image associated with each partial area of the landscape image is extracted by pattern matching. The position coordinates of the actual scenery image on which the extracted structure name is to be superimposed are obtained by three-dimensionally projecting the position coordinates of the structure in the three-dimensional map space onto the projection plane. From the position coordinates of the actual scenery image on which the extracted structure name is to be superimposed, label information including the name of the structure or its attribute information and the coordinates of its assigned position is created. Based on the label information, the structure name is superimposed on a landscape image as a real scene and displayed on a visual device.
【００１２】なお、構造物の属性情報として、その構造
物の関連情報の名称（ホームページ名称）と、関連情報
にアクセスするためのアドレス情報（ホームページのア
ドレスhttp://www.xxx.yyy.zzzや電話番号、ファックス
番号）を用いることができる。また、構造物の名称およ
び付与位置の座標だけでなく、構造物の領域を表現した
２次元図形およびその付与位置の座標も用いることがで
きる。また、構造物の名称および付与位置の座標そのだ
けでなく、構造物の空間構造を表現した３次元図形およ
びその付与位置の座標も用いることができる。The attribute information of the structure includes the name of the related information of the structure (homepage name) and the address information for accessing the related information (the address of the homepage http: //www.xxx.yyy.zzz). And telephone numbers and fax numbers). Further, not only the name of the structure and the coordinates of the application position, but also a two-dimensional figure expressing the region of the structure and the coordinates of the application position can be used. Further, not only the name of the structure and the coordinates of the application position, but also a three-dimensional figure expressing the spatial structure of the structure and the coordinates of the application position can be used.
【００１３】本発明の景観ラベリング装置は、画像を取
得する画像取得手段と、画像取得時のカメラ位置を取得
する位置情報取得手段と、画像取得時のカメラ角と焦点
距離と画像サイズを取得するカメラ属性情報取得手段
と、取得した画像を複数の部分領域に分割する画像処理
手段と、地図情報を管理し、取得したカメラ位置とカメ
ラ角と焦点距離と画像サイズを基に地図情報空間のなか
で視野空間を求め、その視野空間中に存在する構造物を
獲得する地図情報管理手段と、獲得した構造物を基にし
てＣＧ画像を作成し、前記画像の前記部分領域に対して
パターンマッチングにより前記ＣＧ画像中の部分領域を
対応付け、対応付けられた部分領域の構造物を求める
か、獲得した構造物をカメラ画面に３次元投影変換し、
視点から見えない構造物を消去してＣＧ画像を作成し、
ＣＧ画像中の部分領域の輪郭線によってＣＧ画像を部分
領域に分割し、前記画像の前記部分領域と前記ＣＧ画像
の前記部分領域とをパターンマッチングにより対応付
け、画像の部分領域に対して対応付けＣＧ画像の部分領
域の基となった構造物を求め、その構造物の名称または
属性情報および付与位置を少なくとも含み、構造物の属
性情報として、当該構造物の関連情報の名称と、該関連
情報にアクセスするためのアドレス情報を含むか、当該
構造物の空間構造を表現した２次元図形およびその付与
位置の座標または前記当該構造物の領域を表現した３次
元図形およびその付与位置の座標をさらに含むラベル情
報を作成するラベル情報作成手段と、前記ラベル情報中
の構造物の名称またはその属性情報を画像中の付与位置
に対応する位置に重畳し、重畳された画像を視覚機器に
表示するラベル情報出力手段と、前記各手段を制御する
制御手段を有する。[0013] The landscape labeling apparatus of the present invention obtains an image, obtains an image, obtains a camera position at the time of obtaining an image, obtains a camera angle, a focal length, and an image size at the time of obtaining an image. A camera attribute information acquisition unit, an image processing unit that divides the acquired image into a plurality of partial areas, manages the map information, and stores the map information in the map information space based on the acquired camera position, camera angle, focal length, and image size. A map information management means for obtaining a structure present in the view space and a CG image based on the obtained structure, and performing pattern matching with respect to the partial region of the image. The partial areas in the CG image are associated with each other, and a structure of the associated partial area is obtained, or the acquired structure is three-dimensionally projected and transformed on a camera screen,
Create a CG image by erasing structures that cannot be seen from the viewpoint,
The CG image is divided into partial regions by contour lines of the partial regions in the CG image, and the partial regions of the image and the partial regions of the CG image are associated with each other by pattern matching, and are associated with the partial regions of the image. The structure that is the basis of the partial area of the CG image is obtained, and at least the structure name or attribute information and the assigned position are included. As the structure attribute information, the name of the related information of the structure and the related information Or a two-dimensional figure expressing the spatial structure of the structure and the coordinates of its assigned position or the three-dimensional figure expressing the area of the structure and the coordinates of its assigned position. A label information creating means for creating label information including the label information, and a name of the structure in the label information or attribute information thereof is superimposed on a position corresponding to the assigned position in the image. And has a label information output means for displaying the superimposed image to the visual device, the control means for controlling said respective means.
【００１４】本発明の景観ラベリングシステムは、景観
ラベリング端末と景観ラベリングセンターからなり、景
観ラベリング端末は、画像を取得する画像取得手段と、
画像取得時のカメラ位置を取得する位置情報取得手段
と、画像取得時のカメラ角と焦点距離と画像サイズを取
得するカメラ属性情報取得手段と、取得した画像を複数
の部分領域に分割する画像処理手段と、前記画像の領域
分割に関する情報と前記カメラ位置と前記カメラ角と前
記焦点距離と前記画像サイズとを通信網を介して前記景
観ラベリングセンターに送信し、後記景観ラベリングセ
ンターからラベル情報を受信する通信制御手段と、ラベ
ル情報中の構造物の名称または属性情報を付与位置に対
応する画像中に対応する位置に重畳し、重畳された画像
を視覚機器に表示するラベル情報出力手段と、上記各手
段を制御する端末制御手段を有し、景観ラベリングセン
ターは、前記通信網を介して前記景観ラベリング端末か
ら前記画像の領域分割に関する情報と前記カメラ位置と
前記カメラ角と前記焦点距離と前記画像サイズとを受信
し、前記景観ラベリング端末に前記ラベル情報を送信す
る通信制御手段と、地図情報を管理し、受信したカメラ
位置とカメラ角と焦点距離と画像サイズを基に地図情報
空間の中で視野空間を求め、その視野空間中に存在する
構造物を獲得する地図情報管理手段と、獲得した構造物
を基にしてＣＧ画像を作成し、前記画像の前記部分領域
に対してパターンマッチングにより前記ＣＧ画像中の部
分領域を対応付け、対応付けられた部分領域の構造物を
求めるか、獲得した構造物をカメラ画面に３次元投影変
換し、視点から見えない構造物を消去してＣＧ画像を作
成し、ＣＧ画像中の部分領域の輪郭線によってＣＧ画像
を部分領域に分割し、前記画像の前記部分領域と前記Ｃ
Ｇ画像の前記部分領域とをパターンマッチングにより対
応付け、画像の部分領域に対して対応付けＣＧ画像の部
分領域の基となった構造物を求め、その構造物の名称ま
たは属性情報および付与位置を少なくとも含み、前記構
造物の属性情報として、当該構造物の関連情報の名称
と、該関連情報にアクセスするためのアドレス情報を含
むか、当該構造物の領域を表現した２次元図形およびそ
の付与位置の座標または当該構造物の空間構造を表現し
た３次元図形およびその付与位置の座標をさらに含むラ
ベル情報を作成するラベル情報作成手段と、上記各手段
を制御するセンター制御手段を有する。[0014] A landscape labeling system according to the present invention comprises a landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal includes image acquisition means for acquiring an image,
Position information acquisition means for acquiring a camera position at the time of image acquisition, camera attribute information acquisition means for acquiring a camera angle, a focal length, and an image size at the time of image acquisition, and image processing for dividing the acquired image into a plurality of partial areas Means for transmitting information about the area division of the image, the camera position, the camera angle, the focal length, and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center described below. Communication control means for superimposing, the label information output means for superimposing the name or attribute information of the structure in the label information on the position corresponding to the image corresponding to the application position, and displaying the superimposed image on a visual device; A terminal control unit for controlling each unit, wherein the landscape labeling center receives the image area from the landscape labeling terminal via the communication network; Communication control means for receiving information about the camera position, the camera angle, the focal length, and the image size, transmitting the label information to the landscape labeling terminal, managing map information, and receiving the camera position. Map information management means for obtaining a visual space in a map information space based on a camera angle, a focal length and an image size, and acquiring structures existing in the visual space; and a CG image based on the acquired structures Is created, and the partial region in the CG image is associated with the partial region of the image by pattern matching, and the structure of the associated partial region is obtained or the acquired structure is displayed on the camera screen in three dimensions. Projection transformation is performed, a structure invisible from the viewpoint is erased, a CG image is created, and the CG image is divided into partial regions by contour lines of the partial regions in the CG image. Wherein the partial region C
The partial area of the G image is associated with the partial area of the image by pattern matching, and the partial area of the image is determined. The structure that is the basis of the partial area of the CG image is obtained. At least the attribute information of the structure includes a name of related information of the structure and address information for accessing the related information, or a two-dimensional figure expressing an area of the structure and its assigned position Label information creating means for creating label information further including the coordinates of the three-dimensional figure expressing the coordinates of the three-dimensional figure or the spatial structure of the structure and the coordinates of the assigned position, and a center control means for controlling each of the above means.
【００１５】[0015]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００１６】図１は本発明の一実施形態の景観ラベリン
グ装置の構成図、図２は図１の景観ラベリング装置の処
理の流れ図である。FIG. 1 is a configuration diagram of a landscape labeling apparatus according to an embodiment of the present invention, and FIG. 2 is a flowchart of processing of the landscape labeling apparatus of FIG.
【００１７】本実施形態の景観ラベリング装置は、景観
画像を取得する、例えばディジタルカメラである画像取
得部１と、画像を取得する際のカメラ位置を取得する、
例えばＧＰＳ受信機である位置情報取得部２と、同じく
画像を取得する際にカメラ角と焦点距離と画像サイズを
取得する、例えばディジタルカメラに取り付けられた３
次元電子コンパスであるカメラ属性情報取得部３と、取
得した画像を複数の部分領域に分割する画像処理部４
と、地図情報を管理し、取得した位置とカメラ角と焦点
距離と画像サイズを基に地図情報空間の中で視野空間を
求め、その視野空間中に存在する構造物を獲得する地図
情報管理部５と、画像の前記部分領域に対して獲得した
構造物をパターンマッチングにより対応付け、対応付け
られた構造物の名称または属性情報および付与位置を含
むラベル情報を作成する情報作成部６と、生成されたラ
ベル情報中の構造物の名称または属性情報を画像中に対
応する位置に重畳するラベル情報出力部７と、上記各部
１〜７を制御する制御部８で構成されている。The landscape labeling apparatus according to the present embodiment acquires a landscape image, for example, an image acquisition unit 1 which is a digital camera, and acquires a camera position at the time of acquiring an image.
For example, a position information acquisition unit 2 that is a GPS receiver, and a camera angle, a focal length, and an image size that are also acquired when acquiring an image.
Camera attribute information acquisition unit 3 which is a three-dimensional electronic compass, and image processing unit 4 which divides the acquired image into a plurality of partial areas
And a map information management unit that manages map information, obtains a view space in the map information space based on the acquired position, camera angle, focal length, and image size, and acquires structures existing in the view space. 5, an information creating unit 6 for associating the acquired structure with the partial region of the image by pattern matching and creating label information including the name or attribute information of the associated structure and the assigned position; A label information output unit 7 that superimposes the name or attribute information of the structure in the label information thus obtained at a position corresponding to the image, and a control unit 8 that controls the above units 1 to 7.
【００１８】なお、構造物の属性情報は、その構造物の
関連情報の名称（ホームページ名称）と、関連情報にア
クセスするためのアドレス情報（ホームページのアドレ
スhttp://www.xxx.yyy.zzzや電話番号、ファックス番
号）を含み、ラベル情報は、構造物の領域を表現した２
次元図形およびその付与位置座標または構造物の空間構
造を表現した３次元図形およびその付与位置座標も含
む。The attribute information of the structure includes the name of the related information of the structure (name of the homepage) and the address information for accessing the related information (the address of the homepage http: //www.xxx.yyy.zzz). And telephone number, fax number), and the label information represents the area of the structure 2
It also includes a three-dimensional figure expressing a three-dimensional figure and its assigned position coordinates or the spatial structure of a structure and its assigned position coordinates.
【００１９】次に、本実施形態の動作を詳細に説明す
る。Next, the operation of this embodiment will be described in detail.
【００２０】景観ラベリング装置が起動されると、まず
制御部８が景観画像に関する情報を取得するために、位
置情報取得部２、カメラ属性情報取得部３、画像取得部
１に対して処理開始コマンドを送る。位置情報取得部２
は、制御部８から命令を受けてＧＰＳ受信機等により位
置情報を毎秒収集し、制御部８に渡す（ステップ２
１）。ここで、時間間隔は秒単位に限らずどのようにと
ってもよい。カメラ属性情報取得部３は、制御部８の命
令を受けて画像撮影時のカメラ等景観画像記録装置のカ
メラ角を水平角と仰角の組で取得し（ステップ２２）、
同時にズーム機能を有する景観画像装置であれば焦点距
離を取得する（ステップ２３）。画像取得部１は、制御
部８から命令を受けて毎秒の景観画像を取得し、制御部
８に渡す（ステップ２４）。画像サイズは景観画像装置
毎に固定なので、制御部８が画像サイズ情報を保持して
おく。制御部８は収集した情報を景観画像ファイルとし
て保持する。When the landscape labeling device is started, first, the control unit 8 sends a processing start command to the position information acquisition unit 2, the camera attribute information acquisition unit 3, and the image acquisition unit 1 in order to acquire information on the landscape image. Send. Location information acquisition unit 2
Receives a command from the control unit 8, collects position information every second using a GPS receiver or the like, and passes it to the control unit 8 (step 2).
1). Here, the time interval is not limited to the unit of seconds, but may be any value. The camera attribute information acquisition unit 3 receives a command from the control unit 8 and acquires a camera angle of a landscape image recording device such as a camera at the time of image capturing as a set of a horizontal angle and an elevation angle (Step 22),
At the same time, if it is a landscape image device having a zoom function, the focal length is obtained (step 23). The image acquisition unit 1 receives a command from the control unit 8, acquires a landscape image every second, and passes it to the control unit 8 (Step 24). Since the image size is fixed for each landscape image device, the control unit 8 holds the image size information. The control unit 8 holds the collected information as a landscape image file.
【００２１】図３は、景観画像ファイルのデータ構造の
ファイル形式を示す。景観画像ファイルはヘッダ情報と
画像データを持つ。ヘッダ情報としては、位置情報、カ
メラ角情報、焦点距離、時刻情報、画像ファイルの画像
サイズ、タイプおよびサイズを持つ。位置情報として、
東経、北緯、標高の各データ（例えば、東経１３７度５
５分１０秒、北緯３４度３４分３０秒、標高１０１ｍ３
３ｃｍ等）を有する。カメラ角として、水平角と仰角の
各データ（例えば、水平角右回り２５４度、仰角１５度
等）を有する。焦点距離データは、画像撮影時のカメラ
レンズの焦点距離（例えば２８ｍｍ等）である。時刻情
報として、撮影時の時刻（例えば、日本時間１９９７年
１月３１日１５時６分１７秒等）を持つ。画像ファイル
の画像サイズとして、縦横の画素サイズ（例えば、６４
０×４８０等）を持つ。同じくファイルタイプ（ＴＩＦ
Ｅ形式、８ビットカラー等）を持つ。同じくファイルの
バイト数（３０７．２ＫＢ等）を持つ。画像データその
ものを例えばバイナリー形式で持つ。FIG. 3 shows the file format of the data structure of the landscape image file. The landscape image file has header information and image data. The header information includes position information, camera angle information, focal length, time information, image size, type, and size of an image file. As location information,
East longitude, north latitude, and elevation data (for example, 137 degrees east 5 degrees
5 minutes 10 seconds, latitude 34 degrees 34 minutes 30 seconds north, altitude 101m3
3 cm). The camera angle includes horizontal angle data and elevation angle data (for example, horizontal angle 254 degrees clockwise, elevation angle 15 degrees, etc.). The focal length data is the focal length (for example, 28 mm) of the camera lens at the time of capturing an image. The time information includes the time at the time of shooting (for example, 15:06:17, January 31, 1997, Japan time). As the image size of the image file, the vertical and horizontal pixel sizes (for example, 64
0 × 480). File type (TIF
E format, 8-bit color, etc.). It also has the number of bytes of the file (307.2 KB, etc.). The image data itself has, for example, a binary format.
【００２２】制御部８は景観画像ファイルを格納する
と、画像処理部４に対して、景観画像から輪郭線を抽出
し、景観画像を複数の領域に分割するように命令する。
画像処理部４では、大まかに言えば景観画像内の濃度差
を基に微分処理を行って輪郭線を抽出し（ステップ２
５）、その輪郭線を境界としたラベリングを行うことに
よって領域分割する（ステップ２６）。なお、ここで用
いたラベリングと言う技術用語は画像の領域分割におい
て用いられる技術用語であって、本発明の名称である景
観ラベリングとは異なるものである。手順としてはま
ず、画像を白黒濃淡画像に変換する。輪郭は明るさの急
変する部分であるから、微分処理を行って微分値がしき
い値より大きい部分を求めることで輪郭線の抽出を行
う。このとき輪郭線の線幅は１画素であり、輪郭線は連
結しているようにする。そのために細線化処理を行っ
て、線幅１画素の連結した線を得る。ここで微分処理、
細線化処理は従来からある手法を用いれば十分である。After storing the landscape image file, the control unit 8 instructs the image processing unit 4 to extract the outline from the landscape image and divide the landscape image into a plurality of regions.
The image processing unit 4 performs a differentiation process on the basis of the density difference in the landscape image to extract a contour line (step 2).
5) The region is divided by performing labeling with the outline as a boundary (step 26). Note that the technical term of labeling used here is a technical term used in image area division, and is different from landscape labeling, which is the name of the present invention. As a procedure, first, the image is converted into a monochrome grayscale image. Since the contour is a portion where the brightness changes suddenly, the contour is extracted by performing a differentiation process to find a portion where the differential value is larger than a threshold value. At this time, the line width of the outline is one pixel, and the outlines are connected. For this purpose, a thinning process is performed to obtain a connected line having a line width of one pixel. Where the differentiation process,
It is sufficient to use a conventional method for the thinning processing.
【００２３】得られた輪郭線を領域の輪郭線と考え、輪
郭線により構成される領域に番号をつける操作を行う。
その番号の中で最大の数が領域の数となり、領域中の画
素数がその領域の面積を表す。景観画像を複数の部分領
域に分割した例を図８に示す。なお、領域間の類似度
（近さ）の尺度を導入し、性質が似ている複数の領域を
一つの領域にまとめていくクラスタ化処理を行ってもよ
い。既存方法のどのようなクラスタ化方法によってもよ
い。The obtained outline is regarded as the outline of the region, and an operation of numbering the region constituted by the outline is performed.
The largest number among the numbers is the number of areas, and the number of pixels in the area indicates the area of the area. FIG. 8 shows an example in which a landscape image is divided into a plurality of partial regions. Note that a measure of similarity (closeness) between regions may be introduced, and a clustering process may be performed to combine a plurality of regions having similar properties into one region. Any existing clustering method may be used.
【００２４】制御部８は景観画像の領域分割処理を完了
させると、地図情報管理部５に対して景観画像ファイル
のヘッダ情報を渡して視野空間の算出処理を行う処理要
求を出す。地図情報管理部５の例としては、地図データ
ベースプログラムがある。地図情報管理部５は３次元地
図データを管理している。２次元地図データでもよい
が、その場合は高さ情報がないために実風景へのラベリ
ングの付与位置の精度が劣る。なお、２次元地図データ
を基にする場合は、高さ情報を補って処理する。例え
ば、家屋の２次元データである場合に、家屋が何階建て
かを表す階数情報があれば、階数に一定数を掛けてその
家屋の高さを推定し、２次元データと推定して求めた高
さ情報を基に３次元データを作成する。階数情報がない
場合でも、家屋図形の面積に応じて一定数の高さを割り
振る等して高さ情報を推定することができ、同様に推定
高さ情報をもとに３次元データを作成する。こうして３
次元データを作成して処理を進める。When the control unit 8 completes the landscape image area division processing, it passes a header information of the landscape image file to the map information management unit 5 and issues a processing request for calculating the view space. An example of the map information management unit 5 is a map database program. The map information management unit 5 manages three-dimensional map data. Although two-dimensional map data may be used, in this case, since there is no height information, the accuracy of the position at which the labeling is applied to the actual scenery is inferior. When the two-dimensional map data is used as the basis, the processing is performed by supplementing the height information. For example, in the case of two-dimensional data of a house, if there is floor information indicating the number of floors of the house, the number of floors is multiplied by a certain number to estimate the height of the house, and the two-dimensional data is obtained. 3D data is created based on the height information. Even when there is no floor information, the height information can be estimated by assigning a certain number of heights according to the area of the house figure, and similarly, three-dimensional data is created based on the estimated height information. . Thus 3
Create dimensional data and proceed.
【００２５】３次元地図データの例を図４に示す。図４
（１）に２次元で表現した地図情報空間を示し、図４
（２）に３次元で表現した地図情報空間を示す。この３
次元地図情報空間に対して、地図情報管理部５では制御
部８の命令を受けて景観画像ファイルのヘッダ情報を基
に地図ＤＢをアクセスし（ステップ２７）、視野空間を
算出する（ステップ２８）。図５に視野空間の計算例を
示す。まず、水平方向にＸＹ軸が張り、垂直方向にＺ軸
が張るものとする。景観画像ファイルのヘッダ情報中の
位置情報から、視点Ｅの位置を３次元地図情報空間の中
で設定する。例えば、東経１３７度５５分１９秒、北緯
３４度３４分３０秒、標高１０１ｍ３３ｃｍであれば、
それに対応する地図メッシュ番号中の対応する座標を設
定する。同じくヘッダ情報中のカメラ角情報中の水平角
と仰角をもとにカメラ角方向を設定する。カメラ角方向
を表す直線上に視点Ｅから焦点距離分進んだ点に焦点Ｆ
をとる。視線方向ベクトルはその直線上で視点Ｅから出
る長さ１の単位ベクトルである。景観画像ファイルの画
像サイズで横方向のサイズからカメラ画面のＸ軸での幅
ｘを設定し、縦方向のサイズからＹ軸での幅ｙを設定す
る。横ｘ縦ｙの平面は視線方向ベクトルに対してカメラ
角方向に垂直で、かつ焦点Ｆを含むように設定される。
視点Ｅの座標からカメラ画面の４隅の点とを結ぶ直線を
各々求め、視点Ｅから延びる４本の半直線が作る３次元
空間を視野空間とする。図６に、３次元地図空間での視
野空間の例を示す。３次元地図空間をＸＺ平面から眺め
たものである。図６中で斜線で囲まれた部分は視野空間
に属する空間の、ＸＺ平面での断面図である。図６の例
では、視野空間の中のビルや山が含まれている。FIG. 4 shows an example of three-dimensional map data. FIG.
(1) shows a map information space expressed in two dimensions, and FIG.
(2) shows a map information space expressed in three dimensions. This 3
The map information management unit 5 accesses the map DB for the three-dimensional map information space based on the header information of the landscape image file in response to an instruction from the control unit 8 (step 27), and calculates the visual field space (step 28). . FIG. 5 shows a calculation example of the visual field space. First, it is assumed that the XY axes extend in the horizontal direction and the Z axis extends in the vertical direction. The position of the viewpoint E is set in the three-dimensional map information space from the position information in the header information of the landscape image file. For example, if 137 degrees 55 minutes 19 seconds east longitude, 34 degrees 34 minutes 30 seconds north latitude, and 101 m 33 cm above sea level,
The corresponding coordinates in the corresponding map mesh number are set. Similarly, the camera angle direction is set based on the horizontal angle and the elevation angle in the camera angle information in the header information. Focus F at a point advanced by focal length from viewpoint E on a straight line representing the camera angle direction
Take. The line-of-sight direction vector is a unit vector having a length of 1 from the viewpoint E on the straight line. In the image size of the landscape image file, the width x on the X-axis of the camera screen is set from the horizontal size, and the width y on the Y-axis is set from the vertical size. The horizontal x vertical y plane is set so as to be perpendicular to the camera angle direction with respect to the line of sight vector and to include the focal point F.
Straight lines connecting the four corner points of the camera screen are obtained from the coordinates of the viewpoint E, and a three-dimensional space formed by four half lines extending from the viewpoint E is defined as a visual field space. FIG. 6 shows an example of the visual field space in the three-dimensional map space. The three-dimensional map space is viewed from the XZ plane. In FIG. 6, a portion surrounded by oblique lines is a cross-sectional view of the space belonging to the viewing space on the XZ plane. In the example of FIG. 6, buildings and mountains in the visual field space are included.
【００２６】さらに、地図情報管理部５では、求めら視
野空間の中に存在する構造物を求める。構造物毎に、構
造物を表す立体を構成する各頂点が、視野空間の内部領
域に存在するか否かを計算する。通常２次元地図空間は
一定サイズの２次元メッシュで区切られている。３次元
地図空間のメッシュの切り方としては、縦横の２次元方
向のメッシュに加えて高さ方向にも一定間隔でメッシュ
を切っていく。空間を直方体の単位空間で区切ることに
なる。まず、直方体の単位空間毎視野空間との重なり部
分の有無を調べ、重なり部分がある３次元単位地図空間
の番号を求める。ここでいう３次元単位地図空間の番号
とは、いわゆるメッシュ番号と同様のものである。重な
りを持つ３次元単位地図空間内にある構造物に対して、
視野空間と重なり部分の有無を調べる。構造物を構成す
る頂点の座標と視点の座標とを結ぶ直線を求め、その直
線が図７のカメラ画面に対して交点を持つならば視野空
間内にある。構造物を構成する複数の頂点のうち、一つ
の頂点でもこの条件を満たせば、その構造物は視野空間
と重なり部分を持つものとする。Further, the map information management unit 5 obtains a structure existing in the visual field space. For each structure, it is calculated whether or not each vertex constituting the solid representing the structure exists in the internal region of the viewing space. Usually, a two-dimensional map space is divided by a two-dimensional mesh of a fixed size. As a method of cutting a mesh in the three-dimensional map space, a mesh is cut at regular intervals in the height direction in addition to the two-dimensional mesh in the vertical and horizontal directions. The space is divided by a rectangular parallelepiped unit space. First, the presence or absence of an overlapping portion between the rectangular parallelepiped unit space and the visual field space is checked, and the number of the three-dimensional unit map space having the overlapping portion is obtained. The number of the three-dimensional unit map space here is the same as a so-called mesh number. For structures in the overlapping 3D unit map space,
Investigate whether there is any overlap with the visual field space. A straight line connecting the coordinates of the vertices constituting the structure and the coordinates of the viewpoint is obtained. If the straight line has an intersection with the camera screen of FIG. 7, it is within the visual field space. If at least one vertex of the plurality of vertices constituting the structure satisfies this condition, the structure has an overlapping portion with the viewing space.
【００２７】構造物が視野空間の内部に含まれるか、ま
たはその一部が含まれる場合、カメラ画面を投影面とし
て、各構造物をこの投影面に３次元投影変換する処理に
入る（ステップ２９）。ここで、図７に示すように、点
Ｐを次式（１）を基にして視点Ｅを基にした座標系で表
現し直した後、点Ｐをカメラ画面に投影して交点Ｑを求
める。When the structure is included in the visual field space or a part of the structure is included, a process for three-dimensionally projecting each structure onto the projection surface using the camera screen as a projection surface is started (step 29). ). Here, as shown in FIG. 7, after the point P is re-expressed in the coordinate system based on the viewpoint E based on the following equation (1), the point P is projected on the camera screen to obtain the intersection Q. .
【００２８】[0028]
【数１】 ここで、 点Ｐ＝（ｘ，ｙ，ｚ）：構造物を構成する頂点の座標 点Ｅ＝（ｅｘ，ｅｙ，ｅｚ）：視点の座標 ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）：視線方向ベクトル
（単位ベクトル） 点Ｐ’＝（ｘ’，ｙ’，ｚ’）：点Ｐの視点Ｅを基にし
た座標系で表現した場合の座標 ｒ＝（ｌｘ2 ＋ｌｙ2 ）1/2 交点Ｑ＝（Ｘ，Ｙ）：点Ｐのカメラ画面への投影点 ｔは焦点距離 ３次元投影変換にあたっては、まず各構造物毎にその頂
点が張る面を求める。例えば、直方体で表現される構造
物ならば、６つの面が求まる。各面をカメラ画面に投影
変換する際に、投影領域に含まれるカメラ画面上の各画
素に対し、視点とその面上の対応点との距離を計算して
奥行き値（Ｚ値）としてメモリに格納する。各構造物の
各面毎に、カメラ画面上の各画素に対する奥行き値（Ｚ
値）を計算し、メモリに格納する。なお（式）１中の
ｚ’は視点からの奥行き値（Ｚ値）を表す。(Equation 1) Here, point P = (x, y, z): coordinates of the vertices constituting the structure point E = (ex, ey, ez): coordinates of the viewpoint vector L = (lx, ly, lz): gaze direction vector (Unit vector) Point P ′ = (x ′, y ′, z ′): coordinates in a coordinate system based on the viewpoint E of the point P r = (lx 2 + ly 2 ) 1/2 intersection Q = (X, Y): The projection point t of the point P on the camera screen is the focal length. In the three-dimensional projection conversion, first, for each structure, the surface on which the vertex extends is obtained. For example, in the case of a structure represented by a rectangular parallelepiped, six surfaces are obtained. When each plane is projected onto the camera screen, the distance between the viewpoint and the corresponding point on the plane is calculated for each pixel on the camera screen included in the projection area, and stored as a depth value (Z value) in the memory. Store. For each surface of each structure, the depth value (Z
Value) and store it in memory. Note that z ′ in (Equation 1) represents a depth value (Z value) from the viewpoint.
【００２９】カメラ画面に３次元投影変換された構造物
のうちには、視点から見える構造物と見えない構造物が
ある。その中で視点から見える構造物のみを求め、視点
から反対側にある面や他の構造物に遮られている面を求
める必要がある。そこで、隠面処理を行う（ステップ３
０）。隠面処理の方法には、いろいろあるが、例えばＺ
バッファ法を用いる。他のスキャンライン法、光線追跡
法でもよい。Among the three-dimensionally projected structures on the camera screen, there are structures visible from the viewpoint and structures not visible. Among them, it is necessary to find only the structure that can be seen from the viewpoint, and to find the surface on the opposite side from the viewpoint or the surface that is blocked by other structures. Therefore, hidden surface processing is performed (step 3
0). There are various methods for processing the hidden surface.
Use the buffer method. Other scan line methods and ray tracing methods may be used.
【００３０】カメラ画面上の画素を任意にとって、その
画素に対して最も小さい奥行き値をとる面を求める。こ
のように各構造物の各面について順次処理を続けていく
と、カメラ画面上の各画素毎に視点に最も近い面が残さ
れる。カメラ画面上の各画素毎に視点に最も近い面が決
定され、また視点に最も近い面が共通するカメラ画面上
画素は一般的に領域を構成するので、カメラ画面では、
共通の面を最も近い面とする画素からなる領域が複数で
きる。こうして求まった領域が、視点から見える構造物
の部分領域を３次元投影変換した結果の領域である。視
点から反対側にある面や他の構造物に遮られている面は
消去されている。A pixel on the camera screen is arbitrarily determined, and a plane having the smallest depth value for the pixel is determined. As described above, when processing is sequentially performed on each surface of each structure, the surface closest to the viewpoint is left for each pixel on the camera screen. The plane closest to the viewpoint is determined for each pixel on the camera screen, and pixels on the camera screen that share the plane closest to the viewpoint generally form an area.
There can be a plurality of regions consisting of pixels with the common surface being the closest surface. The region obtained in this way is a region obtained by performing a three-dimensional projection conversion of the partial region of the structure seen from the viewpoint. Surfaces on the other side of the view and those obstructed by other structures have been erased.
【００３１】こうしてできた領域がＣＧ画像領域を形成
する（ステップ３１）。The area thus formed forms a CG image area (step 31).
【００３２】ＣＧ画像領域を構成する２次元図形の頂点
座標に対して、投影変換前の３次元座標を求め、両者の
対応関係をリンク情報としてメモリに格納する。リンク
情報を基にして、その２次元領域がどの構造物の投影図
かということを求めること等に用いる。With respect to the vertex coordinates of the two-dimensional figure constituting the CG image area, three-dimensional coordinates before projection transformation are obtained, and the correspondence between the two is stored in the memory as link information. It is used to determine which structure the two-dimensional area is a projection of based on the link information.
【００３３】隠線消去して残った線データを基にして、
ＣＧ画像を領域分割する。３次元地図ＤＢを利用してい
るため、各領域毎にその領域の基となる構造物の名称を
対応付けできる。ＣＧ画像の分割された領域に順番に番
号を付けていく。ＣＧ画像を複数の部分領域に分割した
例を図９に示す。Based on the line data remaining after erasing hidden lines,
The CG image is divided into regions. Since the three-dimensional map DB is used, the name of the structure serving as the basis of each area can be associated with each area. The divided areas of the CG image are numbered sequentially. FIG. 9 shows an example in which a CG image is divided into a plurality of partial areas.
【００３４】ＣＧ画像の領域分割処理が完了したら、制
御部８はラベル情報作成部６に対して、ＣＧ画像の分割
領域と景観画像の分割領域の対応付けを行うように命令
する。ラベル情報作成部６では、テンプレートマッチン
グによりＣＧ画像の分割領域と景観画像の分割領域の対
応付けを行う（ステップ３２、図１０参照）。When the CG image region division processing is completed, the control unit 8 instructs the label information creation unit 6 to associate the CG image division region with the landscape image division region. The label information creating unit 6 associates the divided regions of the CG image with the divided regions of the landscape image by template matching (step 32, see FIG. 10).
【００３５】景観画像の分割領域のうち、番号の若い領
域（例えば、１番）から順にＣＧ画像の分割領域と対応
付けしていく。対応付けに当たっては、従来からあるマ
チング方法のうちのどれをとってもよいが、ここでは単
純なテンプレートマッチング法をとる。つまり、比較す
る２つの領域を重ね合わせ、重なり合う部分の比率が、
しきい値として決めた一定の比率以上にある場合に同一
の構造物に関する領域として対応付けることとする。例
えば、景観画像の分割領域１番目のＲ１に関して、その
領域内にある各画素の座標値を（Ａ，Ｂ）とする。座標
（Ａ，Ｂ）での画素の値は、領域の内部ゆえに１であ
る。ＣＧ画像の１番目の分割領域Ｓ１において、座標
（Ａ，Ｂ）が領域Ｓ１内ならば画素値１であり重なる
が、Ｓ１の外ならば画素値０であり重ならない。こうし
て座標（Ａ，Ｂ）での重なり係数Ｋ（Ａ，Ｂ）として、
重なる場合１、重ならない場合０で決まる。座標（Ａ，
Ｂ）を領域Ｒ１内で動かして、重なり係数Ｋ（Ａ，Ｂ）
を求める。そして、領域Ｒ１内で動かした座標（Ａ，
Ｂ）の数Ｎ１に対して、重なり係数Ｋ（Ａ，Ｂ）が１で
あった座標の数Ｎ２を求めて、Ｎ１／Ｎ２がしきい値以
上である場合に、景観画像の分割領域Ｒ１とＣＧ画像の
分割領域Ｓ１が対応するものと決める。この対応付けを
景観画像の分割領域の１番目から最後のものまで行う。
なお、マッチング方法としてこの他、ＸＹ方向に多少の
位置ずれがあっても同じ値になるような評価関数を用い
てもよい。Of the divided regions of the landscape image, the regions are sequentially associated with the divided regions of the CG image in ascending order of number (for example, No. 1). For matching, any of the conventional matching methods may be used, but here, a simple template matching method is used. In other words, the two areas to be compared are superimposed, and the ratio of the overlapping portions is
When the ratio is equal to or higher than a certain ratio determined as a threshold value, the regions are associated as regions relating to the same structure. For example, the coordinate value of each pixel in the first divided region R1 of the landscape image is set to (A, B). The value of the pixel at coordinates (A, B) is 1 because it is inside the area. In the first divided area S1 of the CG image, if the coordinates (A, B) are within the area S1, the pixel value is 1 and overlaps, but if the coordinates (A, B) are outside of S1, the pixel value is 0 and does not overlap. Thus, as an overlap coefficient K (A, B) at the coordinates (A, B),
It is determined by 1 when they overlap and 0 when they do not overlap. Coordinates (A,
B) is moved within the region R1, and the overlap coefficient K (A, B)
Ask for. Then, the coordinates (A,
With respect to the number N1 of B), the number N2 of coordinates at which the overlap coefficient K (A, B) was 1 is obtained, and when N1 / N2 is equal to or larger than the threshold value, the divided region R1 of the landscape image is determined. It is determined that the divided area S1 of the CG image corresponds. This association is performed from the first to the last divided area of the landscape image.
In addition, as the matching method, an evaluation function that has the same value even if there is a slight displacement in the XY directions may be used.
【００３６】ラベル情報作成部６では、景観画像の部分
領域に対してＣＧ画像の部分領域を対応付けた後、さら
に景観画像の部分領域毎に重畳すべき情報を求め、重畳
すべき位置とともにラベル情報として作成する処理（ス
テップ３４）に入る。まず、景観画像の部分領域に対し
て、対応するＣＧ画像の部分領域を取り出す。取り出し
たＣＧ画像の部分領域はもともと３次元地図空間の中の
３次元構造物のある面をカメラ画面に対して３次元投影
変換して得られたものである。そこで、３次元投影変換
の基となった３次元構造物の面を、ＣＧ画像の部分領域
が持つ奥行き値（Ｚ値）をキーとして求める。先に３次
元投影変換した際に作成しておいたリンク情報をキーに
してもよい。もととなった構造物の面をもとに、３次元
地図ＤＢにアクセスしてその構造物の名称または属性情
報を取得する。ここで属性情報とは、その構造物に関し
て付随する情報を意味し、その構造物に係る情報ならば
何でもよい。そして、名称または属性情報を重畳すべき
位置座標を、景観画像の部分領域に対して決める。決め
方は、どのように決めてもよい。例えば、部分領域を張
る図形の重心でもよい。その構造物の名称または属性情
報、および付与位置座標からラベル情報を作成する。表
１にラベル情報の例を示す。The label information creation unit 6 associates the partial area of the landscape image with the partial area of the CG image, obtains information to be superimposed for each partial area of the landscape image, and, together with the position to be superimposed, the label. The process for creating information (step 34) is entered. First, a partial area of the CG image corresponding to the partial area of the landscape image is extracted. The partial region of the extracted CG image is originally obtained by three-dimensionally projecting and converting a certain surface of the three-dimensional structure in the three-dimensional map space onto the camera screen. Therefore, the surface of the three-dimensional structure on which the three-dimensional projection conversion is based is obtained using the depth value (Z value) of the partial region of the CG image as a key. The link information created at the time of the three-dimensional projection conversion may be used as a key. Based on the surface of the original structure, the three-dimensional map DB is accessed to acquire the name or attribute information of the structure. Here, the attribute information means information accompanying the structure, and may be any information as long as the information is related to the structure. Then, the position coordinates where the name or attribute information is to be superimposed are determined for the partial area of the landscape image. How to decide may be decided any way. For example, the center of gravity of the figure extending the partial area may be used. Label information is created from the name or attribute information of the structure and the assigned position coordinates. Table 1 shows an example of label information.
【００３７】[0037]
【表１】 ラベル情報作成部６は、ラベル情報を作成し終ったら、
制御部８にラベル情報を渡す。[Table 1] When the label information creating unit 6 finishes creating the label information,
The label information is passed to the control unit 8.
【００３８】制御部８は、ラベル情報を受け取ると、ラ
ベル情報出力部７に対して視覚機器に対してラベル情報
を表示等して出力するように命令する。ここでは視覚機
器は、ディスプレイ、ヘッドマウントディスプレイ等の
映像表示装置を含む。ラベル情報中の構造物の名称また
は属性情報を景観画像中の位置に重畳し（ステップ３
５）、重畳された景観画像を映像表示装置に出力する
（ステップ３６）。図１１にラベル情報が重畳された景
観画像の例を示す。When receiving the label information, the control section 8 instructs the label information output section 7 to display and output the label information to the visual device. Here, the visual device includes a video display device such as a display or a head-mounted display. The name or attribute information of the structure in the label information is superimposed on the position in the landscape image (step 3).
5) Output the superimposed landscape image to the video display device (step 36). FIG. 11 shows an example of a landscape image on which label information is superimposed.
【００３９】ラベル情報出力部７はラベル情報を出力す
ると、出力完了を制御部８に通知する。制御部８は出力
完了通知を受け取ると、連続して景観ラベリングの処理
を行う場合は先に示した一連の処理手順を再び実行す
る。When the label information output section 7 outputs the label information, it notifies the control section 8 of the completion of the output. When receiving the output completion notification, the control unit 8 executes the above-described series of processing procedures again when continuously performing the landscape labeling processing.
【００４０】図１２は図１の景観ラベリング装置を通信
システムに適用した変形ラベル版景観ラベリングシステ
ムの構成図である。FIG. 12 is a block diagram of a modified label version landscape labeling system in which the landscape labeling apparatus of FIG. 1 is applied to a communication system.
【００４１】景観ラベリングシステムは景観ラベリング
端末４０と景観ラベリングセンター５０と通信網６０で
構成される。The landscape labeling system includes a landscape labeling terminal 40, a landscape labeling center 50, and a communication network 60.
【００４２】景観ラベリング端末４０は、画像を取得す
る画像取得部４１と、画像取得時の位置を取得する位置
情報取得部４２と、画像取得時のカメラ角と焦点距離と
画像サイズを取得するカメラ属性情報取得部４３と、取
得した画像を複数の部分領域に分割する画像処理部４４
と、画像の領域分割に関する情報とカメラ位置とカメラ
角と焦点距離と画像サイズとを通信網６０を介して景観
ラベリングセンター５０に送信し、景観ラベリングセン
ター５０からラベル情報を受信する通信制御部４５と、
ラベル情報中の構造物の名称または属性情報を画像中の
対応する位置に重畳し、重畳された画像の視覚機器に出
力するラベル情報出力部４７と、上記各部を制御する端
末制御部４６で構成される。The landscape labeling terminal 40 includes an image acquisition unit 41 for acquiring an image, a position information acquisition unit 42 for acquiring a position at the time of image acquisition, and a camera for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. An attribute information acquisition unit 43 and an image processing unit 44 for dividing the acquired image into a plurality of partial areas
And a communication control unit 45 that transmits information on image area division, camera position, camera angle, focal length, and image size to the landscape labeling center 50 via the communication network 60 and receives label information from the landscape labeling center 50. When,
A label information output unit 47 that superimposes the name or attribute information of the structure in the label information at a corresponding position in the image and outputs the superimposed image to a visual device, and a terminal control unit 46 that controls the above units. Is done.
【００４３】景観ラベリングセンター５０は通信網６０
を介して景観ラベリング端末４０から前記画像の領域分
割に関する情報とカメラ位置とカメラ角と焦点距離と画
像サイズを受信し、景観ラベリング端末４０にラベル情
報を送信する通信制御部５３と、地図情報を管理し、受
信したいカメラ位置とカメラ角と焦点距離と画像サイズ
を基に地図情報空間の中で視野空間を求め、その視野空
間中に存在する構造物を獲得する地図情報管理部５１
と、画像の前記部分領域に対して前記獲得した構造物を
パターンマッチングにより対応付け、対応付けられた前
記構造物の名称または属性情報および付与位置を含むラ
ベル情報を作成する、図１のラベル情報作成部６と同様
の構成のラベル情報作成部５２と、上記各部を制御する
センタ−制御部５４で構成される。The landscape labeling center 50 has a communication network 60.
A communication control unit 53 that receives information related to the area division of the image, a camera position, a camera angle, a focal length, and an image size from the landscape labeling terminal 40 via the interface and transmits label information to the landscape labeling terminal 40; A map information management unit 51 that manages and obtains a view space in a map information space based on a camera position, a camera angle, a focal length, and an image size to be received, and acquires a structure existing in the view space.
And the label information of FIG. 1 in which the acquired structure is associated with the partial region of the image by pattern matching, and label information including the name or attribute information of the associated structure and the assigned position is created. It is composed of a label information creating section 52 having the same configuration as the creating section 6, and a center control section 54 for controlling each of the above sections.
【００４４】なお、本システムの動作は図１の装置の動
作と同様である。The operation of this system is the same as the operation of the apparatus shown in FIG.
【００４５】[0045]
【発明の効果】以上説明したように本発明によれば、コ
ンピュータ上の地理的情報と実風景の景観画像中の各部
分とを対応付けて利用者に提示することができるため、
人間がコンピュータ上の地図と実風景を見比べて人間の
方で対応付けせずとも済む。As described above, according to the present invention, the geographical information on the computer and each part in the scenery image of the actual scene can be presented to the user in association with each other.
This eliminates the need for a human to compare the map on the computer with the actual scenery and associate it with the human.
【図１】本発明の一実施形態の変形ラベル型景観ラベリ
ング装置の構成図である。FIG. 1 is a configuration diagram of a modified label type landscape labeling device according to an embodiment of the present invention.
【図２】図１の実施形態の景観ラベリング装置の処理の
流れ図である。FIG. 2 is a flowchart of processing of the landscape labeling device of the embodiment of FIG. 1;
【図３】景観画像ファイルのデータ構造を示す図であ
る。FIG. 3 is a diagram showing a data structure of a landscape image file.
【図４】２次元地図の例（同図（１））とその３次元地
図（同図（２））を示す図である。FIG. 4 is a diagram showing an example of a two-dimensional map (FIG. 1 (1)) and its three-dimensional map (FIG. 2 (2)).
【図５】視野空間の計算方法を示す図である。FIG. 5 is a diagram illustrating a calculation method of a visual field space.
【図６】３次元地図空間での視野空間の例を示す図であ
る。FIG. 6 is a diagram illustrating an example of a visual field space in a three-dimensional map space.
【図７】投影図の例を示す図である。FIG. 7 is a diagram showing an example of a projection view.
【図８】景観画像の領域分割例を示す図である。FIG. 8 is a diagram showing an example of area division of a landscape image.
【図９】ＣＧ画像の領域分割例を示す図である。FIG. 9 is a diagram illustrating an example of area division of a CG image.
【図１０】景観画像の部分領域とＣＧ画像の部分領域の
パターンエッチングの説明図である。FIG. 10 is an explanatory diagram of pattern etching of a partial region of a landscape image and a partial region of a CG image.
【図１１】景観画像へのラベル情報の重畳の例を示す図
である。FIG. 11 is a diagram illustrating an example of superimposition of label information on a landscape image.
【図１２】本発明の一実施形態の景観ラベリングシステ
ムの構成図である。FIG. 12 is a configuration diagram of a landscape labeling system according to an embodiment of the present invention.
【図１３】特開平８−２７３０００号に開示されたナビ
ゲーション装置の構成図である。FIG. 13 is a configuration diagram of a navigation device disclosed in Japanese Patent Application Laid-Open No. 8-273000.
【図１４】動画像の表示例を示す図である。FIG. 14 is a diagram illustrating a display example of a moving image.
１ 画像取得部 ２ 位置情報取得部 ３ カメラ属性情報取得部 ４ 画像処理部 ５ 地図情報管理部 ６ ラベル情報作成部 ７ ラベル情報出力部 ８ 制御部 ２１〜３６ ステップ ４０ 景観ラベリング端末 ４１ 画像取得部 ４２ 位置情報取得部 ４３ カメラ属性情報取得部 ４４ 画像処理部 ４５ 通信制御部 ４６ 端末制御部 ４７ ラベル情報出力部 ５０ 景観ラベリングセンター ５１ 地図情報管理部 ５２ ラベル情報作成部 ５３ 通信制御部 ５４ センター制御部 ６０ 通信網 DESCRIPTION OF SYMBOLS 1 Image acquisition part 2 Position information acquisition part 3 Camera attribute information acquisition part 4 Image processing part 5 Map information management part 6 Label information creation part 7 Label information output part 8 Control part 21-36 Step 40 Scenery labeling terminal 41 Image acquisition part 42 Position information acquisition unit 43 Camera attribute information acquisition unit 44 Image processing unit 45 Communication control unit 46 Terminal control unit 47 Label information output unit 50 Scenery labeling center 51 Map information management unit 52 Label information creation unit 53 Communication control unit 54 Center control unit 60 Communication network
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 晃 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 高野 正次 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Akira Suzuki 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Japan Telegraph and Telephone Corporation (72) Inventor Shoji Takano 3--19, Nishishinjuku, Shinjuku-ku, Tokyo No. 2 Nippon Telegraph and Telephone Corporation
Claims (12)
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物を基にしてコンピュータグラフィックス
画像であるＣＧ画像を作成し、前記画像の前記部分領域
に対してパターンマッチングにより前記ＣＧ画像中の部
分領域を対応付け、対応付けられた部分領域の構造物を
求め、その構造物の名称または属性情報および付与位置
を含み、前記構造物の属性情報として、当該構造物の関
連情報の名称と、該関連情報にアクセスするためのアド
レス情報を含むラベル情報を作成するラベル情報作成手
段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。置。An image acquisition unit for acquiring an image; a position information acquisition unit for acquiring a camera position at the time of image acquisition; a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring a structure existing in the visual field space, and a CG image which is a computer graphics image is created based on the acquired structure, and pattern matching is performed on the partial region of the image by pattern matching. Associating the partial areas in the CG image, obtaining a structure of the associated partial area, and including the name or attribute information of the structure and the assigned position; Label information creating means for creating label information including address information for accessing the related information, the name of the related information of the structure as the attribute information, and the name of the structure in the label information or the attribute information thereof And a label information output unit that superimposes the image on a position corresponding to the application position in the image, and displays the superimposed image on a visual device; and a control unit that controls each of the units. Place.
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物を基にしてコンピュータグラフィックス
画像であるＣＧ画像を作成し、前記画像の前記部分領域
に対してパターンマッチングにより前記ＣＧ画像中の部
分領域を対応付け、対応付けられた部分領域の構造物を
求め、その構造物の名称または属性情報および付与位置
と当該構造物の領域を表現した２次元図形およびその付
与位置の座標を含むラベル情報を作成するラベル情報作
成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。2. An image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring a structure existing in the visual field space, and a CG image which is a computer graphics image is created based on the acquired structure, and pattern matching is performed on the partial region of the image by pattern matching. The partial areas in the CG image are associated with each other, the structure of the associated partial area is obtained, and the name or attribute information of the structure and the assigned position and the area of the structure Label information creating means for creating label information including the expressed two-dimensional figure and the coordinates of its assigned position; and superimposing the name of the structure in the label information or its attribute information on the position corresponding to the assigned position in the image. A modified label type landscape labeling device, comprising: label information output means for displaying a superimposed image on a visual device; and control means for controlling each of the means.
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物を基にしてコンピュータグラフィックス
画像であるＣＧ画像を作成し、前記画像の前記部分領域
に対してパターンマッチングにより前記ＣＧ画像中の部
分領域を対応付け、対応付けられた部分領域の構造物を
求め、その構造物の名称または属性情報および付与位置
と当該構造物の空間構造を表現した３次元図形およびそ
の付与位置の座標を含むラベル情報を作成するラベル情
報作成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。3. An image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring a structure existing in the visual field space, and a CG image which is a computer graphics image is created based on the acquired structure, and pattern matching is performed on the partial region of the image by pattern matching. The partial areas in the CG image are associated with each other, the structure of the associated partial area is determined, and the name or attribute information of the structure and the assigned position and the space of the structure Label information generating means for generating label information including coordinates of a three-dimensional figure representing a structure and its application position, and a structure name in the label information or its attribute information at a position corresponding to the application position in the image. A modified label-type landscape labeling device, comprising: label information output means for superimposing and displaying the superimposed image on a visual device; and control means for controlling each of the means.
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物をカメラ画面３次元投影変換し視点から
見えない構造物を消去してＣＧ画像を作成し、ＣＧ画像
中の部分領域の輪郭線によってＣＧ画像を部分領域に分
割し、前記画像の前記部分領域と前記ＣＧ画像の前記部
分領域とをパターンマッチングにより対応付け、画像の
部分領域に対して対応付けＣＧ画像の部分領域の基とな
った構造物を求め、その構造物の名称または属性情報お
よび付与位置を含み、前記構造物の属性情報として、当
該構造物の関連情報の名称と、該関連情報にアクセスす
るためのアドレス情報を含むラベル情報を作成する作成
するラベル情報作成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。4. An image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring a structure existing in the visual field space; a three-dimensional projection transformation of the acquired structure on a camera screen to delete a structure invisible from the viewpoint to create a CG image; The CG image is divided into partial regions by contour lines of the partial regions, and the partial regions of the image are associated with the partial regions of the CG image by pattern matching. The structure that is the basis of the partial region of the attached CG image is obtained, and the name or attribute information of the structure and the location of the structure are included. As the attribute information of the structure, the name of the related information of the structure and the related Label information creating means for creating label information including address information for accessing information, and superimposing the name of the structure in the label information or its attribute information at a position corresponding to the assigned position in the image, A modified label-type landscape labeling device, comprising: label information output means for displaying a superimposed image on a visual device; and control means for controlling each of the means.
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物をカメラ画面に３次元投影変換し、視点
から見えない構造物を消去してＣＧ画像を作成し、ＣＧ
画像中の部分領域の輪郭線によってＣＧ画像を部分領域
に分割し、前記画像の前記部分領域と前記ＣＧ画像の前
記部分領域とをパターンマッチングにより対応付け、画
像の部分領域に対して対応付けＣＧ画像の部分領域の基
となった構造物を求め、その構造物の名称または属性情
報および付与位置と当該構造物の２次元図形およびその
付与位置の座標を含むラベル情報を作成するラベル情報
作成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。5. An image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring structures existing in the visual field space; three-dimensional projection conversion of the acquired structures onto a camera screen; erasing structures which cannot be seen from the viewpoint; creating a CG image;
The CG image is divided into partial regions by the contour lines of the partial regions in the image, and the partial regions of the image are associated with the partial regions of the CG image by pattern matching. Label information generating means for obtaining a structure which is a basis of a partial region of an image, and generating label information including name or attribute information of the structure, an assigned position, a two-dimensional figure of the structure, and coordinates of the assigned position. A label information output unit that superimposes the name of the structure in the label information or its attribute information at a position corresponding to the application position in the image, and displays the superimposed image on a visual device; and controls the respective units. Label type landscape labeling device having a control means for performing the operation.
と、 画像取得時のカメラ角と焦点距離と画像サイズを取得す
るカメラ属性情報取得手段と、 取得した画像を複数の部分領域に分割する画像処理手段
と、 地図情報を管理し、取得したカメラ位置とカメラ角と焦
点距離と画像サイズを基に地図情報空間の中で視野空間
を求め、その視野空間中に存在する構造物を獲得する地
図情報管理手段と、 獲得した構造物をカメラ画面に３次元投影変換し、視点
から見えない構造物を消去してＣＧ画像を作成し、ＣＧ
画像中の部分領域の輪郭線によってＣＧ画像を部分領域
に分割し、前記画像の前記部分領域と前記ＣＧ画像の前
記部分領域とをパターンマッチングにより対応付け、画
像の部分領域に対して対応付けＣＧ画像の部分領域の基
となった構造物を求め、その構造物の名称または属性情
報および付与位置と当該構造物の空間構造を表現した３
次元図形およびその付与位置の座標を含むラベル情報を
作成するラベル情報作成手段と、 前記ラベル情報中の構造物の名称またはその属性情報を
画像中の付与位置に対応する位置に重畳し、重畳された
画像を視覚機器に表示するラベル情報出力手段と、 前記各手段を制御する制御手段を有する変形ラベル型景
観ラベリング装置。6. An image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, a camera attribute information acquisition unit for acquiring a camera angle, a focal length, and an image size at the time of image acquisition. , Image processing means for dividing the acquired image into a plurality of partial areas, managing map information, and calculating a visual field space in the map information space based on the acquired camera position, camera angle, focal length, and image size, Map information management means for acquiring structures existing in the visual field space; three-dimensional projection conversion of the acquired structures onto a camera screen; erasing structures which cannot be seen from the viewpoint; creating a CG image;
The CG image is divided into partial regions by the contour lines of the partial regions in the image, and the partial regions of the image are associated with the partial regions of the CG image by pattern matching. The structure that is the basis of the partial area of the image is obtained, and the name or attribute information of the structure, the assigned position, and the spatial structure of the structure are expressed.
Label information creating means for creating label information including the coordinates of the three-dimensional figure and its assigned position, and superimposing and superimposing the name of the structure in the label information or its attribute information on the position corresponding to the assigned position in the image. And a label information output unit for displaying the displayed image on a visual device, and a control unit for controlling each of the units.
ンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物を基にしてコンピュータグラフ
ィックス画像であるＣＧ画像を作成し、前記画像の前記
部分領域に対してパターンマッチングにより前記ＣＧ画
像中の部分領域に対応付け、対応付けられた部分領域の
構造物を求め、その構造物の名称または属性情報および
付与位置を含み、前記構造物の属性情報として当該構造
物の関連情報の名称と、該関連情報にアクセスするため
のアドレス情報を含むラベル情報を作成するラベル情報
作成手段と、上記各手段を制御するセンター制御手段を
有する変形ラベル型景観ラベリングシステム。7. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the apparatus, and a CG image which is a computer graphics image is created based on the acquired structures. The partial area of the image is associated with the partial area in the CG image by pattern matching, the structure of the associated partial area is obtained, and the name or attribute information of the structure and the assigned position are included. A modification having label information creating means for creating label information including name of related information of the structure as attribute information of the object, address information for accessing the related information, and center control means for controlling each of the above means Label type landscape labeling system.
ンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物を基にしてコンピュータグラフ
ィックス画像であるＣＧ画像を作成し、前記画像の前記
部分領域に対してパターンマッチングにより前記ＣＧ画
像中の部分領域に対応付け、対応付けられた部分領域の
構造物を求め、その構造物の名称または属性情報および
付与位置と当該構造物の領域を表現した２次元図形およ
びその付与位置の座標を含むラベル情報を作成するラベ
ル情報作成手段と、上記各手段を制御するセンター制御
手段を有する変形ラベル型景観ラベリングシステム。8. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the apparatus, and a CG image which is a computer graphics image is created based on the acquired structures. The partial area of the image is associated with the partial area in the CG image by pattern matching, the structure of the associated partial area is obtained, and the name or attribute information of the structure and the assigned position and the position of the structure A modified label-type landscape labeling system, comprising: label information creating means for creating label information including a two-dimensional figure representing an area and coordinates of its assigned position; and a center control means for controlling each of the means.
ンターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物を基にしてコンピュータグラフ
ィックス画像であるＣＧ画像を作成し、前記画像の前記
部分領域に対してパターンマッチングにより前記ＣＧ画
像中の部分領域に対応付け、対応付けられた部分領域の
構造物を求め、その構造物の名称または属性情報および
付与位置と当該構造物の空間構造を表現した３次元図形
およびその付与位置の座標を含むラベル情報を作成する
ラベル情報作成手段と、上記各手段を制御するセンター
制御手段を有する変形ラベル型景観ラベリングシステ
ム。9. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the apparatus, and a CG image which is a computer graphics image is created based on the acquired structures. The partial area of the image is associated with the partial area in the CG image by pattern matching, the structure of the associated partial area is obtained, and the name or attribute information of the structure and the assigned position and the position of the structure A modified label-type landscape labeling system, comprising: label information creating means for creating label information including coordinates of a three-dimensional figure expressing a spatial structure and its assigned position; and a center control means for controlling each of the above means.
センターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物をカメラ画面３次元投影変換し
視点から見えない構造物を消去してＣＧ画像を作成し、
ＣＧ画像中の部分領域の輪郭線によってＣＧ画像を部分
領域に分割し、前記画像の前記部分領域と前記ＣＧ画像
の前記部分領域とをパターンマッチングにより対応付
け、画像の部分領域に対して対応付けＣＧ画像の部分領
域の基となった構造物を求め、その構造物の名称または
属性情報および付与位置を含み、前記構造物の属性情報
として、当該構造物の関連情報の名称と、該関連情報に
アクセスするためのアドレス情報を含むラベル情報を作
成するラベル情報作成手段と、上記各手段を制御するセ
ンター制御手段を有する変形ラベル型景観ラベリングシ
ステム。10. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the interior, and CG images obtained by transforming the acquired structures into a camera screen by three-dimensional projection and erasing structures invisible from the viewpoint To create
The CG image is divided into partial regions by contour lines of the partial regions in the CG image, and the partial regions of the image and the partial regions of the CG image are associated with each other by pattern matching, and are associated with the partial regions of the image. The structure that is the basis of the partial area of the CG image is obtained, and the name or attribute information of the structure and the assigned position are included. As the attribute information of the structure, the name of the related information of the structure and the related information A modified label-type landscape labeling system, comprising: label information creating means for creating label information including address information for accessing the above; and center control means for controlling each of the above means.
センターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物をカメラ画面に３次元投影変換
し、視点から見えない構造物を消去してＣＧ画像を作成
し、ＣＧ画像中の部分領域の輪郭線によってＣＧ画像を
部分領域に分割し、前記画像の前記部分領域と前記ＣＧ
画像の前記部分領域とをパターンマッチングにより対応
付け、画像の部分領域に対して対応付けＣＧ画像の部分
領域の基となった構造物を求め、その構造物の名称また
は属性情報および付与位置と当該構造物の２次元図形お
よびその付与位置の座標を含むラベル情報を作成するラ
ベル情報作成手段と、上記各手段を制御するセンター制
御手段を有する変形ラベル型景観ラベリングシステム。11. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the interior, and three-dimensional projection conversion of the acquired structures onto a camera screen, and erasing structures which cannot be seen from the viewpoint, thereby performing CG An image is created, and the CG image is divided into partial areas by the outline of the partial area in the CG image, and the partial area of the image and the CG
The partial area of the image is associated with the partial area of the image by pattern matching, the structure that is the basis of the partial area of the CG image is determined with respect to the partial area of the image, and the name or attribute information of the structure and the assigned position are determined. A modified label-type landscape labeling system, comprising: label information creating means for creating label information including a coordinate of a two-dimensional figure of a structure and its assigned position; and a center control means for controlling each of the above means.
センターからなり、 前記景観ラベリング端末は、画像を取得する画像取得手
段と、画像取得時のカメラ位置を取得する位置情報取得
手段と、画像取得時のカメラ角と焦点距離と画像サイズ
を取得するカメラ属性情報取得手段と、取得した画像を
複数の部分領域に分割する画像処理手段と、前記画像の
領域分割に関する情報と前記カメラ位置と前記カメラ角
と前記焦点距離と前記画像サイズとを通信網を介して前
記景観ラベリングセンターに送信し、前記景観ラベリン
グセンターからラベル情報を受信する通信制御手段と、
前記ラベル情報中の構造物の名称またはその属性情報を
画像中に対応する位置に重畳し、重畳された画像を視覚
機器に表示するラベル情報出力手段と、上記各手段を制
御する端末制御手段を有し、 前記景観ラベリングセンターは、前記通信網を介して前
記景観ラベリング端末から前記画像の領域分割に関する
情報と前記カメラ位置と前記カメラ角と前記焦点距離と
前記画像サイズとを受信し、前記景観ラベリング端末に
前記ラベル情報を送信する通信制御手段と、地図情報を
管理し、受信したカメラ位置とカメラ角と焦点距離と画
像サイズを基に地図情報空間の中で視野空間を求め、そ
の視野空間中に存在する構造物を獲得する地図情報管理
手段と、獲得した構造物をカメラ画面に３次元投影変換
し、視点から見えない構造物を消去してＣＧ画像を作成
し、ＣＧ画像中の部分領域の輪郭線によってＣＧ画像を
部分領域に分割し、前記画像の前記部分領域と前記ＣＧ
画像の前記部分領域とをパターンマッチングにより対応
付け、画像の部分領域に対して対応付けＣＧ画像の部分
領域の基となった構造物を求め、その構造物の名称また
は属性情報および付与位置と当該構造物の空間構造を表
現した３次元図形およびその付与位置の座標を含むラベ
ル情報を作成するラベル情報作成手段と、上記各手段を
制御するセンター制御手段を有する変形ラベル型景観ラ
ベリングシステム。12. A landscape labeling terminal and a landscape labeling center, wherein the landscape labeling terminal is an image acquisition unit for acquiring an image, a position information acquisition unit for acquiring a camera position at the time of image acquisition, and a camera at the time of image acquisition. Camera attribute information acquisition means for acquiring an angle, a focal length, and an image size; image processing means for dividing the acquired image into a plurality of partial areas; information on area division of the image; the camera position; the camera angle; Communication control means for transmitting a focal length and the image size to the landscape labeling center via a communication network, and receiving label information from the landscape labeling center,
Label information output means for superimposing the name of the structure in the label information or its attribute information at a position corresponding to the image, and displaying the superimposed image on a visual device, and a terminal control means for controlling each of the above means Having the landscape labeling center, receives information about the area division of the image, the camera position, the camera angle, the focal length, and the image size from the landscape labeling terminal via the communication network, Communication control means for transmitting the label information to the labeling terminal; managing the map information; obtaining a visual space in the map information space based on the received camera position, camera angle, focal length, and image size; Map information management means for acquiring structures existing in the interior, and three-dimensional projection conversion of the acquired structures onto a camera screen, and erasing structures which cannot be seen from the viewpoint, thereby performing CG An image is created, and the CG image is divided into partial areas by the outline of the partial area in the CG image, and the partial area of the image and the CG
The partial area of the image is associated with the partial area of the image by pattern matching, the structure that is the basis of the partial area of the CG image is determined with respect to the partial area of the image, and the name or attribute information of the structure and the assigned position are determined. A modified label-type landscape labeling system, comprising: label information creating means for creating label information including a three-dimensional figure expressing the spatial structure of a structure and coordinates of its assigned position; and a center control means for controlling each of the means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22977197A JP3156649B2 (en) | 1997-08-26 | 1997-08-26 | Deformable label landscape labeling device and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22977197A JP3156649B2 (en) | 1997-08-26 | 1997-08-26 | Deformable label landscape labeling device and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1166355A true JPH1166355A (en) | 1999-03-09 |
| JP3156649B2 JP3156649B2 (en) | 2001-04-16 |
Family
ID=16897427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22977197A Expired - Lifetime JP3156649B2 (en) | 1997-08-26 | 1997-08-26 | Deformable label landscape labeling device and system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3156649B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002183150A (en) * | 2000-12-13 | 2002-06-28 | Nec Corp | System and method for presenting position-related information and recording medium with recorded control program thereof |
| JP2003263104A (en) * | 2002-03-11 | 2003-09-19 | Mitsubishi Electric Corp | Imaging information recognition system |
| US7421154B2 (en) | 1999-07-14 | 2008-09-02 | Fujifilm Corporation | Image processing method |
| JP2019149183A (en) * | 2009-02-20 | 2019-09-05 | 株式会社ニコン | Portable terminal, information acquisition system, and program |
-
1997
- 1997-08-26 JP JP22977197A patent/JP3156649B2/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7421154B2 (en) | 1999-07-14 | 2008-09-02 | Fujifilm Corporation | Image processing method |
| JP2002183150A (en) * | 2000-12-13 | 2002-06-28 | Nec Corp | System and method for presenting position-related information and recording medium with recorded control program thereof |
| JP2003263104A (en) * | 2002-03-11 | 2003-09-19 | Mitsubishi Electric Corp | Imaging information recognition system |
| US7305149B2 (en) | 2002-03-11 | 2007-12-04 | Mitsubishi Denki Kabushiki Kaisha | Image pickup information recognition system |
| JP2019149183A (en) * | 2009-02-20 | 2019-09-05 | 株式会社ニコン | Portable terminal, information acquisition system, and program |
| US11836194B2 (en) | 2009-02-20 | 2023-12-05 | Nikon Corporation | Mobile information device, image pickup device, and information acquisition system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3156649B2 (en) | 2001-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3225882B2 (en) | Landscape labeling system | |
| JPH1165431A (en) | Device and system for car navigation with scenery label | |
| EP0867690B1 (en) | Device and system for labeling sight images | |
| CN108460815B (en) | Method and device for editing map road elements | |
| EP3359918B1 (en) | Systems and methods for orienting a user in a map display | |
| US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
| JP3437555B2 (en) | Specific point detection method and device | |
| JPH09292833A (en) | Navigation device | |
| JP2003132068A (en) | Navigation system and navigation terminal | |
| JP3156646B2 (en) | Search-type landscape labeling device and system | |
| JPH1186034A (en) | Human navigati0n device with scenery label and system therefor | |
| JP6110780B2 (en) | Additional information display system | |
| JP2000050156A (en) | News supporting system | |
| JP3156645B2 (en) | Information transmission type landscape labeling device and system | |
| JP3053172B2 (en) | Distance reference type landscape labeling device and system | |
| JPH1157209A (en) | Rally game system using view label | |
| JP3114862B2 (en) | An interactive landscape labeling system | |
| JP3053169B2 (en) | Communication device and system using landscape label | |
| JP3156649B2 (en) | Deformable label landscape labeling device and system | |
| KR20040055308A (en) | Texture mapping method of 3D feature model using the CCD line camera | |
| US20130120373A1 (en) | Object distribution range setting device and object distribution range setting method | |
| CN106846388B (en) | Image map registration method and system | |
| JPH1132250A (en) | Verbal guiding type sight labeling device and system | |
| JPH1166349A (en) | Movement amount predictive scene labeling device and system | |
| JPH1131239A (en) | Direction under consideration landscape labeling device and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |