WO2003001460A1 - Procede de creation de donnees cartographiques electroniques tridimensionnelles - Google Patents

Procede de creation de donnees cartographiques electroniques tridimensionnelles Download PDF

Info

Publication number
WO2003001460A1
WO2003001460A1 PCT/JP2002/006132 JP0206132W WO03001460A1 WO 2003001460 A1 WO2003001460 A1 WO 2003001460A1 JP 0206132 W JP0206132 W JP 0206132W WO 03001460 A1 WO03001460 A1 WO 03001460A1
Authority
WO
WIPO (PCT)
Prior art keywords
building
photograph
data
dimensional
shape
Prior art date
Application number
PCT/JP2002/006132
Other languages
English (en)
French (fr)
Inventor
Kiyonari Kishikawa
Original Assignee
Zenrin Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zenrin Co., Ltd. filed Critical Zenrin Co., Ltd.
Priority to KR1020037015797A priority Critical patent/KR100580585B1/ko
Priority to US10/481,393 priority patent/US7343268B2/en
Priority to EP02741202A priority patent/EP1426904A4/en
Publication of WO2003001460A1 publication Critical patent/WO2003001460A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Definitions

  • the present invention relates to a three-dimensional modeling technology for generating three-dimensional electronic data of a building, and a technology for generating three-dimensional electronic map data using the modeling method.
  • the electronic map data is used for displaying maps on so-called personal computers, in-vehicle navigation systems, providing maps via the Internet, and creating maps of printed maps.
  • in-vehicle navigation systems providing maps via the Internet, and creating maps of printed maps.
  • three-dimensional display is being used so that drivers can intuitively determine the course. Displaying buildings and the like in three dimensions has the advantage of making it easy to grasp the current position and course.
  • 3D data of the building is required.
  • Acquiring data on three-dimensional data, especially heights, for a number of buildings to be displayed on a map requires a great deal of labor.
  • various techniques for reducing such labor have been proposed. Such techniques include, for example, the technique described in Japanese Patent No. 315353 and the Japanese Society of Photogrammetry and Remote Sensing by the Institute of Industrial Science, The University of Tokyo, J. Zhao Jing et al., Vol. 36, Vol.
  • the present invention has been made in view of such a problem, and an object of the present invention is to provide a technique that enables practical three-dimensional modeling that reflects the actual state of a building with a small effort. Another object of the present invention is to provide a technique for generating three-dimensional electronic map data in a short time by using the three-dimensional modeling.
  • the present invention provides a method for measuring height by matching a photograph of a building with a planar shape in a virtually prepared space using a computer or the like. 3D modeling without the realization.
  • FIG. 1 is an explanatory diagram showing the principle of three-dimensional modeling in the present invention. This shows the state of the virtual space displayed on the display DISP of the evening. This virtual space is defined by a three-dimensional coordinate system such as latitude, longitude, and height. At the initial stage, the display DISP shows only the ground surface GRD in the virtual space.
  • a picture PIC of a building to be subjected to 3D modeling (hereinafter simply referred to as an object) and a plan shape PV of the object are arranged.
  • the photograph PIC is arranged based on information such as a photographing position, a camera direction, and an angle of view at the time of photographing.
  • the photograph PIC arranged in this way represents an image PB that would be displayed if the target object existed in the virtual space.
  • the planar shape PV of the target object can be easily obtained from an existing two-dimensional map data.
  • FIG. 1 illustrates the principle of the present invention based on a display screen of a computer.
  • FIG. 2 is an explanatory diagram showing a relationship between a photographed image and a building.
  • the top view shows the top view VI at the time of shooting, the center shows the side view V2, and the bottom shows the picture PIC obtained.
  • the present invention performs three-dimensional modeling by reproducing the positional relationship shown in FIG. 2 in a virtual space.
  • the height of the buildings BLDa, BLDb is unknown.
  • the camera DSC and the photo PIC are arranged in the same positional relationship as at the time of shooting, the tops of the buildings BLDa and BLDb exist while the building (the thick line in the figure) displayed on the PIC is extended. It should be.
  • the positional relationship shown in Fig. 2 can be reproduced in the virtual space. Therefore, it is possible to specify each height in the virtual space without measuring the actual height of the buildings BLDa and BLDb.
  • the three-dimensional modeling method of the present invention includes the following steps.
  • step (a) of the present invention a photograph of a building represented by electronic data is input.
  • the input of the photograph may be, for example, an electronic data obtained by a digital still camera, or may be a computerized electronic image of a silver lead photograph and input. This photo does not necessarily have to show the entire structure, but at least the top.
  • step (b) the relative positional relationship between the photographing position and the building and the photographing parameters necessary for matching the photograph with the actual scenery that desires the building from the photographing position are input.
  • the relative positional relationship and the imaging parameters are used as data for reproducing the state at the time of imaging in the virtual space.
  • the shooting position does not need to be defined in absolute coordinates such as latitude and longitude, but only needs to be defined in relation to the building.
  • absolute coordinates such as latitude and longitude may be used for each of the shooting position and the building.
  • FIG. 3 is an explanatory diagram showing the angle of view of the camera.
  • the distance between the lens L and the imaging unit C C D is the focal length f.
  • the focal length determines the angle of view, that is, the width of the range OBJ that can be photographed by the imaging unit CCD. Therefore, as the parameters that can specify the angle of view, the angle of view 0, the focal length f, and the like in the figure can be used.
  • FIG. 4 is an explanatory diagram showing the shooting direction of the camera.
  • the X, ⁇ , and Z axes in the figure correspond to the axes in the virtual space.
  • Microscopically, parallels and meridians can be regarded as orthogonal coordinates, so the X axis and Y axis may be associated with the parallels and meridians.
  • the shooting direction of the camera can be specified by the single angle ⁇ , pitch angle j3, and roll angle. Therefore, these angles can be used as parameters for specifying the imaging direction.
  • the shooting direction can be specified by various parameters. However, if the three sets of angles shown in FIG. 4 are used, there is an advantage that it is relatively easy to obtain a parameter value at the time of shooting.
  • the plane shape of the building and the photographing position are determined based on the relative positional relationship in the virtual space for generating the three-dimensional electronic data. Define and place the photo in the location specified by the shooting parameters.
  • the planar shape of the building does not need to be completely specified as a closed figure, as in the examples in Figures 1 and 2. It suffices if the plane shape of the part corresponding to the surface shown in the photograph is specified. Therefore, this planar shape may be a line segment or a polygonal line.
  • step (d) the shape of the building in the height direction is specified by mapping the plane shape in the height direction until it matches the photograph. This mapping may be performed by an operation of the operator or may be performed automatically.
  • three-dimensional modeling can be performed efficiently without measuring the height of each building. Moreover, 3D modeling can be realized with much higher accuracy than a pseudo method such as simply estimating the height from the number of floors of a building.
  • the three-dimensional modeling method of the present invention when a single photograph includes a plurality of buildings, it is possible to simultaneously perform three-dimensional modeling of a plurality of buildings based on the single photograph. There is also an advantage that can be. Since aerial photography does not necessarily have to be performed on the ground, aerial photography makes it possible to relatively easily realize three-dimensional modeling over a wide area.
  • step (c) includes a step of defining a basic three-dimensional model representing a schematic shape of the building together with the plane shape. Buildings have not only simple shapes like buildings but also relatively complex shapes such as ordinary houses.
  • the basic three-dimensional model classifies buildings based on their shapes, such as buildings and ordinary houses, and defines the general shape of each. By using this model when defining the planar shape, by defining the general shape including the height direction, it becomes possible to perform the three-dimensional modeling more accurately and with less effort.
  • Step (d) of the present invention may be performed by an operator, or may be performed automatically by a combi- ter or the like.
  • the step of identifying the ridgeline of the building by analyzing the photographs the step of quantitatively analyzing the overlapping state of the sides of the planar shape and the ridgeline in the mapping process, and the mapping where the overlapping state is maximized
  • a step of specifying a height Maximal means that it is not necessary to be maximal.
  • the overlapping state usually fluctuates drastically due to the effects of various noises.Therefore, in the determination of the overlapping state, such a noise is filtered to identify a mapping having a substantially maximum value. I just need.
  • the height of the ground surface near the building it is desirable to reflect the height of the ground surface near the building. This reflection is performed by inputting the elevation data indicating the height of the ground surface near the building, reflecting the elevation data on the ground surface near the building, and specifying the shape in consideration of the elevation data.
  • the shape of the building it is conceivable to specify the shape of the building in the height direction above the ground surface where the height of the building is reflected. By doing so, the height of the building can be specified more accurately.
  • At least a part of the photograph may be attached as a texture to the surface of the model of the building whose height shape has been specified.
  • the photo to be pasted as the texture may be prepared separately from the photo specifying the height. In any case, the reality of the model can be relatively easily improved by attaching the photograph to the surface.
  • a repetition area and a single area may be defined, and the texture of the unit structure may be repeatedly applied to the repetition area regardless of whether or not a real structure is acquired in a photograph. .
  • the utility of the texture can be improved. For example, in reality, it often happens that trees and other obstacles are in front of a building, making it impossible to take a picture of the surface of the building itself.
  • the texture is used repeatedly, the photograph obtained in any part of the repetition area can be applied to the entire repetition area, and the effects of obstacles can be relatively easily avoided. Can be.
  • the present invention may be configured as a three-dimensional modeling method for a single building, but may be configured as a three-dimensional electronic map data generating method for generating three-dimensional electronic map data including modeling of a building.
  • the present invention may be configured as a three-dimensional modeling support device that supports generation of three-dimensional electronic data of a building.
  • the three-dimensional modeling support device of the present invention may include an image data input unit, a photographing information input unit, a virtual space display unit, a projection unit, and a model display unit.
  • the image data input section and the shooting information input section input a photograph, a plane shape, and shooting parameters, respectively.
  • the virtual space display unit is built from the shooting position in the virtual space that generates 3D electronic data An image display or the like in a direction in which an object is desired is performed.
  • the projection unit projects a photograph in the virtual space based on the shooting parameters.
  • the model display unit displays the building shape defined by mapping the planar shape in the height direction.
  • the present invention can also be configured as a three-dimensional modeling device that automatically generates three-dimensional electronic data of a building.
  • a modeling unit may be provided in addition to the image data input unit and the photographing information input unit described in the support apparatus.
  • the modeling unit defines the shape of the building in the virtual space by defining the plane shape and the shooting position, arranging the photographs, and mapping the plane shapes in the height direction until they match the photographs.
  • the present invention can also be configured as a data collection device for collecting data used for generating three-dimensional electronic data of a building.
  • the data collection device may include an imaging unit, an imaging parameter acquisition unit, and a data storage unit.
  • the imaging unit acquires a photograph of the building as an electronic image.
  • the shooting parameter overnight acquisition section obtains the shooting parameter overnight necessary for matching the photograph with the actual scenery that desires the building from the photographing position.
  • the data storage unit stores the electronic data and the shooting parameters in association with the data on the shooting position.
  • the data collection device can be configured in the form of a tripod or the like for fixing the camera, but it is preferable that at least a part of the data collection device be built in the digital camera. In particular, it is desirable that the imaging parameter acquisition unit is built in the camera to acquire the attitude and the focal length of the camera during imaging.
  • the present invention provides the above-described three-dimensional modeling method and three-dimensional electronic map data generation method.
  • the program may be configured as a recording medium on which these programs are recorded.
  • the recording medium may be a printed material on which a code such as a flexible disk ⁇ CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a bar code, etc. is printed, or a computer internal storage device ( Various computer readable media can be used, such as memories such as RAM and ROM) and external storage devices.
  • FIG. 1 is an explanatory diagram showing the principle of three-dimensional modeling in the present invention.
  • FIG. 2 is an explanatory diagram showing a relationship between a captured image and a building.
  • FIG. 3 is an explanatory diagram showing the angle of view of the camera.
  • FIG. 4 is an explanatory diagram showing the shooting direction of the camera.
  • FIG. 5 is an explanatory diagram showing the configuration of the electronic map data generation system 100 as an embodiment.
  • FIG. 6 is an explanatory diagram showing the configuration of the automatic modeling unit 120.
  • FIG. 7 is an explanatory diagram showing the configuration of the manual modeling unit 130.
  • FIG. 8 is an explanatory diagram showing the configuration of the texture generation unit 140.
  • FIG. 9 is an explanatory diagram showing the configuration of the modeling data collection device.
  • FIG. 10 is a process diagram of three-dimensional modeling.
  • FIG. 11 is a flowchart of preprocessing of a virtual space.
  • FIG. 12 is an explanatory diagram showing the significance of adding undulations.
  • FIG. 13 is a flowchart of the automatic modeling process.
  • FIG. 14 is an explanatory diagram showing a method of determining an overlapping state.
  • FIG. 15 is a flowchart of the manual modeling process.
  • FIG. 16 is an explanatory diagram showing a stacking method.
  • FIG. 17 is a flowchart of the texture generation processing.
  • FIG. 18 is an explanatory diagram showing an example of setting point components.
  • FIG. 19 is an explanatory diagram showing an example of setting a line component.
  • FIG. 5 is an explanatory diagram showing a configuration of an electronic map data generation system 100 (hereinafter, may be simply referred to as a system 100) as an embodiment.
  • This system 100 performs three-dimensional modeling of a building and generates three-dimensional electronic map data.
  • the system 100 is configured by constructing the functional blocks shown in the computer as software.
  • the system is configured by a single computer will be described as an example.
  • a configuration in which the host computer and the terminal are connected via a network may be used.
  • each functional block has the following functions.
  • the data input unit 101 inputs data for modeling from outside.
  • the modeling data is a set of data required for 3D modeling, and includes electronic data of the photograph of the building to be modeled, shooting location, and shooting parameters.
  • the shooting parameters are the one that indicates the direction of the camera at the time of shooting, the pitch angle, the roll angle (see FIG. 4), and the focal length that indicates the angle of view (see FIG. 3).
  • These data may be input via a medium such as a magneto-optical disk MO, or may be input via a network or other communication.
  • the preprocessing unit 110 has a function of maintaining a virtual space used in three-dimensional modeling in the system 100. More specifically, it functions to prepare the ground surface before a 3D model is generated.
  • the preprocessing unit 110 refers to the altitude data base 103 and the two-dimensional map database 102 to perform this function.
  • the elevation database 103 is a database that gives the elevation for each point that divides the ground surface into a mesh. In Japan, for example, numerical data of 50 m mesh of the Geographical Survey Institute can be used.
  • the two-dimensional map database 102 is an existing map database on a plane. As a result, the planar shape of each building can be specified.
  • data such as aerial photographs, satellite photographs, and residential maps can be used.
  • the automatic modeling unit 120 has a function of automatically generating a three-dimensional model based on modeling data. Modeling in virtual space is virtual sky It is displayed on the display of the system 100 by the interval display section 104.
  • the principle of automatic modeling is as described in Figs. As will be described later, the automatic modeling unit 120 is provided with a functional block for automatically performing modeling using such a principle.
  • the manual modeling unit 130 has a function of generating a three-dimensional model based on the operation of the operator. In the present embodiment, a building having a complicated shape that cannot be sufficiently modeled automatically is to be modeled.
  • the display of the virtual space to which the operator refers in the manual modeling is provided by the virtual space display unit 104. As will be described later, the manual modeling unit 130 has a function block for supporting manual modeling.
  • the texture generation unit 140 has a function of attaching a texture to a modeled building based on an operation of an operator. In this example, a photograph of a building was cut out and used as a texture. The pasting of the texture is also performed by referring to the display by the virtual space display unit 104.
  • the texture generation section 140 is provided with a functional block for supporting the pasting of the texture, as described later.
  • the additional structure setting unit 150 models additional structures required for the electronic map data in addition to the buildings. Additional structures include, for example, trees, signals, guardrails, and the like. The additional structure is defined using a model registered in the parts database 105.
  • the integration unit 106 has a function of associating the data generated in each of the above-described functional blocks and adjusting the format of the electronic map data. Characters to indicate buildings and place names and various symbols to be displayed on the map are also set.
  • the integration unit 106 outputs the integrated electronic map data to the map database 10. Electronic map data is recorded on DVD-ROM or other recording medium ME You may do it.
  • FIG. 6 is an explanatory diagram showing the configuration of the automatic modeling unit 120.
  • the automatic modeling unit 120 automatically performs three-dimensional modeling of a building based on the principles of FIGS. 1 and 2 using the following functional blocks.
  • the image edge extraction unit 122 extracts the edge of a building to be modeled, that is, a ridge line, from a photograph of the building. Edge extraction can be performed, for example, based on the gradation difference of each side of the building.
  • the basic model selection section 1 2 2 selects a basic model to be used for modeling from the basic model database 1 2 3.
  • the basic model is also illustrated in the figure.
  • the basic models include a model MD1 for a building, a model MD2 for a one-story house, and a model MD3 for a two-story house.
  • the basic model is a model that gives the general shape of a building in this way.
  • the basic models are selected in a certain order until an appropriate result is obtained in the matching process described below.
  • the selection of the basic model may be based on information provided in the two-dimensional map database.
  • the matching unit 124 performs a matching process, that is, a process of changing the height of the basic model so as to match a photograph arranged in the virtual space. Whether it fits is determined by the state of overlap between the image edge and the basic model. If the two do not match even if the height of the basic model is changed, this fact is transmitted to the basic model selection unit 122 and matching is performed for another basic model.
  • a matching process that is, a process of changing the height of the basic model so as to match a photograph arranged in the virtual space. Whether it fits is determined by the state of overlap between the image edge and the basic model. If the two do not match even if the height of the basic model is changed, this fact is transmitted to the basic model selection unit 122 and matching is performed for another basic model.
  • the wire frame generation unit 125 generates a wire frame of the building based on the result of the matching.
  • FIG. 7 is an explanatory diagram showing the configuration of the manual modeling unit 130.
  • Manual modeling The unit 130 generates a three-dimensional model according to the operation of the operator using the functional blocks described below.
  • the start-up shape selection unit 1 32 selects a start-up shape based on an operator's instruction.
  • the starting shape is defined in the starting shape database 133 in advance.
  • the rising shape is also illustrated in the figure.
  • the rising shape means the model shape defined by moving the planar shape in the height direction in the virtual space. For example, a simple vertical raise Rp1, a point raise Rp2, a line raise Rp3, a scaling raise Rp4, a stair raise Rp5, a dome raise Rp6, etc. can be included.
  • the height changing unit 13 1 moves the planar shape in the height direction based on the selected rising shape.
  • the stacking processing unit 134 processes the formed models to perform more complicated modeling.
  • the wire frame generating unit 135 generates a wire frame of the building based on the processing results of the height changing unit 131 and the stacking processing unit 134.
  • FIG. 8 is an explanatory diagram showing the configuration of the texture generation unit 140.
  • the texture generation unit 140 pastes the texture on the modeled building using the function block described below.
  • the repetition structure setting unit 14 1 defines a repetition area where the same texture is repeatedly used for a building and other single areas based on an operation of an operator. In addition, the building's wire frame is divided according to the setting of the repetition area.
  • the texture setting section 144 sets the texture to be pasted on each area. In this embodiment, the texture is set using a part of the photograph.
  • the texture correction section 1 4 3 is a texture Modify the key to fit the model surface. A modification example is shown in the figure. The hatching in the figure indicates the texture cut out from the photograph. Modification methods include modifying the shape of the texture and combining and separating multiple textures. In addition, it may include texture color adjustment.
  • the texture pasting unit 144 pastes a texture set based on the definition of the repeating structure. For the repetition area, the set texture is applied repeatedly, and for the single area, it is applied independently.
  • the texture pasting section 144 stores the result of pasting as a texture data 145 overnight.
  • the texture database 145 is a database that associates a code defining a texture with a code defining a surface to which the texture is to be attached.
  • FIG. 9 is an explanatory diagram showing the configuration of the modeling data collection device.
  • the data collection device for modeling includes a digital still camera (DSC) 20 and a data recording device 27.
  • DSC digital still camera
  • the data recording device 27 for example, a portable computer or the like can be used.
  • the DSC 20 is equipped with a function to acquire shooting parameters in synchronization with the photographing of the building.
  • the GP S25 is attached to the body of the DSC 20.
  • GPS 25 is a device that specifies the position using radio waves from artificial satellites.
  • the latitude, longitude, and altitude information are acquired in synchronization with the shirt 21.
  • the body of the DSC 20 is also provided with an angle sensor 24.
  • the angle sensor 24 synchronizes with the shutter 21 to obtain a single angle, a pitch angle, and a corner angle that specify the direction of the DSC 20 when shooting. These angles are obtained as rotation angles around the global coordinate system, X axis, Y axis, and Z axis shown in the figure. ,
  • the lens 22 of the DSC 20 is provided with a focal length sensor 23 for acquiring the focal length at the time of shooting in synchronization with the shirt 21.
  • the data obtained by each sensor described above is transmitted to the data recording device 27 via the interface 26.
  • this is stored as an imaging night 28.
  • the structure of the photographing database 28 is also illustrated.
  • the code number “ZN 001 00” given to each photo is used as a key, and the latitude “LAT 1”, longitude “L0N1”, focal length “FC 1”, shooting angle “1, 1, ⁇ 1” Are stored.
  • photos taken overnight and other comments may be stored.
  • each sensor is incorporated in the DSC 20
  • each sensor may be provided separately from the DSC 20.
  • a configuration provided separately for example, a configuration in which each sensor is incorporated in a tripod or the like for fixing the DSC 20 can be considered. .
  • Figure 10 is a process diagram of 3D modeling. Here, the processing content when modeling one building is shown. Each process is performed automatically or based on an operation of an operator in the system 100 shown in FIG.
  • the operator inputs modeling data to the system 100 (step S100).
  • the modeling data includes the photographing parameters and photographs shown in FIG.
  • Modeling includes preprocessing of virtual space (Step S200), automatic modeling (Step S300), manual modeling (Step S400), texture generation (Step S500), and additional structure setting (Step S600). Is performed in the following procedure.
  • the system 100 registers the model thus generated in the map data (step S 70 0) completes the 3D modeling.
  • step S 70 0 each process will be described.
  • FIG. 11 is a flowchart of the pre-processing of the virtual space. This processing corresponds to the function of the preprocessing unit 110 (see FIG. 5).
  • the system 100 inputs the two-dimensional shape, position, and elevation data near the building to be modeled (step S). 2 0 1).
  • the aerial photograph may be used, or the record at the shooting site may be used.
  • the two-dimensional map data is used to input the planar shape of the building as a complete closed figure. However, only the part appearing in the photograph may be input.
  • a three-dimensional model of a building can be completed by separately generating a front-side model and a rear-side model and combining them.
  • the position of the building may be specified by an absolute coordinate system such as latitude and longitude, or may be specified by a relative relationship with the shooting position.
  • the elevation data near the building used elevation data from the Geographical Survey Institute, but is not limited to this.
  • the system 100 defines a virtual space as an infinite space (step S202).
  • Well-known technology can be applied to the three-dimensional graphics display of the virtual space.
  • the viewpoint position when displaying 3D graphics can be set arbitrarily, but it is convenient for the subsequent processing to match the viewpoint position with the shooting position.
  • the system 100 arranges the two-dimensional shape of the building based on the data input in step S201 (step S203).
  • the bold frame indicates the two-dimensional shape of the building.
  • the system 100 adds undulations to the infinite plane based on the elevation data (step S204).
  • the pre-processing is completed by adapting the two-dimensional shape of the building on the surface with undulations.
  • FIG. 12 is an explanatory diagram showing the significance of adding undulations. This shows the building and the camera viewed from the side. As shown in the figure, the ground surface has a predetermined altitude near the building and near the photographing position, that is, the ground surface does not match the level surface. It is assumed that the camera DSC at the time of shooting has an elevation of ALTc, and the elevation of the building is ALTb.
  • the modeling method in this embodiment does not specify the height of the building from the ground surface, but determines the position of the top Tb of the building. To identify. This position is relatively determined based on the photographing position of the camera DSC. Therefore, even when the undulation of the ground surface is not considered in the virtual space, the position of the top Tb of the building, that is, the altitude can be accurately set by setting the camera DSC at the altitude ALTc. However, with this setting, the modeling of the building is performed including the gap between the actual ground surface and the level surface (hatched area in the figure). Such a model does not accurately reflect reality because the height of the building itself is different from reality. In the present embodiment, such an adverse effect is avoided by undulating the ground surface in advance and arranging the two-dimensional shape of the building on the surface.
  • the building is modeled after the undulation is given to the ground surface.
  • the hatched portion in the figure is converted from the model in consideration of the altitude. It is also possible to perform a deletion process. Also, the shooting position and If the height difference between the building and the building is relatively small, the process of giving undulations may be omitted.
  • FIG. 13 is a flowchart of the automatic modeling process. This corresponds to the function of the automatic modeling unit 120 (see FIGS. 5 and 6).
  • the system 100 creates a picture of the building in virtual space P I
  • Place C The state of the photo arrangement is also shown in the figure.
  • the origin o is the shooting position set in the virtual space.
  • the shooting parameters determine the angle of view 0 and the shooting direction during shooting.
  • the shooting direction defined on the basis of the angle and pitch angle during shooting is indicated by a dashed line in the figure.
  • the constraint that the photo is perpendicular to the dashed line and that both ends of the photo coincide with the range represented by the angle of view 0 (see El and E2 in the figure) is placed in the virtual space as a constraint. Is done.
  • the photo is also rotated around the dash-dot line based on the corner angle at the time of shooting so that the building is represented in the virtual space without tilt.
  • the system 100 extracts an image edge (step S304).
  • the state of image edge extraction is also shown in the figure. As shown on the left side of the figure, in the photograph of the building, the gradation varies depending on the ray, with the edge part as the boundary for each face. The system 100 extracts the edge of the building based on the part where the gradation difference occurs. Edge extraction is not limited to such processing, and various methods can be applied.
  • the system 100 selects and matches the basic model, that is, judges the overlapping state (step S306).
  • the basic model has the various schematic shapes previously shown in FIG. In the present embodiment, matching is attempted by selecting a basic model, and if an appropriate matching result cannot be obtained, it is determined that the selection of the basic model is inappropriate, and based on a preset order. Next The basic model was re-selected.
  • FIG. 14 is an explanatory diagram showing a method of determining an overlapping state.
  • the matching procedure is shown below the figure.
  • the left side of the figure shows a model in which edges are extracted from the target building.
  • the system 100 changes the height of the basic model to several stages of P a, P 2 '', and judges the state of overlap between the extracted edge and the line segment included in the basic model. I do. For example, for the height P3, the overlapping state of the portion indicated by the arrow in the figure is determined.
  • the determination of the overlapping state can be performed, for example, by the method shown in the upper part of the figure.
  • an area A1 having a constant width is defined around an edge L1 indicated by a solid line.
  • an area A 2 is also defined around the side L 2 on the basic model side with a constant width.
  • the areas A 1 and A 2 have overlapping ranges (hatched portions in the figure).
  • This overlap immunity changes with changes in the height of the base model. For example, when the height of the basic model is increased, the area of the overlapping portion temporarily increases and then decreases as shown from the left side in the figure. The state of such a change is shown by a graph in the center of the figure.
  • the coincidence rate is the area of the overlapping portion with respect to the sum of the regions A 1 and A 2. As shown in the figure, as the height of the basic model is increased, the coincidence rate gradually increases, reaches a local maximum at the height P6, and then decreases.
  • the system 100 determines that the basic model and the edge have matched at the height P6 based on the change in the matching rate. Of course, the vicinity of the height P 6 may be further subdivided to determine the matching.
  • the determination of the overlapping state is not limited to the example described here, and various methods can be applied.
  • the system 100 specifies the height of the foundation model based on the result, and generates a wireframe of the target building (step S308).
  • FIG. 15 is a flowchart of the manual modeling process. This corresponds to the function of the manual modeling unit 130 (FIGS. 5 and 7).
  • the system 100 arranges the photograph in the virtual space (step S402).
  • the process of photo placement is the same as step S302 of the automatic modeling process (Fig. 13). Photos placed in the virtual space are displayed on the display of the system 100.
  • the operator selects and matches the standing shape based on the planar shape and the photograph that have appeared in the virtual space (step S404). For the starting shape, the operator looks at the shape of the building and selects the one that seems appropriate from the examples shown in Fig. 7.
  • the system 100 When the operator indicates the height in the virtual space, the system 100 generates a model having the selected start-up shape and the height according to the instruction, and displays the model in the virtual space.
  • the operator instructs the height of the matching process, that is, the height of the displayed model so that it matches the photograph.
  • Various methods can be used to indicate the height in this process.However, from the viewpoint of ease of operation, for example, a pointing device such as a mouse is operated on the display screen of the virtual space. It is desirable to do.
  • Manual modeling involves modeling complex shapes that cannot be handled by automatic modeling. For buildings with complex shapes, mere matching may not be sufficient for modeling.
  • a stacking process is performed to model a building having such a complicated shape (step S406).
  • the outline of the stacking process is shown in the figure.
  • the stacking process is, for example, a process for modeling a building or the like having a different planar shape between an upper layer portion and a lower layer portion as shown in the figure. In such a building, one model is completed by combining the model of the lower part and the model of the upper part.
  • What is stacking? Means a process of combining a plurality of models.
  • the combination of models is not necessarily limited to the stacking direction, and may be a combination of horizontally adjacent models.
  • FIG. 16 is an explanatory diagram showing a stacking method.
  • An example of a screen displayed on the display DISP of the system 100 is shown.
  • a three-dimensional display VL of the virtual space is displayed on the left, and a planar display VR is displayed on the right. Illustrations of the buildings are omitted.
  • a plan shape OBJin of the upper layer and a plan shape OBJout of the lower layer are given in advance.
  • the model LE1 of the lower layer can be generated as shown on the left.
  • the planar shape ⁇ B J in of the upper layer does not affect the model LE 1 of the lower layer.
  • the planar shape OBJin is only located on the upper surface of the model LE1, and the shape of the model LE1 does not depend on whether or not the planar shape OBJin is set.
  • the operator can generate a model LE 2 of the upper layer by moving the planar shape OB J in of the upper layer in the height direction.
  • the upper model LE2 is formed above the upper model LE1 of the lower model. Modeling a multi-story building can be realized by performing stepwise modeling in this way.
  • the stacking process in the present embodiment is merely an example. For example, a portion where the upper model LE 2 exists is hollowed out to form a lower model LE 1, and the upper model LE 1 is grounded. It is good also as forming above and combining both.
  • the lower model LE2 may be generated in the same shape as in the embodiment, the upper model LE1 may be formed from the ground surface, and the both may be connected by a Boolean operation. In the example of FIG.
  • the case where the planar shapes of the lower layer portion and the upper layer portion are known in advance is illustrated. If the plane shape OBJ in of the upper layer is unknown, the operator may be able to define the plane shape in the three-dimensional display VL or the plane display VR. This definition may be made before modeling the lower layer, or after modeling the lower layer and before modeling the upper layer.
  • the system 100 specifies the height of the base model based on the result, and generates a wire frame of the target building (step S408).
  • FIG. 17 is a flowchart of the texture generation processing. This corresponds to the function of the texture generator 140 (see FIGS. 5 and 8).
  • the operator first sets a repetitive structure (step S502). That is, a repetition area where the same texture can be used repeatedly and another single area are set.
  • An example of setting the repetition structure is also shown in the figure.
  • the hatched portion corresponds to a repeated region. If the structure of each floor, such as a building, is similar, it is possible to set a repeating area in units of each floor. The part other than the repetition area is defined as a single area.
  • the repetition area in this process is defined as a unit using texture, the repetition area does not necessarily have to correspond to the actual structure of the building.
  • the front has a repeating structure with multiple floors, but some buildings have a single side. In such a building, it is possible to set a repetitive area for each floor as a unit for the front and a single area for the side.
  • the operator sets the texture (step S504). Textures are generated based on photos of the building It is. Although the same photograph as that used for the three-dimensional modeling may be used, in this embodiment, a photograph from the front of the building is used in consideration of the burden of adapting the texture to the model. In the texture setting process, the operator cuts out a part of the photograph as a texture, and also modifies the shape and color to match the model surface. This includes joining and separating textures.
  • the system 100 executes the paste processing of the texture according to the command of the operator (step S506).
  • the figure shows how the texture is applied to the repetitive area.
  • the left side is a photograph of the building, and the right side is the generated model.
  • the model can be completed by repeatedly pasting the photos of the top floor on each floor. Trees and other obstacles are often present in front of the building and it is often difficult to obtain the texture of the entire building.
  • the texture of the best photographed part such as the top floor of the building, can be used, and the texture can be applied to the entire building relatively easily. be able to.
  • a texture prepared separately can be pasted as the single texture.
  • the additional structure setting process is a process corresponding to the function of the additional structure setting section 150 (see FIG. 5), and is a process of defining additional structures around the building separately from the modeling of the building itself. is there.
  • a model of an additional structure prepared in advance is arranged by an operator's operation. Additional structures are classified into point parts and line parts according to the method of specifying their layout.
  • FIG. 18 is an explanatory diagram showing an example of setting a point component.
  • Point parts are for installing additional structures A part on which a model can be placed by specifying a single point.
  • Small parts include traffic lights, street lights, telephone poles, post boxes, bus stops, telephone posts, street trees, and road signs.
  • Major point parts include standardized shapes such as high-voltage wire poles, radio towers for mobile phones, gas stations, and chain stores for convenience store towers. These point parts do not necessarily need to be formed by the modeling method shown in the present embodiment, but can be generated by an ordinary three-dimensional modeling method.
  • the figure shows an example of a screen display when a traffic signal is arranged as an example of such a point component.
  • the display DISP has a three-dimensional display VL in the virtual space on the left and a planar display VR on the right.
  • VL three-dimensional display
  • VR planar display
  • the traffic light model A d d 1 is shown on the three-dimensional display V L.
  • the height may be settable in the three-dimensional display VL.
  • FIG. 19 is an explanatory diagram showing an example of setting a line component.
  • a line part is a part on which a model can be placed by specifying the line segment range where the additional structure is to be installed.
  • Such parts include guardrails, walls, fences, various white lines on pedestrian crossing towers, various bridge shapes, and median strips.
  • These models can also be formed using ordinary three-dimensional modeling techniques.
  • unit models for the unit length are registered, and the unit model is used repeatedly according to the specified range.
  • a screen for arranging a guardrail as an example of such line parts A display example is shown.
  • the guardrail model Add2 is shown on the three-dimensional display VL by specifying the range of the line segment, that is, the start point and the end point of the line segment, as indicated by arrows.
  • three-dimensional modeling can be performed without measuring the height of a building. Therefore, it is possible to model a building accurately with relatively little effort.
  • the realism of the model can be further improved by using the texture based on the photograph of the building.
  • these textures can be applied with a relatively light load by using a repeating structure.
  • modeling using a photograph taken on the ground has been exemplified.
  • the photograph is not limited to a photograph taken on the ground as long as the photographing parameters and the photographing position are known.
  • an aerial photograph of a building taken from an oblique direction may be used.
  • the modeling is performed by the steps shown in FIG. 10, but either the automatic modeling or the manual modeling may be omitted.
  • the texture generation processing and the additional structure setting processing are processings performed to improve the reality of the three-dimensional model, and may be omitted according to the use of the model.
  • the present invention is not limited to these embodiments, and it goes without saying that various configurations can be adopted without departing from the gist of the present invention.
  • the above control processing is realized by software, It may be realized by hardware. Industrial applicability
  • the present invention can be applied to a three-dimensional modeling technology for generating three-dimensional electronic data of a building and a field of generating three-dimensional electronic map data using the modeling method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

明細書
3次元電子地図データの生成方法 技術分野
本発明は、 建造物の 3次元電子データを生成する 3次元モデリング技術、 お よび該モデリング方法を用いて 3次元電子地図データを生成する技術に関する
背景技術
近年、 コンピュータで利用可能に電子化された地図データ (以下、 「電子地図 データ」 と呼ぶ) の利用が広まっている。 電子地図データは、 いわゆるパーソ ナルコンピュータでの地図表示、 車載用のナビゲーシヨンシステム、 インタ一 ネットを介した地図提供および印刷物としての地図の版下作成などに利用され る。 また、 ナビゲーションシステムでは、 運転者が進路を直感的に判断するこ とができるよう、 3次元表示が用いられつつある。 建造物などを 3次元表示す ることにより、 現在位置および進路の把握が容易になる利点がある。
3次元表示を行うためには、 建造物の 3次元データが必要となる。 地図の表 示対象となる多数の建造物について 3次元デ一夕、 特に高さに関するデータを 取得することは多大な労力が要求される。 従来、 かかる労力を軽減するための 技術が種々提案されている。 かかる技術として、 例えば、 特許第 3 0 1 5 3 5 3号記載の技術および東京大学生産技術研究所 趙卉菁らによる日本 写真測量学会 写真測量とリモー トセンシング, V o l . 3 6,
N o . 4 , 1 9 9 7 . 「レンジ画像による 3次元都市空間デ 一夕の自動計測方法に関するシミュレーショ ン」 等がある。 前者は 、 建造物について高さの計測点および方向の工夫により、 データ取 得に要する労力の軽減を図る技術である。 後者は、 レーザレンジフ アインダ (距離計測装置) による測距結果と C C D画像とを重ね合 わせて、 3次元デ一夕を取得する方式である。
一方、 3次元デ一夕が取得されていない建造物について 3次元モ デリ ングを実現するために、 現実の高さに関わらず一定の高さを仮 定したり、 建造物の階数から高さを推定したりする方法も採られて いた。 いずれも現実を十分に反映するものではなく、 擬似的な 3次 元モデリ ング方法である。
従来の 3次元モデリング方法では、 現実の状態を十分反映したモデリングを 行うためには、 各建造物について何らかの計測が必要とされていた。 実用的な 3次元電子地図データを生成するためには、 膨大な数の建造物について 3次元 モデリングを行う必要がある。 従って、 従来技術による計測労力の軽減では不 十分であり、 3次元電子地図データを生成するために、 非常に膨大な労力が要 求されることに変わりはなかった。
また、 建造物は、 数年単位で新築、 取り壊しなどの変化が生じる。 従って、 3次元電子地図データの実用性を確保するためには、 こうした建造物の変化に 追随できる期間で 3次元モデリングを行う必要がある。 従来技術は、 3次元モ デリングに長期間を要するため、 かかる期間的な要請も十分に満足することは できなかった。 発明の開示
本発明は、 かかる課題に鑑みてなされたものであり、 軽い労力で、 現実の建 造物の状態を反映した実用的な 3次元モデリングを可能にする技術を提供する ことを目的とする。 また、 この 3次元モデリングを用いることにより、 短期間 に 3次元電子地図データを生成する技術を提供することを目的とする。 上記課題の少なくとも一部を解決するために、 本発明では、 建造物の写真と 平面形状とのマッチングを、 コンピュータ等を用いて仮想的に用意された空間 内で行うことにより、 高さの計測を伴わない 3次元モデリングを実現した。 本 発明における構成を説明する前に、 本発明において 3次元モデリングを実現す る原理について説明する。
図 1は本発明における 3次元モデリングの原理を示す説明図である。 コンビ ユー夕のディスプレイ D I S Pに表示された仮想空間の様子を示している。 こ の仮想空間は、 緯度、 経度、 高さ等の 3次元座標系によって定義されている。 当初の段階では、 ディスプレイ D I S Pには、 仮想空間における地表面 G R D のみが表示される。
こうして用意された仮想空間内に、 3次元モデリングの対象となる建造物 ( 以下、 単に対象物と呼ぶ) の写真 P I C、 および対象物の平面形状 P Vを配置 する。 写真 P I Cは、 撮影時における撮影位置、 カメラの方向、 画角などの情 報に基づいて配置される。 こうして配置された写真 P I Cは、 仮想空間内に対 象物が存在していたとすれば表示されるであろう画像 P Bを表すことになる。 一方、 対象物についての平面形状 P Vは、 既に存在している 2次元的な地図デ 一夕から容易に得ることができる。
次に、 図の下方に示す通り、 平面形状 P Vを高さ方向に平行移動する。 こう して仮想空間内に平面形状 P Vの仮想的な 3次元モデルを生成するのである。 先に示した通り、 写真 P I Cは、 仮想空間内に対象物が存在していたならば得 られる画像 P Bを与えている。 従って、 平面形状 P Vを高さ方向に平行移動す ることによって得られる 3次元モデルが画像 P Bと重ったとき、 その 3次元モ デルは、 現実の対象物の'高さを反映したモデルとなる。 本実施例では、 このよ うに撮影によって得られた景色を再現するよう、 平面形状を高さ方向に移動さ せることによって、 対象物の 3次元モデリングを実現する。 図 1では、 コンピュータの表示画面に基づいて本発明の原理を説明した。 次 に、 撮影時の状態に基づいて本発明の原理を説明する。 図 2は撮影画像と建造 物との関係を示す説明図である。 上方には、 撮影時の平面図 V I、 中央には側 面図 V2、 下方には得られた写真 P I Cの様子を示した。
平面図 VIに示す通り、 この例では、 カメラ D S Cの画角 0の領域内に、 2 つの建造物 BLD a、 BLDbが存在している。 写真 P I Cには、 両建造物は ほぼ同等の高さで写っているが、 各建造物の高さは、 側面図 V 2に示す通り、 Ha, Hbで異なっている。 側面図 V2内の写真 P I Cに、 建造物が写ってい る範囲を太線で示した。 太線の頂部は、 当然ながら、 カメラ DS Cと建造物の 頂部を結ぶ線上に存在する。
本発明は、 仮想空間内で、 図 2に示した位置関係を再現することによって 3 次元モデリングを行うものである。 仮想空間内でモデリングを開始した当初は 、 建造物 BLD a, BLD bの高さは未知である。 しかし、 カメラ DSCおよ び写真 P I Cを撮影時と同じ位置関係で配置すれば、 P I Cに表示された建造 物 (図中の太線) の延長中に建造物 BLD a, B L D bの頂部が存在するはず である。 仮想空間内で平面形状を高さ方向に平行移動して得られるモデルの頂 部を写真の頂部と重ねることにより、 仮想空間内で図 2に示した位置関係を再 現することができる。 従って、 建造物 BLD a、 BLD bの現実の高さを測定 しなくとも、 仮想空間内でそれぞれの高さを特定することが可能となる。
以上で本発明における 3次元モデリングの原理を示した。 ここでは、 原理の 理解を容易にするために、 図 1および図 2に示した具体例に基づき説明したが 、 本発明は、 これらの内容に限定されるものではない。 以下では、 かかる原理 に基づいて構成される本発明の概念について説明する。
本発明の 3次元モデリング方法は、 次に示すステップから構成される。 本発 明におけるステップ (a) では、 電子データで表された建造物の写真を入力す る。 写真の入力は、 例えば、 ディジタルスチルカメラによって得られる電子デ 一夕を入力するものとしてもよいし、 銀鉛写真をスキャナ等によって電子化し て入力するものとしてもよい。 この写真は、 必ずしも建造物の全体が写ってい る必要はなく、 少なくともその頂部が含まれていればよい。
ステップ (b ) として、 写真の撮影位置と建造物との相対的な位置関係と、 撮影位置から建造物を望む現実の風景と写真とを適合させるために必要となる 撮影パラメータとを入力する。 相対的な位置関係および撮影パラメータは、 仮 想空間内に撮影時の状態を再現するためのデータとして利用される。 このため には、 撮影位置が緯度、 経度等の絶対的な座標で定義されている必要はなく、 建造物との相対的な関係で定義されていれば足りる。 もちろん、 撮影位置、 建 造物のそれぞれについて緯度、 経度等の絶対的な座標を用いるものとしてもよ い。
撮影パラメータは、 撮影時にカメラが向いていた方向、 およびカメラの画角 を特定可能な種々のパラメ一夕を用いることができる。 図 3はカメラの画角に ついて示す説明図である。 レンズ Lと撮像部 C C Dとの距離が焦点距離 f であ る。 この焦点距離によって、 画角、 即ち撮像部 C C Dに撮影可能な範囲 O B J の幅が決定される。 従って、 画角を特定可能なパラメータとしては、 図中の画 角 0、 焦点距離 f などを用いることができる。
図 4はカメラの撮影方向について示す説明図である。 図中の X, Υ , Z軸は 、 仮想空間における軸に対応している。 微視的に見れば、 緯線、 経線は直交座 標とみなすことができるから、 X軸、 Y軸を緯線、 経線に対応づけるものとし てもよい。 仮想空間における 3軸が定義されると、 その中でカメラの撮影方向 は、 ョ一角 α、 ピッチ角 j3、 ロール角ァによって特定することができる。 従つ て、 これらの角度は、 撮影方向を特定するためのパラメ一夕として用いること ができる。 撮影方向は、 この他、 種々のパラメ一夕によって特定可能であるが 、 図 4に示した 3組の角度を用いるものとすれば、 撮影時のパラメ一夕値取得 も比較的容易であるという利点がある。
こうして撮影パラメ一夕が入力されると、 ステップ (c ) として、 3次元電 子デ一夕を生成する仮想空間内で、 建造物の平面形状と撮影位置とを相対的な 位置関係に基づいて定義するとともに、 撮影パラメ一夕によって規定される位 置に写真を配置する。 建造物の平面形状は、 図 1および図 2の例のように必ず しも閉図形として完全に特定されている必要はない。 写真に写っている面に対 応する部分の平面形状が特定されていればよい。 従って、 この平面形状は、 線 分または折れ線であっても構わない。
ステップ (d ) として、 平面形状を、 写真と一致するまで高さ方向に写像す ることにより、 建造物の高さ方向の形状を特定する。 この写像は、 オペレータ の操作により行うものとしてもよいし、 自動的に行うものとしてもよい。
本発明の 3次元モデリング方法によれば、 各建造物の高さを測定することな く、 効率的に、 3次元モデリングを行うことができる。 しかも、 単に建造物の 階数等から高さを推定する等の擬似的な方法よりも遙かに高い精度で 3次元モ デリングを実現することができる。
本発明の 3次元モデリング方法によれば、 一枚の写真に複数の建造物が含ま れている場合には、 この一枚の写真に基づき、 複数の建造物について同時に 3 次元モデリングを実現することができる利点もある。 撮影は、 必ずしも地上で 行われる必要はないから、 航空写真を用いることにより、 広範囲での 3次元モ デリングを比較的容易に実現することができる。
先に説明した通り、 本発明の 3次元モデリング方法において用いられる平面 形状は、 必ずしも完全に特定されている必要はないが、 建物を含む 2次元平面 地図によって特定されることが好ましい。 精度の高い平面形状を用いることに より、 精度の高い 3次元モデリングを実現することができる。 本発明の 3次元モデリング方法においては、 ステップ (c ) において、 平面 形状とともに、 建造物の概略形状を表す基礎的な 3次元モデルを定義するステ ップを含むことが望ましい。 建造物は、 ビルのように単純な形状ばかりではな く、 一般家屋など比較的複雑な形状をしたものも存在する。 基礎的な 3次元モ デルは、 このように建造物をビル、 一般家屋など形状に基づいて分類し、 それ ぞれの概略形状を定義するモデルである。 平面形状を定義する際に、 このモデ ルを用いることにより、 高さ方向も含めた概略形状を定義しておくことにより 、 3次元モデリングをより精度良く、 軽い労力で行うことが可能となる。
本発明のステップ (d ) は、 オペレータが行うものとしてもよいが、 コンビ ユータ等によって自動的に行うものとしてもよい。 後者の場合には、 写真の解 析により建造物の稜線を特定するステップ、 写像の過程で平面形状の辺と稜線 との重なり状態を定量的に解析するステップ、 重なり状態が極大となる写像に より高さを特定するステップとを備えることにより実現される。 極大とは、 必 ずしも最大である必要はないことを意味している。 かかる自動解析では、 種々 のノイズの影響によって重なり状態が激しく変動するのが通常であるから、 重 なり状態の判定では、 こうしたノイズをフィルタリング等して、 実質的に極大 値となる写像を特定すればよい。
本発明の 3次元モデリング方法においては、 建造物近傍の地表の高低を反映 させることが望ましい。 この反映は、 建造物近傍の地表の高低を表す高低デ一 夕の入力、 建造物近傍の地表面への高低データの反映、 高低データを考慮した 形状特定によって行われる。 高低デ一夕の考慮としては、 例えば、 高低デ一夕 が反映された地表よりも上部で建造物の高さ方向の形状特定を行う方法が考え られる。 こうすることにより、 建造物の高さをより精度良く特定することが可 能となる。
本発明の 3次元モデリング方法においては、 更に、 ステップ (e ) として、 高さ方向の形状が特定された建造物のモデルの表面に、 写真の少なくとも一部 を、 テクスチャとして貼り付けるものとしてもよい。 テクスチャとして貼り付 ける写真は、 高さを特定する写真と別に用意するものとしてもよい。 いずれに しても、 写真を表面にはりつけることにより、 比較的容易にモデルの現実味を 向上することができる。
このように写真をテクスチャとして用いる場合、 比較的類似の単位構造が繰 り返し現れる繰り返し領域とそうでない単独領域とを分けて取り扱うことが望 ましい。 例えば、 ステップ (e ) において、 繰り返し領域と単独領域とを定義 し、 繰り返し領域には、 写真で現実の構造が取得されているか否かに関わらず 単位構造のテクスチャを繰り返し貼り付けるものとしてもよい。 こうすれば、 繰り返し領域のテクスチャ貼り付けが容易になる。 また、 テクスチャの実用性 を向上することもできる。 例えば、 現実には、 建造物の前面に木その他の障害 物が存在して、 建造物の表面自体の写真を撮影できない場合が頻繁に生じる。 上述の通り、 テクスチャを繰り返し利用するものとすれば、 繰り返し領域のい ずれかの部分で得られた写真を繰り返し領域全体に適用することができ、 障害 物の影響を比較的容易に回避することができる。
本発明は、 建造物単体の 3次元モデリング方法として構成することもできる が、 建造物のモデリングを含む 3次元電子地図データを生成する 3次元電子地 図データの生成方法として構成してもよい。
また、 本発明は、 建造物の 3次元電子データの生成を支援する 3次元モデリ ング支援装置として構成してもよい。 一例としての本発明の 3次元モデリング 支援装置は、 画像データ入力部、 撮影情報入力部、 仮想空間表示部、 投影部、 モデル表示部を備えるものとすることができる。 画像データ入力部、 撮影情報 入力部は、 それぞれ写真および平面形状、 撮影パラメータの入力を行う。 仮想 空間表示部は、 3次元電子データを生成する仮想空間内で、 撮影位置から建造 物を望む方向の画像表示等を行う。 投影部は、 仮想空間内で撮影パラメータに 基づいて写真を投影する。 モデル表示部は、 平面形状を高さ方向に写像するこ とにより定義される建造物の形状を表示する。 かかる構成を有する 3次元モデ リング支援装置を使用することにより、 本発明におけるモデリングを効率的に 行うことができる。
このように支援装置として構成する他、 本発明は、 自動で建造物の 3次元電 子データを生成する 3次元モデリング装置として構成することもできる。 かか る場合には、 例えば、 支援装置で説明した画像データ入力部、 撮影情報入力部 の他、 モデリング部を備えるものとすればよい。 モデリング部は、 仮想空間内 で、 平面形状と撮影位置の定義、 写真の配置、 写真と一致するまで平面形状を 高さ方向に写像することによる建造物の高さ方向の形状特定を行う。
本発明は、 また、 建造物の 3次元電子データを生成するために使用されるデ 一夕を収集するデ一夕収集装置として構成することもできる。 データ収集装置 は、 撮像部、 撮影パラメ一夕取得部、 データ格納部とを備えるものとすること ができる。 撮像部は、 建造物の写真を電子デ一夕として取得する。 撮影パラメ 一夕取得部は、 写真の撮影位置から建造物を望む現実の風景と写真とを適合さ せるために必要となる撮影パラメ一夕を取得する。 データ格納部は、 電子デ一 夕および撮影パラメ一夕を、 撮影位置に関するデータと関連づけて格納する。 かかるデ一夕収集装置を用いれば、 本発明に必要な情報を一元的に収集するこ とができる。
データ収集装置は、 カメラを固定する三脚等の形式で構成することもできる が、 少なくとも一部をディジタルカメラに内蔵することが望ましい。 特に、 撮 影パラメータ取得部をカメラに内蔵し、 撮影時の該カメラの姿勢および焦点距 離を取得するものとすることが望ましい。
本発明は、 上述した 3次元モデリング方法、 3次元電子地図データの生成方 法、 3次元モデリング支援装置、 3次元モデリング装置をコンピュータによつ て実現するためのコンピュータプログラムとして構成してもよい。 また、 これ らのプログラムを記録した記録媒体として構成してもよい。 なお、 記録媒体と しては、フレキシブルディスクゃ C D— R O M、光磁気ディスク、 I C力一ド、 R O Mカートリッジ、 パンチカード、 バーコ一ドなどの符号が印刷された印刷 物、 コンピュータの内部記憶装置 (R AMや R O Mなどのメモリ) および外部 記憶装置等の、 コンピュータが読取り可能な種々の媒体を利用できる。 図面の簡単な説明
図 1は、 本発明における 3次元モデリングの原理を示す説明図である。 図 2は、 撮影画像と建造物との関係を示す説明図である。
図 3は、 カメラの画角について示す説明図である。
図 4は、 カメラの撮影方向について示す説明図である。
図 5は、 実施例としての電子地図データ生成システム 1 0 0の構成を示す説 明図である。
図 6は、 自動モデリング部 1 2 0の構成を示す説明図である。
図 7は、 手動モデリング部 1 3 0の構成を示す説明図である。
図 8は、 テクスチャ生成部 1 4 0の構成を示す説明図である。
図 9は、 モデリング用データ収集装置の構成を示す説明図である。
図 1 0は、 3次元モデリングの工程図である。
図 1 1は、 仮想空間の前処理のフローチャートである。
図 1 2は、 起伏付加の意義を示す説明図である。
図 1 3は、 自動モデリング処理のフローチャートである。
図 1 4は、 重なり状態の判定方法を示す説明図である。
図 1 5は、 手動モデリング処理のフローチャートである。 ' 図 16は、 積み重ね処理の方法を示す説明図である。
図 17は、 テクスチャ生成処理のフローチャートである。
図 1 8は、 点部品設定例を示す説明図である。
図 1 9は、 線部品設定例を示す説明図である。 発明を実施するための最良の形態
本発明の実施の形態について、 以下の項目に分けて説明する。
A. 地図データ生成装置の構成:
A1. 自動モデリング部の構成
A2. 手動モデリング部の構成
A3. テクスチャ生成部の構成
B. モデリング用データ収集装置:
C. モデリング:
C 1. 前処理:
C 2. 自動モデリング処理:
C 3. 手動モデリング処理:
C 4. テクスチャ生成処理:
C 5. 付加構造物設定処理:
A. 地図データ生成装置の構成:
図 5は実施例としての電子地図データ生成システム 1 00 (以下、 単にシス テム 1 00と称することもある) の構成を示す説明図である。 このシステム 1 00は、 建造物の 3次元モデリングを行い、 3次元の電子地図データを生成す る。 本実施例では、 図示する機能ブロックを、 コンピュータ内にソフトウェア 的に構築することにより、 システム 100を構成した。 以下の例では、 単独の コンピュータによつてシステムが構成されている場合を例にとつて説明するが 、 ホストコンピュ一夕と端末とをネットワークで接続した構成を用いてもよい システム 1 0 0において、 各機能ブロックは、 次の機能を奏する。 デ一夕入 力部 1 0 1は、 外部からモデリング用デ一夕を入力する。 モデリング用データ は、 3次元のモデリングに必要となるデ一夕であり、 モデリング対象となる建 造物の写真の電子データ、 撮影位置および撮影パラメータが含まれる。 撮影パ ラメ一夕とは、 本実施例では、 撮影時のカメラの方向を表すョ一角、 ピッチ角 、 ロール角 (図 4参照)、 および画角を表す焦点距離 (図 3参照) を用いるもの とした。 これらのデータは、 光磁気ディスク M Oなどの媒体を通じて入力する ものとしてもよいし、 ネットワークその他の通信を介して入力するものとして もよい。
入力されたモデリング用デ一夕に基づいて、 以下に示す各機能プロックが 3 次元モデリングを実行する。 前処理部 1 1 0は、 3次元モデリングで用いられ る仮想空間をシステム 1 0 0内に整備する機能を奏する。 より具体的には、 3 次元モデルが生成される前の地表面を整備する機能を奏する。 前処理部 1 1 0 は、 この機能を果たすため、 標高デ一夕ベース 1 0 3および 2次元地図データ ベース 1 0 2を参照する。 標高データベース 1 0 3は、 地表面をメッシュ状に 区切った各点についての標高を与えるデータベースである。 日本国内であれば 、 例えば、 国土地理院の 5 0 mメッシュ数値データを用いることができる。 2 次元地図データべ一ス 1 0 2は、 平面での既存の地図データベースである。 こ れにより、 各建造物の平面形状を特定することができる。 2次元地図データべ —ス 1 0 2としては、 例えば、 航空写真、 衛星写真、 住宅地図などのデータを 用いることができる。
自動モデリング部 1 2 0は、 モデリング用データに基づいて、 3次元モデル を自動的に生成する機能を奏する。 仮想空間でのモデリングの様子は、 仮想空 間表示部 1 0 4によって、 システム 1 0 0のディスプレイ上に表示される。 自 動モデリングの原理は、 図 1および図 2で説明した通りである。 自動モデリン グ部 1 2 0には、 後述する通り、 かかる原理を用いて自動的にモデリングを行 うための機能ブロックが用意されている。
手動モデリング部 1 3 0は、 オペレータの操作に基づいて 3次元モデルを生 成する機能を奏する。 本実施例では、 自動的にモデリングを十分に行うことが できない複雑な形状の建造物などがモデリングの対象となる。 オペレータが手 動モデリングにおいて参照すべき仮想空間の表示は、 仮想空間表示部 1 0 4に よって提供される。 手動モデリング部 1 3 0には、 後述する通り、 手動でのモ デリングを支援するための機能ブロックが用意されている。
テクスチャ生成部 1 4 0は、 モデリングされた建造物に、 オペレータの操作 に基づいて、 テクスチャを貼り付ける機能を奏する。 本実施例では、 建造物の 写真を切り出してテクスチャとした。 テクスチャの貼り付けも、 仮想空間表示 部 1 0 4による表示を参照して行われる。 テクスチャ生成部 1 4 0には、 後述 する通り、 テクスチャの貼り付けを支援するための機能ブロックが用意されて いる。
付加構造物設定部 1 5 0は、 建造物以外に電子地図データに必要となる付加 構造物のモデリングを行う。 付加構造物には、 例えば、 樹木、 信号、 ガードレ ールなどが含まれる。 付加構造物は、 部品データベース 1 0 5に登録されてい るモデルを用いて定義される。
統合部 1 0 6は、 上述した各機能ブロックで生成されたデータを関連づけ、 電子地図データのフォーマツトに整える機能を奏する。 建造物や地名を示すた めの文字の設定、 地図上に表示すべき種々の記号の設定なども併せて行う。 統 合部 1 0 6は、 こうして統合された電子地図データを、 地図データべ一ス 1 0 に出力する。 電子地図データは、 D V D— R O Mその他の記録媒体 M Eに記録 するものとしてもよい。
A 1 . 自動モデリング部の構成:
図 6は自動モデリング部 1 2 0の構成を示す説明図である。 自動モデリング 部 1 2 0は、 先に説明した通り、 図 1および図 2の原理に基づき、 以下に示す 機能ブロックを利用して、 建造物の 3次元モデリングを自動的に実行する。 画像エッジ抽出部 1 2 1は、 建造物の写真から、 モデリング対象となる建造 物のエッジ、 即ち稜線を抽出する。 エッジの抽出は、 例えば、 建造物の各面の 階調差に基づいて行うことができる。
基礎モデル選択部 1 2 2は、 モデリングに使用する基礎モデルを基礎モデル データベース 1 2 3から選択する。 図中に基礎モデルを併せて例示した。 基礎 モデルには、 ビルのモデル M D 1、 平屋家屋のモデル M D 2、 2階建て家屋の モデル M D 3などが含まれる。 基礎モデルとは、 このように建造物の概略形状 を与えるモデルである。 本実施例では、 次に説明するマッチング処理で適切な 結果が得られるまで、 一定の順序で基礎モデルを選択するものとした。 基礎モ デルの選択は、 2次元地図データベースで与えられる情報等に基づいて行うも のとしてもよい。
マッチング部 1 2 4は、 マッチング処理、 即ち仮想空間に配置された写真に 適合するよう基礎モデルの高さを変更する処理を行う。 適合したか否かは、 画 像エッジと基礎モデルとの重なり状態によって判断される。 基礎モデルの高さ を変更しても、 両者が適合しない場合には、 基礎モデル選択部 1 2 2にその旨 を伝達し、 別の基礎モデルについてマッチングを行う。
ワイヤフレーム生成部 1 2 5はマッチングの結果に基づいて、 建造物のワイ ャフレームを生成する。
A 2 . 手動モデリング部の構成:
図 7は手動モデリング部 1 3 0の構成を示す説明図である。 手動モデリング 部 1 3 0は、 以下に示す機能ブロックを用いて、 オペレータの操作に応じた 3 次元モデルの生成を行う。
立ち上げ形状選択部 1 3 2は、 オペレータの指示に基づいて立ち上げ形状を 選択する。 立ち上げ形状は、 予め立ち上げ形状データベース 1 3 3に定義され ている。 図中に立ち上げ形状を併せて例示した。 立ち上げ形状とは、 仮想空間 内で平面形状を高さ方向に移動させることにより定義されるモデル形状を意味 する。 例えば、 単純垂直上げ R p l、 点集約上げ R p 2、 線集約上げ R p 3、 拡大縮小上げ R p 4、 階段上げ R p 5、 ドーム上げ R p 6などを含めることが できる。 このように種々の立ち上げ形状を定義することにより、 様々な建造物 の形状に対応することが可能となる。
高さ変更部 1 3 1は、 選択された立ち上げ形状に基づいて平面形状の高さ方 向への移動を行う。 積み重ね処理部 1 3 4は、 より複雑なモデリングを行うた め、 形成されたモデル同士の重ね合わせ等を処理する。 ワイヤフレーム生成部 1 3 5は、 高さ変更部 1 3 1、 積み重ね処理部 1 3 4による処理結果に基づい て、 建造物のワイヤフレームを生成する。
A 3 . テクスチャ生成部の構成:
図 8はテクスチャ生成部 1 4 0の構成を示す説明図である。 テクスチャ生成 部 1 4 0は、 以下に示す機能プロックを用いて、 モデリングされた建造物への テクスチャの貼り付けを行う。
繰り返し構造設定部 1 4 1は、 オペレータの操作に基づいて、 建造物につい て同じテクスチャを繰り返し使用する繰り返し領域と、 その他の単独領域とを 定義する。 また、 建造物のワイヤフレームを、 この繰り返し領域の設定に合わ せて分断する。 テクスチャ設定部 1 4 2は、 各領域に貼り付けられるテクスチ ャを設定する。 本実施例では、 写真の一部を利用してテクスチャを設定するも のとした。 テクスチャ修正部 1 4 3は、 写真から切り取って得られたテクスチ ャを、 モデルの表面に適合するよう修正する。 図中に修正例を示した。 図中の ハッチングが写真から切り取られたテクスチャを示している。 修正方法には、 テクスチャの形状修正、 複数のテクスチャの結合 ·分離などが含まれる。 その 他、 テクスチャの色調整などを含めるものとしてもよい。
テクスチャ貼り付け部 144は、 繰り返し構造の定義に基づいて設定された テクスチャの貼り付けを行う。 繰り返し領域については、 設定されたテクスチ ャを繰り返し適用し、 単独領域には単独で適用するのである。 テクスチャ貼り 付け部 144は、 貼り付けの結果を、 テクスチャデ一夕べ一ス 145として格 納する。 テクスチャデータベース 145は、 テクスチャを定義するコ一ドと、 そのテクスチャを貼り付ける面を定義するコードとを対応づけるデータべ一ス である。
B. モデリング用データ収集装置:
図 9はモデリング用データ収集装置の構成を示す説明図である。 モデリング 用データ収集装置は、 ディジタルスチルカメラ (DS C) 20とデータ記録装 置 27とから構成される。 データ記録装置 27としては、 例えば、 携帯型のコ ンピュータ等を利用することができる。
D S C 20は、 建造物の写真撮影に同期して、 撮影パラメ一夕を取得する機 能が備えられている。 DS C 20の本体には、 GP S 25が取り付けられてい る。 GP S 25は周知の通り、 人工衛星からの電波を利用して位置を特定する 装置である。 本実施例では、 シャツ夕一 21と同期して、 緯度、 経度、 高度の 情報を取得するものとした。
D S C 20の本体には、 併せて角度センサ 24が設けられている。 角度セン サ 24は、 シャッター 21と同期して、 DS C 20の撮影時の方向を特定する ョ一角、 ピッチ角、 口一ル角を取得する。 これらの角度は、 図中に示したグロ 一バルな座標系、 X軸、 Y軸、 Z軸周りの回転角度として得られる。 ,
17
DSC 20のレンズ 22には、 シャツ夕一 2 1と同期して、 撮影時の焦点距 離を取得する焦点距離センサ 23が設けられている。
上述した各センサで得られたデータは、 ィン夕フェース 26を介してデータ 記録装置 27に送信される。 デ一夕記録装置 27では、 これを撮影デ一夕べ一 ス 28として保管する。 図中に撮影データベース 28の構造を併せて例示した 。 図中の例では、 写真ごとに与えられるコード番号 「ZN 001 00」 をキー にして、 緯度 「LAT 1」、 経度 「L0N1」、 焦点距離 「FC 1」、 撮影角度 「 1, 1 , ァ 1」 の各値が格納される。 これと併せて撮影された写真デ一夕 、 その他のコメント等を格納するものとしてもよい。
本実施例では、 各センサを D S C 20に内蔵する場合を例示したが、 DS C 20と別体として各センサを備えるものとしてもよい。 別体として備える構成 としては、 例えば、 D S C 20を固定する三脚等に各センサを組み込んだ構成 が考えられる。 .
C. 3次元モデリング:
図 10は 3次元モデリングの工程図である。 ここでは、 一つの建造物につい てのモデリングを行う場合の処理内容を示した。 各処理は、 図 5に示したシス テム 100において、 自動またはオペレータの操作に基づいて行われる。
3次元モデリングでは、 まず、 オペレータは、 システム 1 00にモデリング 用デ一夕の入力を行う (ステップ S 100)。 モデリング用デ一夕は、 図 9に示 した撮影パラメ一タおよび写真を含む。
次に、 オペレータは、 このデータに基づいて建造物のモデリングを行う。 モ デリングは、 仮想空間の前処理 (ステップ S 200)、 自動モデリング (ステツ プ S 300)、 手動モデリング (ステップ S 400)、 テクスチャ生成 (ステツ プ S 500)、 付加構造物設定 (ステップ S 600 ) の手順で行われる。 システ 厶 100が、 こうして生成されたモデルを地図データに登録 (ステップ S 70 0 ) することで、 3次元モデリングが完了する。 以下、 各処理について説明す る。
C 1 . 前処理:
図 1 1は仮想空間の前処理のフローチャートである。 この処理は、 前処理部 1 1 0 (図 5参照) の機能に相当する。 オペレータのコマンド入力によってこ の処理が開始されると、 システム 1 0 0は、 モデリングの対象となっている建 造物の 2次元形状、 位置、 および建造物近傍の標高データを入力する (ステツ プ S 2 0 1 )。 建造物の 2次元形状、 位置は、 2次元の地図データを用いるもの としたが、 航空写真を用いるものとしてもよいし、 撮影現場での記録等を用い るものとしてもよい。 本実施例では、 2次元の地図データによって完全な閉図 形として建造物の平面形状を入力するものとしたが、 写真に現れている部分の みを入力するものとしてもよい。 例えば、 写真に背面が写っていない場合には 、 これらの部分を省略して折れ線状に平面形状を入力するものとしてもよい。 かかる場合でも、 正面側のモデルと背面側のモデルとを個別に生成し、 両者を 結合させることで、 建造物の 3次元モデルを完成することができる。 建造物の 位置は、 緯度、 経度などの絶対的な座標系で特定するものとしてもよいし、 撮 影位置との相対的な関係で特定してもよい。 建造物近傍の標高データは、 本実 施例では、 国土地理院による標高データを用いるものとしたが、 これに限られ ない。
次に、 システム 1 0 0は、 無限空間としての仮想空間を定義する (ステップ S 2 0 2 )。 併せて、 図示する通り、 所定の視点からこの無限空間を見た場合の 表示を行うことが望ましい。 仮想空間の 3次元グラフィックス表示には、 周知 の技術を適用可能である。 3次元グラフィックス表示を行う際の視点位置は任 意に設定可能であるが、 撮影位置と一致させておくことが事後の処理上、 好都 合である。 こうして無限空間が設定されると、 システム 1 0 0は、 ステップ S 2 0 1で 入力したデータに基づいて、 建造物の 2次元形状を配置する (ステップ S 2 0 3 )。 図中において、 太線の枠が建造物の 2次元形状を示している。
最後に、 標高データに基づいてシステム 1 0 0は、 無限平面に起伏を付加す る (ステップ S 2 0 4 )。 また、 併せて建造物の 2次元形状を起伏が付加された 地表上に適合させることにより、 前処理が完了する。
図 1 2は起伏付加の意義を示す説明図である。 建造物およびカメラを側面か ら見た状態を示している。 図示する通り、 地表面は、 建造物の近傍および撮影 位置の近傍で所定の標高を有している、 つまり、 地表面は水準面と不一致であ る。 撮影時のカメラ D S Cの標高は、 A L T c、 建造物の標高は A L T bであ るものとする。
先に図 1および図 2において示した原理から明らかな通り、 本実施例におけ るモデリング方法は、 建造物の地表からの高さを特定するものではなく、 建造 物の頂部 T bの位置を特定するものである。 この位置は、 カメラ D S Cの撮影 位置に基づいて相対的に決定される。 従って、 仮想空間内で地表面の起伏を考 慮しない場合でも、 カメラ D S Cを標高 A L T cに設定することにより、 建造 物の頂部 T bの位置、 即ち標高を精度良く設定することができる。 しかしなが ら、 このように設定した場合、 現実の地表面と水準面との間 (図中のハツチン グの領域) も含めて建造物のモデリングが行われることになる。 かかるモデル は、 建造物自体の高さが現実と異なるため、 現実を精度良く反映しているとは 言えない。 本実施例では、 予め地表面に起伏を付すとともに、 その表面に建造 物の 2次元形状を配置することにより、 かかる弊害を回避している。
本実施例では、 地表面に起伏を与えた後、 建造物のモデリングを行っている が、 逆に、 建造物のモデリングを行った後、 標高を考慮して図中のハッチング の部分をモデルから削除する処理を行うものとしてもよい。 また、 撮影位置と 建造物との標高差が比較的小さい場合には、 起伏を与える処理を省略してもよ い。
C 2 . 自動モデリング処理:
図 1 3は自動モデリング処理のフローチャートである。 これは、 自動モデリ ング部 1 2 0 (図 5および図 6参照) の機能に相当する。
自動モデリング処理では、 システム 1 0 0は仮想空間内に建造物の写真 P I
Cを配置する。 図中に写真配置の様子を併せて示した。 原点 oは、 仮想空間内 に設置された撮影位置である。 撮影パラメータによって、 写真撮影時の画角 0 および撮影方向が決定される。 撮影時のョ一角、 ピッチ角に基づいて定義され る撮影方向を図中に一点鎖線で示した。 写真は、 この一点鎖線に垂直であるこ と、 写真の両端が画角 0で表される範囲に一致すること (図中の E l, E 2参 照) を、 拘束条件として仮想空間内に配置される。 写真は、 また、 建造物が仮 想空間内で傾きなく表されるように、 撮影時の口一ル角に基づいて一点鎖線周 りに回転させられる。
こうして写真の配置が完了すると、 システム 1 0 0は、 画像エッジの抽出を 行う (ステップ S 3 0 4 )。 図中に画像エッジ抽出の様子を併せて示した。 図中 の左側に示すように、 建造物の写真は、 光線に応じて、 面ごとにエッジ部分を 境界にして階調が異なる。 システム 1 0 0は、 この階調差が生じる部分に基づ き、 建造物のエッジを抽出する。 エッジの抽出は、 かかる処理に限らず、 種々 の方法を適用可能である。
エッジの抽出が完了すると、 システム 1 0 0は、 基礎モデルの選択およびマ ツチング、 即ち重なり状態の判定を行う (ステップ S 3 0 6 )。 基礎モデルは、 先に図 6に示した種々の概略形状である。 本実施例では、 基礎モデルを選択し てマッチングを試行し、 適正なマッチング結果が得られない場合には、 基礎モ デルの選択が不適切であつたと判断して、 予め設定された順序に基づいて次の 基礎モデルを再選択するものとした。
図 1 4は重なり状態の判定方法を示す説明図である。 図の下方に、 マツチン グの手順を示した。 図の左側には、 対象となる建造物からエッジを抽出したモ デルを示した。 システム 1 0 0は、 右に示す通り、 基礎モデルの高さを P a , P 2 · · 'の数段階に変化させ、 抽出されたエッジと基礎モデルに含まれる線 分との重なり状態を判断する。 例えば、 高さ P 3については、 図中の矢印に示 す部分の重なり状態が判定される。
重なり状態の判定は、 例えば、 図の上方に示す方法で行うことができる。 ま ず、 実線で示すエッジ L 1の周囲に、 一定幅で領域 A 1を定義する。 同じく、 破線で示す通り、 基礎モデル側の辺 L 2の周囲にも一定幅で領域 A 2を定義す る。 エッジ L 1と辺 L 2との位置関係に応じて、 領域 A l , A 2には一致範囲 の重なり (図中のハッチング部分) が生じる。 この重なりの免責は、 基礎モデ ルの高さの変更に伴って変更する。 例えば、 基礎モデルの高さを高くしていく と、 図中に左側から示すように重なり部分の面積は、 一旦拡大し、 その後、 減 少する。 かかる変化の様子を図の中央にグラフで示した。 一致率とは、 領域 A 1 , A 2の和に対する重なり部分の面積である。 図示する通り、 基礎モデルの 高さを高くしていくと、 一致率が徐々に増大し、 高さ P 6で極大値となり、 そ の後、 減少していく。 システム 1 0 0は、 このように一致率の変化に基づき、 高さ P 6において基礎モデルとエッジとがマッチングしたものと判定する。 も ちろん、 高さ P 6近傍を更に細分化して、 マッチングの判断を行うものとして もよい。 重なり状態の判定は、 ここでの例示に限らず、 種々の方法を適用可能 である。
こうしてマッチングが完了すると、 システム 1 0 0は、 その結果に基づいて 基礎モデルの高さを特定し、 対象となる建造物のワイヤフレームを生成する ( ステップ S 3 0 8 ) . C 3 . 手動モデリング処理:
図 1 5は手動モデリング処理のフローチャートである。 これは、 手動モデリ ング部 1 3 0 (図 5および図 7 ) の機能に相当する。
ォペレ一夕のコマンド入力により処理が開始されると、 システム 1 0 0は、 仮想空間内で写真の配置を行う (ステップ S 4 0 2 )。 写真配置の処理は、 自動 モデリング処理 (図 1 3 ) のステップ S 3 0 2と同じである。 仮想空間内で配 置された写真は、 システム 1 0 0のディスプレイに表示される。
オペレータは、 仮想空間内に現れた平面形状および写真に基づいて、 立ち上 げ形状の選択およびマッチングを行う (ステップ S 4 0 4 )。 立ち上げ形状は、 オペレータが建造物の形状を見て、 図 7に例示した中から、 適切と思われるも のを選択する。 オペレータが、 饭想空間内における高さを指示すると、 システ ム 1 0 0は、 選択された立ち上げ形状および、 指示に応じた高さのモデルを生 成し、 仮想空間内に表示する。 オペレータは、 マッチング処理、 即ち、 こうし て表示されたモデルと写真とがー致するよう、 高さの指示を行う。 この処理に おける高さの指示は、 種々の方法が可能であるが、 操作の容易性という観点か らは、 例えば、 仮想空間の表示画面において、 マウス等のポインティングデバ ィスを操作して指示することが望ましい。
手動モデリングは、 自動モデリングで対応できない複雑な形状のモデリング 等を行う。 複雑な形状の建造物では、 単なるマッチング処理のみでは十分なモ デリングを行うことができない場合もある。 手動モデリングでは、 このような 複雑な形状の建造物をモデリングするため、 積み重ね処理を行う (ステップ S 4 0 6 )。 図中に積み重ね処理の概要を示した。 積み重ね処理とは、 例えば、 図 示するように上層部と下層部とで平面形状が異なる建造物などのモデリングを 行うための処理である。 かかる建造物では、 下層部のモデル、 上層部のモデル を結合することにより、 一つのモデルが完成する。 積み重ね処理とは、 このよ うに複数のモデルの結合処理を意味する。 モデルの結合は、 必ずしも積み重ね 方向に限定されるものではなく、 水平方向に隣接するモデルの結合であっても よい。
図 1 6は積み重ね処理の方法を示す説明図である。 システム 1 00のディス プレイ D I S Pに表示される画面例を示した。 この表示では、 左側に仮想空間 の 3次元表示 VL, 右側に平面表示 VRが行われる。 建造物の写真については 図示を省略した。
図 1 5中に示した 2層構造の建造物については、 上層部の平面形状 OB J i n、 下層部の平面形状 OB J o u tが予め与えられている。 ォペレ一夕は、 下 層部の平面形状 OB J o u tを高さ方向に移動させることによって、 左側に示 す通り、 下層部のモデル LE 1を生成することができる。 本実施例では、 この 段階では、 上層部の平面形状〇B J i nは、 下層部のモデル LE 1に影響を与 えないものとした。 つまり、 平面形状 OB J i nは、 モデル LE 1の上面に位 置しているだけであり、 モデル LE 1の形状は、 平面形状 OB J i nが設定さ れているか否かに依存しない。
次に、 オペレータは、 上層部の平面形状 OB J i nを高さ方向に移動するこ とにより、 上層部のモデル LE 2を生成することができる。 本実施例では、 上 層部のモデル LE 2は、 下層部のモデル LE 1の上面から上方に形成される。 このように段階的にモデリングすることにより、 複数層からなる建造物のモデ リングを実現することができる。 本実施例における積み重ね処理は、 例示に過 ぎず、 例えば、 上層部のモデル LE 2が存在する部分を中抜き状態にして下層 部のモデル LE 1を形成し、 上層部のモデル LE 1を地表面から上方に形成し 、 両者を組み合わせるものとしてもよい。 その他、 下層部のモデル LE 2を実 施例と同様の形状で生成し、 上層部のモデル LE 1を地表面から形成し、 両者 をブーリアン演算で結合させるものとしてもよい。 図 1 6の例では、 予め下層部および上層部の平面形状が既知である場合を例 示した。 上層部の平面形状 O B J i nが未知である場合には、 3次元表示 V L または平面表示 V Rにおいて、 オペレータが平面形状を定義可能としてもよい 。 この定義は、 下層部のモデリング前に行うものとしてもよいし、 下層部のモ デリング後、 上層部のモデリング前に行うものとしてもよい。
こうしてマッチングおよび積み重ね処理が完了すると、 システム 1 0 0は、 その結果に基づいて基礎モデルの高さを特定し、 対象となる建造物のワイヤフ レームを生成する (ステップ S 4 0 8 )。
C 4 . テクスチャ生成処理:
図 1 7はテクスチャ生成処理のフローチャートである。 これは、 テクスチャ 生成部 1 4 0 (図 5および図 8参照) の機能に相当する。
テクスチャ生成処理では、 オペレータは、 まず繰り返し構造を設定する (ス テツプ S 5 0 2 )。 つまり、 同じテクスチャを繰り返して使用可能な繰り返し領 域と、 その他の単独領域とを設定する。 図中に繰り返し構造の設定例を併せて 示した。 ハッチングを付した部分が繰り返し領域に相当する。 ビルなど各階の 構造が類似している場合には、 各階を単位として繰り返し領域を設定すること ができる。 繰り返し領域以外の部分は、 単独領域として定義される。
この処理における繰り返し領域は、 テクスチャを利用する単位として定義さ れるものであるから、 繰り返し領域は必ずしも建造物の現実の構造と対応して いる必要はない。 例えば、 図中の中央に示すように、 正面は複数階の繰り返し 構造となっているが、 側面は一面として構成されている建造物も存在する。 か かる建造物では、 正面については各階を単位とする繰り返し領域を設定し、 側 面については単独領域とすることもできる。
こうして繰り返し構造の定義が完了すると、 オペレータは、 テクスチャの設 定を行う (ステップ S 5 0 4 )。 テクスチャは、 建造物の写真に基づいて生成さ れる。 3次元モデリングに使用される写真と同じ写真を用いるものとしてもよ いが、 本実施例では、 テクスチャをモデルに適合させる負担を考慮し、 建造物 の正面からの写真を用いるものとした。 テクスチャ設定処理では、 オペレータ は、 写真の一部をテクスチャとして切り出すとともに、 モデルの表面に適合す るよう形状、 色調などの修正を行う。 この修正には、 テクスチャ同士の結合、 分離も含まれる。
こうしてテクスチャの設定が完了すると、 システム 1 0 0は、 オペレータの コマンドに応じてテクスチャの貼り付け処理を実行する (ステップ S 5 0 6 ) 。 図中に、 繰り返し領域へのテクスチャ貼り付けの様子を示した。 左側は、 建 造物の写真であり、 右側は生成されたモデルである。 図示する通り、 最上階の 写真を各階に繰り返し貼り付けることによりモデルを完成することができる。 建造物の前面には、 樹木その他の障害物が存在することが多く、 建造物全体の テクスチャを得ることは困難であることが多い。 本実施例のように繰り返し領 域を定義すれば、 建造物の最上階など、 最も良好に撮影された部分のテクスチ ャを利用することができ、 比較的容易に建造物全体にテクスチャを貼り付ける ことができる。 なお、 図中の例では、 1階部分の単独テクスチャとして扱う領 域にも繰り返しのテクスチャを貼り付けた場合を例示したが、 単独テクスチャ は別途用意されたテクスチャを貼り付けることも可能である。
C 5 . 付加構造物設定処理:
付加構造物設定処理は、 付加構造物設定部 1 5 0 (図 5参照) の機能に相当 する処理であり、 建造物自体のモデリングとは別に、 建造物周辺の付加構造物 を定義する処理である。 本実施例では、 オペレータの操作によって、 予め用意 された付加構造物のモデルを配置するものとした。 付加構造物は、 その配置の 指定方法によって点部品、 線部品に分類される。
図 1 8は点部品設定例を示す説明図である。 点部品とは、 付加構造物を設置 する一点を指定することにより、 モデルを配置できる部品をいう。 小さな点部 品としては、 信号機、 街灯、 電柱、 郵便ポスト、 バス停、 電話機ポスト、 街路 樹、 道路標識などが含まれる。 大きな点部品としては、 高圧線鉄柱、 携帯電話 の電波塔、 ガソリンスタンド、 コンビニエンスストア塔のチェーン店舗等の画 一化されている形状が含まれる。 これらの点部品は、 必ずしも本実施例で示し たモデリング手法による必要はなく、 通常の 3次元モデリング手法で生成する ことができる。
図中には、 かかる点部品の一例として信号機を配置する場合の画面表示例を 示した。 先に説明した通り、 ディスプレイ D I S Pには、 左側に仮想空間にお ける 3次元表示 V L、 右側に平面表示 V Rが行われる。 点部品の設定時には、 部品の種類を選択するとともに、 平面表示 V R中に矢印で示す通り、 部品の設 置点を指定する。 これに伴い、. 3次元表示 V Lに信号機のモデル A d d 1が示 される。 樹木の場合などには、 更に、 3次元表示 V Lにおいて、 その高さを設 定可能としてもよい。
図 1 9は線部品設定例を示す説明図である。 線部品とは、 付加構造物を設置 する線分範囲を指定することにより、 モデルを配置できる部品をいう。 かかる 部品としては、 ガードレール、 壁、 垣根、 横断歩道白線塔の道路の各種白線、 各種橋形状、 中央分離帯などが含まれる。 これらのモデルも、 通常の 3次元モ デリング手法で形成することができる。 線部品は、 単位長さ分の単位モデルが 登録されており、 指定された範囲に応じて、 単位モデルが繰り返し使用される 図中には、 かかる線部品の一例としてガードレールを配置する場合の画面表 示例を示した。 2次元表示 V Rにおいて、 矢印で示す通り、 線分範囲、 即ち線 分の始点、 終点を特定することにより、 3次元表示 V Lにガードレールのモデ ル A d d 2が示される。 D . 効果:
以上で説明した本実施例の電子地図データ生成システムによれば、 建造物の 高さを測量するまでなく、 3次元モデリングを行うことができる。 従って、 比 較的軽い労力で、 精度良く、 建造物のモデリングを行うことができる。
図 1 0以降の処理では、 単一の建造物についてのモデリングを説明したが、 一枚の写真に複数の建造物が写っている場合には、 これらの建造物について並 行してモデリングを進めることができる。 従って、 3次元電子地図データの生 成をより効率的に行うことができる。
本実施例では、 建造物の写真に基づくテクスチャを用いることにより、 モデ ルの現実味をより向上することができる。 また、 繰り返し構造を用いることに より、 これらのテクスチャを比較的軽い負担で適用することができる。
E . 変形例:
本実施例では、 地上で撮影した写真を用いたモデリングを例示した。 写真は 、 撮影パラメ一夕および撮影位置が既知であれば、 地上で撮影したものに限ら れない。 例えば、 建造物を斜め方向から撮影した航空写真を用いるものとして もよい。 撮影位置および撮影パラメ一夕が既知の航空写真を用いることにより 、 広範囲の 3次元モデリングを効率的に行うことができる。
本実施例では、 図 1 0に示す各ステップにより、 モデリングを行うものとし たが、 自動モデリングまたは手動モデリングの一方を省略してもよい。 また、 テクスチャ生成処理、 付加構造物設定処理は、 3次元モデルの現実味を向上す るために行われる処理であり、 モデルの用途に応じて省略しても差し支えない 以上、 本発明の種々の実施 について説明したが、 本発明はこれらの実施例 に限定されず、 その趣旨を逸脱しない範囲で種々の構成を採ることができるこ とはいうまでもない。 例えば、 以上の制御処理はソフトウェアで実現する他、 ハードウエア的に実現するものとしてもよい。 産業上の利用可能性
本発明は、 建造物の 3次元電子データを生成する 3次元モデリング技術、 お よび該モデリング方法を用いて 3次元電子地図データを生成する分野に利用す ることができる。

Claims

請求の範囲
1 . 建造物の 3次元電子データを生成する 3次元モデリング方法であつ て、
( a ) 電子データで表された前記建造物の写真を入力するステップと、 ( b ) 該写真の撮影位置と該建造物との相対的な位置関係と、 該撮影位置か ら該建造物を望む現実の風景と前記写真とを適合させるために必要となる撮影 パラメ一夕とを入力するステップと、
( c ) 前記 3次元電子データを生成する仮想空間内で、 前記建造物の平面形 状と前記撮影位置とを前記相対的な位置関係に基づいて定義するとともに、 前 記撮影パラメ一夕によって規定される位置に前記写真を配置するステップと、
( d ) 前記平面形状を、 前記写真と一致するまで高さ方向に写像することに より、 該建造物の高さ方向の形状を特定するステップとを備える 3次元モデリ ング方法。
2 . 請求の範囲 1記載の 3次元モデリング方法であって、
前記平面形状は、 前記建物を含む 2次元平面地図によって特定される 3次元 モデリング。
3 . 請求の範囲 1記載の 3次元モデリング方法であって、
前記ステップ (c ) は、 前記平面形状とともに、 前記建造物の概略形状を表 す基礎的な 3次元モデルを定義するステツプを含む 3次元モデリング方法。
4 . 請求の範囲 1記載の 3次元モデリング方法であって、
前記ステップ (d ) は、
前記写真の解析により、 前記建造物の稜線を特定' ― 前記写像の過程で、 前記平面形状の辺と前記稜線との重なり状態を定量的 に解析するステップと、
該重なり状態が極大となる写像により前記高さを特定するステップとを備 える 3次元モデリング方法。
5 . 請求の範囲 1記載の 3次元モデリング方法であって、
前記ステップ (c ) に先だって、 前記建造物近傍の地表の高低を表す高低デ —夕を入力するステップを備え、
前記ステップ (c ) は、 さらに前記建造物近傍の地表に前記高低データを反 映させるステップを含み、
前記ステップ (d ) は、 該地表よりも上部で前記高さ方向の形状特定を行う 3次元モデリング方法。
6 . 請求の範囲 1記載の 3次元モデリング方法であって、 更に、
( e ) 前記ステップ (d ) により高さ方向の形状が特定された前記建造物の モデルの表面に、 前記写真の少なくとも一部を、 テクスチャとして貼り付ける ステップを備える 3次元モデリング方法。
7 . 請求の範囲 6記載の 3次元モデリング方法であって、
前記ステップ (e ) は、
前記構造物の表面において、 類似の単位構造が繰り返して適用されている 繰り返し領域と、 該繰り返し領域を除く単独領域とを定義するステップと、 該繰り返し領域には、 前記写真で現実の構造が取得されているか否かに関 わらず前記単位構造のテクスチャを繰り返し貼り付けるステップとを備える 3 次元モデリング方法。 ,
8 . 建造物を含む 3次元電子地図データを生成する 3次元電子地図デ一 夕の生成方法であって、
( a ) 電子データで表された前記建造物の写真を入力するステップと、
( b ) 該写真の撮影を行った撮影位置を地図上で特定可能な撮影位置データ と、 該撮影時のカメラの向きおよび画角を特定する撮影パラメ一夕とを入力す
( c ) 前記ステップ (a )、 ステップ (b ) で得られたデータに基づいて、 前 記 3次元電子データを生成する仮想空間内に平面地図から得られる前記建造物 の平面形状、 前記撮影位置、 前記写真を配置するステップと、
( d ) 前記建造物の平面形状を、 前記写真と一致するまで高さ方向に写像す ることにより、 該建造物の高さ方向の形状を特定するステップとを備える 3次 元電子地図データの生成方法。
9 . 建造物の 3次元電子データの生成を支援する 3次元モデリング支援 装置であって、
電子データで表された前記建造物の写真および平面形状を入力する画像デー 夕入力部と、
該写真の撮影位置と該建造物との相対的な位置関係と、 該撮影位置から該建 造物を望む現実の風景と前記写真とを適合させるために必要となる撮影パラメ —夕とを入力する撮影情報入力部と、
前記 3次元電子データを生成する仮想空間内で、 前記撮影位置を基準として 、 前記相対的な位置関係に基づいて前記平面形状を配置するとともに、 該撮影 位置から該建造物を望む方向の画像を表示する仮想空間表示部と、
前記仮想空間内で前記撮影パラメ一夕によって規定される位置に前記写真を 配置することにより、 前記表示される画像内に前記写真を投影する投影部と、 前記平面形状を高さ方向に写像することにより定義される前記建造物の形状 を前記表示される画像内に併せて表示するモデル表示部とを備える 3次元モデ リング支援装置。
1 0 . 建造物の 3次元電子データを生成する 3次元モデリング装置であ つて、
電子データで表された前記建造物の写真および平面形状を入力する画像デー 夕入力部と、
該写真の撮影位置と該建造物との相対的な位置関係と、 該撮影位置から該建 造物を望む現実の風景と前記写真とを適合させるために必要となる撮影パラメ 一夕とを入力する撮影情報入力部と、
前記 3次元電子データを生成する仮想空間内で、 前記平面形状と前記撮影位 置とを前記相対的な位置関係に基づいて定義し、 前記撮影パラメータによって 規定される位置に前記写真を配置し、 前記写真と一致するまで前記平面形状を 高さ方向に写像することにより該建造物の高さ方向の形状を特定するモデリン グ部とを備える 3次元モデリング装置。
1 1 . 請求の範囲 1 0記載の 3次元モデリング装置であって、 前記モデリング部は、
前記写真の解析により、 前記建造物の稜線を特定する稜線解析部と、 前記写像の過程で、 前記平面形状の辺と前記稜線との重なり状態を定量的 に解析し、 該重なり状態が極大となる写像により前記高さを特定する重なり状 態解析部とを備える 3次元モデリング装置。
1 2 . 建造物の 3次元電子データを生成するために使用されるデータを 収集するデータ収集装置であって、
前記建造物の写真を電子データとして取得する撮像部と、
該写真の撮影位置から該建造物を望む現実の風景と前記写真とを適合させる ために必要となる撮影パラメ一タを取得する撮影パラメ一夕取得部と、 前記電子データおよび撮影パラメータを、 前記撮影位置に関するデータと関 連づけて格納するデータ格納部とを備えるデータ収集装置。
1 3 . 請求の範囲 1 2記載のデ一夕収集装置であって、
前記撮像部は、 ディジタルカメラであり、
前記撮影パラメータ取得部は、 該カメラに内蔵され、 前記撮影時の該カメラ の姿勢および焦点距離を取得するデータ収集装置。
1 4 . コンピュータを用いて、 建造物を含む 3次元電子地図データを生 成させるためのコンピュータプログラムをコンピュータ読み取り可能に記録し た記録媒体であって、
電子データで表された前記建造物の写真および平面形状を入力する機能と、 該写真の撮影を行った撮影位置を地図上で特定可能な撮影位置データと、 該 撮影時のカメラの向きおよび画角を特定する撮影パラメ一夕とを入力する機能 と、
前記入力されたデータに基づいて、 前記 3次元電子データを生成する仮想空 間内に前記建造物の平面形状、 前記撮影位置、 前記写真を配置する機能と、 前記平面形状を、 前記写真と一致するまで高さ方向に写像することによ 0、 該建造物の高さ方向の形状を特定する機能とをコンピュータに実現させるコン ピュー夕プログラムを記録した記録媒体。
1 5 . コンピュータを用いて、 建造物の 3次元電子データの生成を支援 するためのコンピュータプログラムコンピュータ読み取り可能に記録した記録 媒体であって、
電子データで表された前記建造物の写真および平面形状を入力する機能と、 該写真の撮影位置と該建造物との相対的な位置関係と、 該撮影位置から該建 造物を望む現実の風景と前記写真とを適合させるために必要となる撮影パラメ —夕とを入力する機能と、
前記 3次元電子データを生成する仮想空間内で、 前記撮影位置を基準として 前記相対的な位置関係に基づいて前記平面形状を配置するとともに該撮影位置 から該建造物を望む方向の画像を表示する機能と、
前記仮想空間内で前記撮影パラメータによって規定される位置に前記写真を 配置することにより、 前記表示される画像内に前記写真を投影する機能と、 前記平面形状を高さ方向に写像することにより定義される前記建造物の形状 を前記表示される画像内に併せて表示する機能とをコンピュータ実現させるコ ンピュー夕プロダラムを記録した記録媒体。
PCT/JP2002/006132 2001-06-20 2002-06-19 Procede de creation de donnees cartographiques electroniques tridimensionnelles WO2003001460A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020037015797A KR100580585B1 (ko) 2001-06-20 2002-06-19 건조물의 3차원 전자 데이터를 생성하는 3차원 모델링 방법 및 그 장치, 3차원 전자 지도 데이터의 생성 방법, 3차원 모델링 지원 장치, 데이터 수집 장치, 및 그 기록 매체
US10/481,393 US7343268B2 (en) 2001-06-20 2002-06-19 Three-dimensional electronic map data creation method
EP02741202A EP1426904A4 (en) 2001-06-20 2002-06-19 METHOD FOR CREATING THREE DIMENSIONAL ELECTRONIC MAP DATA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001185968A JP2003006680A (ja) 2001-06-20 2001-06-20 3次元電子地図データの生成方法
JP2001-185968 2001-06-20

Publications (1)

Publication Number Publication Date
WO2003001460A1 true WO2003001460A1 (fr) 2003-01-03

Family

ID=19025468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/006132 WO2003001460A1 (fr) 2001-06-20 2002-06-19 Procede de creation de donnees cartographiques electroniques tridimensionnelles

Country Status (7)

Country Link
US (1) US7343268B2 (ja)
EP (1) EP1426904A4 (ja)
JP (1) JP2003006680A (ja)
KR (1) KR100580585B1 (ja)
CN (1) CN1275206C (ja)
TW (1) TW565810B (ja)
WO (1) WO2003001460A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530165A2 (en) * 2003-11-08 2005-05-11 LG Electronics Inc. Method for displaying three-dimensional polygons on screen
EP1536378A2 (en) * 2003-11-28 2005-06-01 Topcon Corporation Three-dimensional image display apparatus and method for models generated from stereo images
EP1538569A2 (en) * 2003-12-01 2005-06-08 LG Electronics Inc. Line clipping method and method for displaying a three-dimensional image using the same
US7822541B2 (en) 2004-03-31 2010-10-26 Pioneer Corporation Map creation device and navigation device
CN105389854A (zh) * 2015-11-06 2016-03-09 福建天晴数码有限公司 立方体房间装修效果展示方法及系统
CN105474268A (zh) * 2014-03-27 2016-04-06 吉欧技术研究所股份有限公司 图像显示系统

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564455B2 (en) * 2002-09-26 2009-07-21 The United States Of America As Represented By The Secretary Of The Navy Global visualization process for personal computer platforms (GVP+)
JP2004265396A (ja) * 2003-02-13 2004-09-24 Vingo:Kk 映像生成システム及び映像生成方法
US7570261B1 (en) 2003-03-06 2009-08-04 Xdyne, Inc. Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom
US20050128212A1 (en) * 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US7440845B1 (en) 2003-03-26 2008-10-21 Garmin Ltd. Navigational device for installation in a vehicle and a method for doing same
US7623958B1 (en) 2003-03-26 2009-11-24 Garmin Ltd. Navigational device for installation in a vehicle and a method for doing same
US7650230B1 (en) 2003-03-26 2010-01-19 Garmin Ltd. Navigational device for mounting on a support pillar of a vehicle and a method for doing same
US20050131658A1 (en) * 2003-12-16 2005-06-16 Mei Hsaio L.S. Systems and methods for 3D assembly venue modeling
CN100463835C (zh) * 2004-12-21 2009-02-25 西昌卫星发射中心 液体火箭爆炸碎片散布范围的确定方法
EP1855263B1 (en) * 2005-03-02 2012-08-15 Navitime Japan Co., Ltd. Map display device
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
JP4592510B2 (ja) * 2005-06-21 2010-12-01 株式会社昭文社デジタルソリューション 立体地図画像生成装置および方法
US7636089B2 (en) * 2005-09-09 2009-12-22 Microsoft Corporation Photo mantel view and animation
KR100609786B1 (ko) * 2005-12-28 2006-08-09 공간정보기술 주식회사 도화원도를 이용한 3차원 건물 모델링 방법
JP2007248530A (ja) * 2006-03-13 2007-09-27 Pioneer Electronic Corp 地物データ生成方法、地物データ構造、地物データ生成装置及びプログラム
WO2008002630A2 (en) * 2006-06-26 2008-01-03 University Of Southern California Seamless image integration into 3d models
JP4196303B2 (ja) * 2006-08-21 2008-12-17 ソニー株式会社 表示制御装置および方法、並びにプログラム
KR100798413B1 (ko) * 2006-10-24 2008-01-28 (주)한국해양과학기술 해양에서 측량되는 자료를 3차원적 형태로 가시화하는시스템 및 이의 방법
JPWO2008062819A1 (ja) 2006-11-21 2010-03-04 日本電気株式会社 3次元地図データ生成システム、3次元地図データ生成方法及び3次元地図データ生成用プログラム
US7912320B1 (en) 2007-01-16 2011-03-22 Paul Minor Method and apparatus for photographic measurement
US8130245B2 (en) * 2007-01-18 2012-03-06 Harris Corporation System and method for processing map images
KR101388133B1 (ko) * 2007-02-16 2014-04-23 삼성전자주식회사 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
US8078436B2 (en) 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
US8145578B2 (en) 2007-04-17 2012-03-27 Eagel View Technologies, Inc. Aerial roof estimation system and method
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CA3036872C (en) * 2007-05-25 2020-04-28 Google Llc Rendering, viewing and annotating panoramic images, and applications thereof
US8515207B2 (en) 2007-05-25 2013-08-20 Google Inc. Annotations in panoramic images, and applications thereof
US7843451B2 (en) 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
DE102007030226A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US20090089018A1 (en) * 2007-09-28 2009-04-02 Harris Corporation Geospatial modeling system providing building generation based upon user input on 3d model and related methods
WO2009046459A1 (en) * 2007-10-04 2009-04-09 Sungevity System and method for provisioning energy systems
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
US8417061B2 (en) * 2008-02-01 2013-04-09 Sungevity Inc. Methods and systems for provisioning energy systems
US8275194B2 (en) 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US20090245691A1 (en) * 2008-03-31 2009-10-01 University Of Southern California Estimating pose of photographic images in 3d earth model using human assistance
KR200452091Y1 (ko) * 2008-06-20 2011-02-01 인영식 유리문용 도어록의 설치를 위한 지그
CN101329771B (zh) * 2008-07-29 2010-06-02 浙江大学 一种基于图像序列的城市街区的快速建模方法
ATE554001T1 (de) * 2008-09-08 2012-05-15 Thales Avionics Inc System und verfahren zur bereitstellung einer live-kartenanzeige in einem fahrzeug
US8731234B1 (en) 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US8209152B2 (en) 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US8170840B2 (en) * 2008-10-31 2012-05-01 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
TWI416440B (zh) * 2008-11-17 2013-11-21 Mitac Int Corp 用以顯示具有位置資料的照片之方法及其照片顯示裝置
JP5122508B2 (ja) * 2009-03-23 2013-01-16 株式会社日立ソリューションズ 3次元空間データ作成方法及び3次元空間データ作成装置
US9477368B1 (en) 2009-03-31 2016-10-25 Google Inc. System and method of indicating the distance or the surface of an image of a geographical object
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN101694615B (zh) * 2009-09-30 2015-04-15 成都九门科技有限公司 一种基于浏览器的三维超大场景的构建系统
US9330494B2 (en) * 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
KR101061549B1 (ko) 2009-11-30 2011-09-02 현대엠엔소프트 주식회사 3차원 사물의 텍스쳐 맵핑 시스템 및 그 방법
US8963943B2 (en) 2009-12-18 2015-02-24 Electronics And Telecommunications Research Institute Three-dimensional urban modeling apparatus and method
KR101314120B1 (ko) * 2009-12-18 2013-10-04 한국전자통신연구원 3차원 도시 모델링 장치 및 방법
CA2801486C (en) * 2010-02-01 2018-12-11 Eagle View Technologies, Inc. Geometric correction of rough wireframe models derived from photographs
US20110261187A1 (en) * 2010-02-01 2011-10-27 Peng Wang Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
CN101887597B (zh) * 2010-07-06 2012-07-04 中国科学院深圳先进技术研究院 建筑物三维模型构建方法及系统
JP2012048529A (ja) * 2010-08-27 2012-03-08 Mitsubishi Precision Co Ltd 地物の外観表示用画像の生成方法及びその装置
US8174931B2 (en) 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
JP5725908B2 (ja) * 2011-02-25 2015-05-27 株式会社ジオ技術研究所 地図データ生成システム
EP2686827A1 (en) * 2011-03-18 2014-01-22 C3 Technologies AB 3d streets
JP6024087B2 (ja) * 2011-09-30 2016-11-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
US9639959B2 (en) 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
US9933257B2 (en) 2012-02-03 2018-04-03 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
US9599466B2 (en) 2012-02-03 2017-03-21 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
US10515414B2 (en) 2012-02-03 2019-12-24 Eagle View Technologies, Inc. Systems and methods for performing a risk management assessment of a property
US10663294B2 (en) 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US8774525B2 (en) 2012-02-03 2014-07-08 Eagle View Technologies, Inc. Systems and methods for estimation of building floor area
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
US9852542B1 (en) * 2012-04-13 2017-12-26 Google Llc Methods and apparatus related to georeferenced pose of 3D models
US9031779B2 (en) * 2012-05-30 2015-05-12 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for hazard detection and sharing
AU2013203521B2 (en) 2012-08-13 2016-05-26 Auto-Measure Pty Limited Building modelling system
GB201217104D0 (en) * 2012-09-25 2012-11-07 Jaguar Cars Computing apparatus and method
US9466144B2 (en) 2012-11-02 2016-10-11 Trimble Navigation Limited 3D mapping of a surveyed environment
CN103065355B (zh) * 2012-12-26 2014-06-25 安科智慧城市技术(中国)有限公司 一种实现智慧楼宇三维建模的方法、装置
US20140267273A1 (en) * 2013-03-15 2014-09-18 Janne Kontkanen System and method for overlaying two-dimensional map elements over terrain geometry
US9959581B2 (en) 2013-03-15 2018-05-01 Eagle View Technologies, Inc. Property management on a smartphone
US9183666B2 (en) * 2013-03-15 2015-11-10 Google Inc. System and method for overlaying two-dimensional map data on a three-dimensional scene
US10909482B2 (en) 2013-03-15 2021-02-02 Pictometry International Corp. Building materials estimation
US9286712B2 (en) * 2013-03-15 2016-03-15 Google Inc. System and method for approximating cartographic projections by linear transformation
US11587176B2 (en) 2013-03-15 2023-02-21 Eagle View Technologies, Inc. Price estimation model
JP5992354B2 (ja) * 2013-03-25 2016-09-14 株式会社ジオ技術研究所 3次元地図表示システム
CN106969774A (zh) * 2013-04-28 2017-07-21 腾讯科技(深圳)有限公司 导航方法与装置、终端、服务器及系统
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックIpマネジメント株式会社 モデリング装置、3次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
EP3541071A1 (en) 2013-08-02 2019-09-18 Xactware Solutions Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US9934334B2 (en) 2013-08-29 2018-04-03 Solar Spectrum Holdings Llc Designing and installation quoting for solar energy systems
KR101360296B1 (ko) * 2013-11-15 2014-02-11 주식회사 범아엔지니어링 해양에서 측량된 데이터를 3차원 형태로 가시화하는 측량시스템의 측량장치
CN104392017A (zh) * 2014-10-14 2015-03-04 王佟 一种煤炭地质填图方法
US10650106B2 (en) 2015-01-28 2020-05-12 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
JP6092921B2 (ja) * 2015-03-26 2017-03-08 サイトセンシング株式会社 3dモデル作成装置、3dモデル作成方法及び3dモデル作成プログラム
US9934601B2 (en) * 2015-07-21 2018-04-03 Makerbot Industries, Llc Three-dimensional surface texturing
US10152828B2 (en) * 2015-09-30 2018-12-11 Umap AV Corp. Generating scene reconstructions from images
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
US10198456B1 (en) * 2015-12-28 2019-02-05 Verizon Patent And Licensing Inc. Systems and methods for data accuracy in a positioning system database
US9786171B2 (en) 2016-01-26 2017-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for detecting and distributing hazard data by a vehicle
KR101756946B1 (ko) * 2017-01-20 2017-07-11 장수진 경도선/위도선을 기반으로 교통로를 구성하고, 지도 검색을 수행하는 방법 및 장치
EP3608629B1 (en) * 2017-04-03 2021-06-09 Mitsubishi Electric Corporation Map data generation device and method
CN108596415B (zh) 2017-12-15 2023-11-24 创新先进技术有限公司 一种模型整合方法及装置
US10503843B2 (en) 2017-12-19 2019-12-10 Eagle View Technologies, Inc. Supervised automatic roof modeling
CN108062793B (zh) * 2017-12-28 2021-06-01 百度在线网络技术(北京)有限公司 基于高程的物体顶部处理方法、装置、设备和存储介质
JP7206591B2 (ja) * 2018-01-04 2023-01-18 凸版印刷株式会社 データ表示装置、方法、およびプログラム
JP6954169B2 (ja) * 2018-02-15 2021-10-27 株式会社デンソー 仮想環境作成装置
CN108550134B (zh) * 2018-03-05 2020-05-05 北京三快在线科技有限公司 建图效果指标的确定方法和建图效果指标的确定装置
CN108961395B (zh) * 2018-07-03 2019-07-30 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109063606B (zh) * 2018-07-16 2021-05-18 中国地质科学院矿产资源研究所 矿化蚀变遥感信息提取方法及装置
KR102126561B1 (ko) * 2018-07-23 2020-06-24 주식회사 쓰리아이 적응적 삼차원 공간 생성방법 및 그 시스템
CN110211221A (zh) * 2019-04-26 2019-09-06 中德(珠海)人工智能研究院有限公司 三维电子地图数据创建方法
CN110232235B (zh) * 2019-06-10 2023-06-02 博锐尚格科技股份有限公司 基于三维模型的关系型数据处理方法、装置和电子设备
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
CN112348943A (zh) * 2020-09-22 2021-02-09 陕西土豆数据科技有限公司 一种基于众包模式的新型倾斜三维采集方法
CN112233229B (zh) * 2020-10-29 2023-07-28 字节跳动有限公司 地标数据的采集方法及地标建筑的建模方法
CN114626118A (zh) * 2020-12-25 2022-06-14 亚信科技(中国)有限公司 建筑物室内模型生成方法及装置
JP7441579B1 (ja) 2023-06-07 2024-03-01 株式会社センシンロボティクス 情報処理システム及び情報処理方法
CN117671544B (zh) * 2024-01-31 2024-04-26 南京莱斯信息技术股份有限公司 一种复杂建筑条件下的消防数据采集系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348815A (ja) * 1993-06-04 1994-12-22 Hitachi Ltd Cgシステムにおける建物の景観の3次元モデルの設定方法
JPH0997354A (ja) * 1995-09-29 1997-04-08 Fujitsu Ltd モデリングシステム
JPH11232484A (ja) * 1997-12-05 1999-08-27 Wall:Kk 3次元都市データ生成方法、3次元都市データ生成装置及び3次元都市データ調査用測定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
JP3162664B2 (ja) * 1997-10-09 2001-05-08 株式会社シーエスケイ 3次元都市景観情報の作成方法および装置
JP3776591B2 (ja) * 1998-05-13 2006-05-17 株式会社日立製作所 地図情報更新方法および装置
JP3791186B2 (ja) * 1998-05-22 2006-06-28 三菱電機株式会社 景観モデリング装置
AU1610001A (en) 1999-11-15 2001-05-30 Stephen Hartford Intelligent three-dimensional computer graphics system and method
US6628279B1 (en) * 2000-11-22 2003-09-30 @Last Software, Inc. System and method for three-dimensional modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348815A (ja) * 1993-06-04 1994-12-22 Hitachi Ltd Cgシステムにおける建物の景観の3次元モデルの設定方法
JPH0997354A (ja) * 1995-09-29 1997-04-08 Fujitsu Ltd モデリングシステム
JPH11232484A (ja) * 1997-12-05 1999-08-27 Wall:Kk 3次元都市データ生成方法、3次元都市データ生成装置及び3次元都市データ調査用測定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1426904A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530165A2 (en) * 2003-11-08 2005-05-11 LG Electronics Inc. Method for displaying three-dimensional polygons on screen
EP1530165A3 (en) * 2003-11-08 2006-10-04 LG Electronics Inc. Method for displaying three-dimensional polygons on screen
EP1536378A2 (en) * 2003-11-28 2005-06-01 Topcon Corporation Three-dimensional image display apparatus and method for models generated from stereo images
EP1536378A3 (en) * 2003-11-28 2006-11-22 Topcon Corporation Three-dimensional image display apparatus and method for models generated from stereo images
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
EP1538569A2 (en) * 2003-12-01 2005-06-08 LG Electronics Inc. Line clipping method and method for displaying a three-dimensional image using the same
EP1538569A3 (en) * 2003-12-01 2006-09-27 LG Electronics Inc. Line clipping method and method for displaying a three-dimensional image using the same
US7822541B2 (en) 2004-03-31 2010-10-26 Pioneer Corporation Map creation device and navigation device
CN105474268A (zh) * 2014-03-27 2016-04-06 吉欧技术研究所股份有限公司 图像显示系统
CN105389854A (zh) * 2015-11-06 2016-03-09 福建天晴数码有限公司 立方体房间装修效果展示方法及系统

Also Published As

Publication number Publication date
CN1539120A (zh) 2004-10-20
TW565810B (en) 2003-12-11
KR100580585B1 (ko) 2006-05-16
US7343268B2 (en) 2008-03-11
KR20040004684A (ko) 2004-01-13
CN1275206C (zh) 2006-09-13
EP1426904A4 (en) 2005-09-07
EP1426904A1 (en) 2004-06-09
JP2003006680A (ja) 2003-01-10
US20050177350A1 (en) 2005-08-11

Similar Documents

Publication Publication Date Title
WO2003001460A1 (fr) Procede de creation de donnees cartographiques electroniques tridimensionnelles
JP4284644B2 (ja) 3次元モデル構築システム及び3次元モデル構築プログラム
US8559702B2 (en) Model forming apparatus, model forming method, photographing apparatus and photographing method
US8818076B2 (en) System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
JP3015353B2 (ja) 3次元都市地図データベース生成装置及びそのためのプログラムを記録した記録媒体
JP4206449B2 (ja) 3次元電子地図データの生成方法
JP2002031528A (ja) モービルマッピング用空間情報生成装置
CN113936108A (zh) 一种针对建筑立面精细建模的无人机拍摄及重建方法和装置
JP3267590B2 (ja) 3次元都市地図データベース生成装置及び方法
CN107609900A (zh) 一种基于倾斜摄影和建筑信息模型的房间街景定价方法
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
JP4588369B2 (ja) 撮影装置及び撮影方法
JP6110780B2 (ja) 付加情報表示システム
JP4152698B2 (ja) 3次元建物モデルデータ生成装置
CN115982806A (zh) 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质
CN111831778A (zh) 一种三维地理信息系统快速集成展现的方法
JP4915698B2 (ja) 3次元電子地図データの生成方法
JP4727696B2 (ja) 3次元電子地図データの生成方法
JPH06348815A (ja) Cgシステムにおける建物の景観の3次元モデルの設定方法
JP2000121360A (ja) 3次元都市地図デ―タベ―スの作成方法及び3次元都市地図デ―タベ―ス用測定装置
JP3789396B2 (ja) 消波ブロック等の地上敷設定型物の三次元モデリング方法および三次元モデリングプログラムならびにそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN112287061B (zh) 一种利用网络开放数据拼接街景立面图的方法
JPH08255239A (ja) 地理情報処理装置
Al-Hanbali et al. Building 3D GIS modeling applications in Jordan: methodology and implementation aspects
CN115359214A (zh) 一种轨道交通工程用虚实结合施工方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1020037015797

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 028121473

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 10481393

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002741202

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002741202

Country of ref document: EP