WO2011074759A1 - 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 - Google Patents

메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 Download PDF

Info

Publication number
WO2011074759A1
WO2011074759A1 PCT/KR2010/005104 KR2010005104W WO2011074759A1 WO 2011074759 A1 WO2011074759 A1 WO 2011074759A1 KR 2010005104 W KR2010005104 W KR 2010005104W WO 2011074759 A1 WO2011074759 A1 WO 2011074759A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shadow
height
information
camera
Prior art date
Application number
PCT/KR2010/005104
Other languages
English (en)
French (fr)
Inventor
김태정
이태윤
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to EP10809221.4A priority Critical patent/EP2515274A4/en
Priority to US13/057,066 priority patent/US8437554B2/en
Publication of WO2011074759A1 publication Critical patent/WO2011074759A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a method for extracting the height and the bottom position of an object from a single satellite image or aerial photograph without meta information.
  • Google's software Sketchup, allows the general public to easily create three-dimensional building models and place them on Google Earth's visual map.
  • typical conventional techniques for extracting three-dimensional information of an object include a method of using two or more images, a method of using a single image, and a method of using data other than the image.
  • a method of extracting 3D information of an object by using an image includes a method of applying a technique such as stereo camera modeling using a stereo image or two or more images.
  • This method has a problem of acquiring the ground reference point for each image because the camera modeling must be performed for each of two or more images, and a relatively complicated process and high cost are required because two or more images are used. There is this.
  • the height is measured by using the length of the vertical line connecting the roof corner of the object shown in the image and the bottom corner of the connected object or by measuring the length of the shadow and using meta information provided with the image.
  • the conventional method of using the length of the vertical line, or the method of measuring the length of the shadow should have meta information and all the bottom of the object must be identifiable.
  • the conventional method of using the length of the vertical line, or the method of measuring the length of the shadow should have meta information and all the bottom of the object must be identifiable.
  • '3D building information extraction method using shadow analysis' also uses the shadow of the object in a single image, but using the azimuth and elevation angles of the light source and the camera.
  • lidar data is well known. Although the height accuracy of the extracted 3D object information is high, it is difficult to identify the object, so it is difficult to measure the roof and floor positions of the object. There is a problem that the processing method is complicated and expensive to obtain the lidar data.
  • the present invention has been invented to solve the above problems, and provides a method of using only one image without meta information and estimating and using information such as the altitude and azimuth angle of the light source and the camera from the image. There is a purpose.
  • the present invention in order to estimate the altitude and azimuth angles of the light source and the camera, selects an object in which the shadow corresponding to the bottom of the object is identified in the image, measures vertical and shadow lines of the object, and gives height to the object. From this, the altitude and azimuth angles of the light source and the camera at the time of taking the image are estimated.
  • the elevation angle when estimating the elevation angle, if the image does not know the GSD (Ground Sampling Distance) or the spatial resolution, it is possible to estimate the elevation angle proportional to replace the elevation angle.
  • the goal is to provide a way to extract information.
  • the method for extracting 3D individual information by analyzing shadows from a single image without meta information includes a first step of receiving an image without meta information from an image captured by a satellite or an aircraft; A second step of selecting a reference object from the image input through the first step, measuring vertical and shadow lines for the reference object from the received image, and giving a height to the reference object; and the second step By using the vertical and shadow line information of the reference object measured from the image and the height of the reference object given through the altitude angle proportional constant that can replace the azimuth and altitude angle or altitude angle of the camera and the light source at the time of shooting Estimating a bottom surface position and the height of the object from the received image; A fourth step of extracting an outline of the roof surface of the selected object by selecting a specific object to be obtained; a fifth step of adjusting the height value of the selected object; and the height corresponding to the height value adjusted through the fifth step.
  • a reference object is selected from the image input through the first step, and the reference object is selected from the input image in which the shadow and the bottom can be easily identified.
  • the second step selects the reference object from the image input through the first step, and connects a vertical line connecting a roof corner with respect to the reference object and a floor corner corresponding to the roof corner, and a shadow endpoint corresponding to the roof corner. And a shadow line connecting the floor corners corresponding to the roof corners.
  • the third step is to estimate the azimuth angle of the camera and the light source at the time of shooting by using the height of the reference object given through the second step and the vertical line and shadow line information of the reference object measured from the input image and the vertical line
  • the altitude angle of the light source and the camera at the time of shooting or using the spatial resolution of the shadow line and the image, or estimating the altitude angle proportional constant that can substitute for the altitude angle of the light source and the camera when the spatial resolution of the image is unknown.
  • the fifth step may be performed by adjusting a height value of the object from which the 3D information is extracted, and adjusting the height value by setting the initial height value to 0 and sequentially increasing the height value.
  • the sixth step corresponds to the height value adjusted through the fifth step using an azimuth angle and an elevation angle or an elevation angle proportional constant that can be substituted for the elevation angle at the time of photographing estimated through the third step.
  • a vertical line and a shadow of the object are generated, and the generated vertical line and the shadow of the object are projected on the received image.
  • the seventh step determines whether the shadow projected through the sixth step matches the shadow of the input image, and if it is inconsistent, re-adjusts the height value of the object by performing the fifth step again. do.
  • the height of the object adjusted through the fifth step is determined. Extracts an object to determine the height of the actual object, extracts the location of the floor outline of the object by moving the roof outline of the object in parallel along a vertical line, and extracts the object from the input image through the extracted bottom outline position. Determine the location of.
  • the method for extracting 3D individual information through shadow analysis in a single image without meta information by using information such as altitude and azimuth angle of a light source and a camera without using meta information, the information is estimated by using an image. It is effective to extract 3D individual information at low cost with only the bowel image. In addition, since there is no need for meta information, it is possible to utilize various single high resolution images such as an open image map.
  • the present invention can extract the three-dimensional information of the object with only a single image that does not know the meta information, three-dimensional city model generation and update, three-dimensional map generation and update, digital topographic map generation and update, various types of environment simulation It can be applied in various fields that require three-dimensional object model or three-dimensional information of the object, such as a map for navigation, such as computer games, cars based on the real world.
  • FIG. 1 is a hardware block diagram for implementing the present invention.
  • FIG. 2 is a flowchart of a 3D object information extraction method through shadow analysis in a single image without meta information according to the present invention.
  • FIG. 3 is a view for explaining a relationship between an elevation angle of a light source and a camera, a three-dimensional object, and a shadow.
  • 4 is a view for explaining the relationship between the azimuth angle of the camera and the light source appearing in the image, the three-dimensional object and the shadow.
  • FIG. 5 is an exemplary diagram illustrating a relationship between an azimuth angle between an object, a camera, and a light source (sun) in an image photographed by a pushbroom method.
  • FIG. 6 is a diagram illustrating a vertical direction of an object in an image captured by a central projection method.
  • FIG. 7 is a diagram illustrating a relationship between an altitude angle of a light source (sun) and a camera and an object in a pushbroom image.
  • FIG. 8 is a view showing the relationship between the light source (sun) and the camera's altitude angle and the object in the perspective projection image.
  • FIG. 9 is an exemplary view showing how an object is actually extracted from a single image using information such as azimuth and elevation angles of a camera and a light source estimated using the method according to the present invention.
  • FIG. 10 is an exemplary view showing an object (building) extracted by actually applying to a pushbroom type satellite image by using the method according to the present invention.
  • FIG. 11 is an exemplary view showing an object (building) extracted by applying to an aerial photograph of a perspective projection method.
  • FIG. 12 is an exemplary view showing an object (road bridge) extracted by applying to a pushbroom type phase image.
  • FIG. 13 is an exemplary view showing a result of generating a three-dimensional model by using the method according to the present invention to extract three-dimensional information of an object by actually applying to a pushbroom type satellite image.
  • FIG. 14 is a view showing an image used in the experiment of the method according to the present invention.
  • FIG. 15 is a diagram illustrating a building model generated using meta information and an IKONOS image, and a building model generated according to C, D, and A cases of Table 5.
  • FIG. 15 is a diagram illustrating a building model generated using meta information and an IKONOS image, and a building model generated according to C, D, and A cases of Table 5.
  • FIG. 1 is a general diagram of a computer configuration to which the present invention is applied, the input unit 100 for receiving various data from a user and a central part performing overall functions of the present invention based on data input through the input unit 100.
  • a processing unit 200 a memory 300 for temporarily storing data necessary for the operation of the central processing unit 200, and an output unit 400 outputting a processing result of the central processing unit 200.
  • the output unit 400 may be various types such as a monitor or a printer.
  • an image without meta information is input through the input unit 100 from image data of an object captured by a satellite or an aircraft.
  • the meta information includes a photographing date and time of the captured image, an approximate location of the photographing region and the camera, an azimuth and altitude angle with respect to the camera, an azimuth and altitude angle with respect to the light source, and a spatial resolution (or GSD) of the image.
  • the meta information of the image is not required.
  • the second step (S200) by selecting a reference object from the image received through the first step (S100) to measure the vertical line and the shadow line for the reference object in the image and the height for the reference object Grant.
  • the reference object is selected from the input image, the object that can identify the shadow and the bottom corner of the object well, the vertical line measured for the reference object is a floor corresponding to the roof corner and the roof corner of the reference object
  • the shadow line means a straight line connecting the corners
  • the shadow line measured with respect to the reference object means a straight line connecting the shadow end point corresponding to the roof corner and the floor corner corresponding to the roof corner.
  • the third step (S300) it is performed using the central processing unit 200, and the height and the vertical line for the reference object measured and the reference object given through the second step (S200)
  • the azimuth and elevation angles of the camera and the light source at the time of shooting are estimated by using the charity information.
  • the fourth step (S400) after calculating information such as azimuth and altitude angles of the camera and the light source at the time of shooting through the third step (S300), received through the first step (S100) Extract the outline of the roof surface of the selected object by selecting the specific object whose floor position and object height are to be obtained from the image.
  • the height value of the object selected in step 4 is adjusted.
  • the adjustment of the height value may be performed by setting the initial height value to 0 and sequentially increasing the height value.
  • the vertical line and the shadow of the object corresponding to the height value adjusted through the fifth step (S500) is projected on the received image.
  • the sixth step S600 may include the azimuth and altitude angle information of the camera and the light source at the time of shooting estimated through the third step S300 or the altitude angle proportional constant that may replace the altitude angle.
  • a vertical line and a shadow of the object corresponding to the height value adjusted through the step S500 are generated, and the generated vertical line and the shadow of the object are projected onto the image received through the first step S100.
  • a seventh step S700 it is determined whether the projected shadow matches the shadow of the input image.
  • the seventh step S700 determines whether or not the shadow projected through the sixth step S600 matches the shadow of the image input through the first step S100.
  • the process of the fifth step S500 is performed again so that the height value can be adjusted again.
  • the eighth step S800 extracts the height and the bottom outline position of the selected object.
  • the height of the object adjusted through the fifth step (S500) is determined as the height of the actual object, and the floor surface position of the reference object by moving the roof surface outline of the object in parallel along the vertical line Extracts and determines the position of the object in the image input through the first step (S100) through the extracted bottom outline position.
  • FIG. 3 is a diagram for describing a relationship between an elevation angle of a light source and a camera, a 3D object, and a shadow
  • FIG. 4 is a diagram for explaining a relationship between an azimuth angle, a 3D object, and a shadow of a camera and a light source appearing in an image. .
  • FIG. 3 shows how the altitude angle of the light source and the camera represents the relationship between the object and the shadow of the real world at the time of photographing the image
  • FIG. 4 illustrates the relationship between the azimuth, object, and shadow of the camera and the light source shown in the image. Shows.
  • the azimuth angle of the light source and the camera estimated from a single image is estimated using the angle between the vertical and shadow lines of the reference object measured in the image with the Y axis of the image, and can be substituted for the elevation angle or the elevation angle of the light source and the camera.
  • the altitude-angle proportional constant is estimated using the length of the vertical and shadow lines of the reference object and the height values input for the reference object.
  • the azimuth and elevation information of the light source and the camera estimated from the single image may be estimated in some other manner depending on the type of image and the photographing method.
  • the height input in step 2 is based on the height measured by the user using a height that the user actually knows about the reference object designated by the user, or through information disclosed on the Internet or the like. You can use the height you know, the approximate height you guessed.
  • the height adjustment as described above is to adjust the height value sequentially starting from the value of 0, thereby creating a vertical line of the object, by moving the outline of the roof of the reference object along the vertical line in parallel to the Extract the floor location.
  • the height of the object is calculated by calculating the degree of inclination of the projected area or the height of another object. Can be.
  • FIG. 5 is an exemplary diagram illustrating a relationship between an azimuth angle between an object, a camera, and a light source (sun) in an image photographed by a pushbroom method
  • FIG. 6 illustrates an object vertical direction in an image photographed by a perspective projection method. It is an exemplary view shown.
  • the camera azimuth at the time of shooting can be estimated from the vertical azimuth of the individual.
  • the actual azimuth of the camera is based on the north direction
  • the Y direction of the image is assumed to be north.
  • the relationship between the shadow line connecting the shadow endpoint and the bottom corner and the Y direction of the image represents the azimuth angle of the shadow line.
  • the azimuth angle of the light source can be estimated through such a relationship.
  • FIG. 6 shows how the azimuth angle of an object vertical line is determined when using a perspective projection image.
  • this central projection method since the vertical line of the object faces the principal point of the image, two or more vertical lines are measured, and the point where the measured vertical lines intersect is determined as the main point.
  • the principal point serves as a reference indicating the direction of all the object vertical lines in the image, from which the azimuth angle with respect to the camera in each object can be calculated.
  • two or more vertical lines that intersect may be selected from the same entity, or may be selected from other entities.
  • the azimuth angle of the light source in the central projection image is estimated in the same manner as in the pushroom image as described above (see FIG. 5).
  • FIG 7 is a view showing the relationship between the light source (sun) and the altitude angle of the camera and the object in a pushbroom image
  • Figure 8 is the elevation of the light source (sun) and camera in a perspective projection image
  • FIG. 7 illustrates a basic principle required for estimating the elevation angles of the light source and the camera in the case of a pushbroom type image.
  • the camera's elevation angle is the same for all objects in a single image.
  • the elevation angle of the light source (sun) the distance between the light source (sun) and the earth's surface is very far. It can be assumed that the elevation angles of the light sources for all objects are also the same. Therefore, the elevation angle for the reference entity can be estimated using the relationship shown in FIG. 7 and Equations 1 and 2 below.
  • the altitude angle of the camera for each object in the image may be different from each other.
  • the camera elevation angle in the center projection type image having such a feature may be calculated by a general method using a distance between the main point and the corner of the roof of each object based on the main point of the image.
  • the light source (the sun) is very far, so the altitude and azimuth angle of the light source are the same for all the objects in a single image.
  • the elevation angle of the light source has the basic characteristics as shown in FIGS. 7 and 8 according to each photographing method and the type of the image.
  • the following mathematical equations are used from the basic characteristics of FIGS. It can be calculated using Equation 1.
  • L shadow represents the length in the image coordinates of the shadow line connecting the shadow end point corresponding to the bottom corner in the reference object
  • H represents the object height given by the user
  • ⁇ sun is the elevation angle of the light source to be estimated
  • GSD is The spatial resolution of the image.
  • the altitude angle of the camera has the basic characteristics as shown in FIGS. 7 and 8 according to each photographing method and the type of the image.
  • the following mathematical expressions are used from the basic characteristics of FIGS. It can be calculated using Equation 2.
  • L vertical represents the length in the vertical image coordinates of the vertical line connecting the roof corner and the bottom corner of the reference object
  • H represents the object height given by the user
  • ⁇ camera is the elevation angle of the camera to be estimated
  • GSD is the Spatial resolution.
  • FIG. 9 is an exemplary view showing how an object is actually extracted from a single image using information such as azimuth and elevation angles of a camera and a light source estimated using the method according to the present invention.
  • FIG. 10 is an exemplary view showing the extraction of an object (building) by applying to a pushbroom type satellite image using the method according to the present invention.
  • FIG. 11 is a perspective view of an aerial photograph of a perspective type method.
  • FIG. 12 is an exemplary view showing a state of extracting an object (building) by applying to a phase image of a pushbroom type by applying to a pushbroom type phase image.
  • FIG. 13 is an exemplary view showing a result of generating a three-dimensional model by using the method according to the present invention to extract three-dimensional information of an object by actually applying to a pushbroom type satellite image.
  • the present invention is disclosed in the Internet, as well as images of satellites, aircraft, or other methods of photographing a specific region, but the meta-information is not known. It can be applied to extract the three-dimensional information of the necessary objects in the fields of analysis, mapping, landscape analysis, three-dimensional modeling, and simulation.
  • the upper figure in FIG. 14 shows a part of IKONOS image of Daejeon area used in the experiment.
  • the IKONOS image used is a standard geometrically corrected image taken in 2002.
  • the azimuth and elevation angles of the sensor and the sun in meta information are shown in Table 1 below.
  • FIG. 14 shows the Daejeon region extracted from Google Earth. When extracting the Daejeon region from Google Earth, it has a larger spatial resolution than IKONOS video.
  • the circled portion indicates a building used as a reference when no meta information is used.
  • the height reference value of the building was extracted from the stereo IKONOS image.
  • the ground control point used for this purpose is measured by GPS surveying equipment in actual battle area based on IKONOS image.
  • 10 ground reference points were measured and used for each image.
  • the numerical elevation model used to calculate the horizontal position of the building model from the IKONOS image was created with a spatial resolution of 9.05 m using the ArcMap from 1: 5000 and the digital topographic map.
  • the building information is extracted from the IKONOS image using the meta information, and the building information is extracted using the proposed method without using the meta information. Verified.
  • the building information was extracted and the height accuracy of the building was verified by applying the method according to the present invention to the Google Earth image without meta information.
  • the 3D building model was generated from the extracted building information and compared with the naked eye.
  • the building height extracted from the stereo IKONOS image and the horizontal position of the building corresponding to the 1: 1000 digital topographic map are assumed to be true values.
  • the method according to the present invention requires a reference building for estimating azimuth and elevation angles by giving a height value.
  • the selected reference building selects an arbitrary apartment building in the vicinity of the Government Complex.
  • Azimuth and elevation angles estimated by the method according to the invention are shown in Tables 1 and 2.
  • Table 1 it can be seen that the azimuth of the sensor and the sun in the meta information of the actual IKONOS satellite image shows a difference of several degrees from the azimuth calculated using the reference building of the IKONOS satellite image.
  • the azimuth extracted by the method according to the present invention is based on the Y-axis of the image, it is assumed that such a difference appears.
  • the sensor's elevation is similar, but the sun's elevation is calculated differently.
  • the reason for this difference is assumed to be the difference in the shadow length caused by the actual curvature of the ground when calculating the shadow length in the image used for the elevation angle calculation, the positional accuracy of the pixel selected when the shadow length is calculated, and the like.
  • Government Complex I was applied at 91.9 m, the height found on the Internet, and Government Complex II was used at 88.8 m, which was extracted from the stereo IKONOS image.
  • Table 3 below shows the vertical (building height) of each three-dimensional building model generated when the meta data is applied using IKONOS satellite imagery, when the government office building is the reference building, and any apartment is the reference building. Shows accuracy.
  • the building height used as the reference height in Table 3 is the height extracted by using a direct linear transformation (Direct Linear Transformation) established as the ground reference point in the stereo IKONOS satellite image.
  • a direct linear transformation Direct Linear Transformation
  • the height of the building was determined by the difference between the Z coordinate extracted from the same building roof corner using direct linear transformation and the Z coordinate extracted from the ground.
  • the established direct linear change was checked for the accuracy of model establishment by 1 to 3 checkpoints for each image. As a result, it was confirmed that the RMS error of about 1 pixel appeared for each image.
  • stereo (S) is the height extracted from the stereo IKONOS image
  • meta information (M) is the height extracted using the given meta information
  • government building (D) is the height extracted from the government building (91.9 m)
  • apartment (A) shows the height extracted based on an arbitrary apartment (40 m).
  • S-M, S-D, and S-A represent the result of subtracting the height extracted from the stereo image, the height using meta information, the height based on government buildings, and the height based on an arbitrary apartment.
  • the height of the apartment was extracted from the stereo image and the height was about 43 m.
  • Table 3 when the approximate height is applied, it shows a pattern similar to the building height pattern extracted using meta information.
  • the ID corresponds to the ID of Table 3.
  • x1, y1, x2, y2 represent the x, y coordinates of one corner and the x, y coordinates of the other corner, respectively, and the numerical map (R) shows the horizontal position coordinates of the floor corners of the corresponding building on the 1: 1000 numerical map.
  • the TM topography of the Vessel ellipsoid was used, and the horizontal position coordinates of the buildings were all unified to TM coordinates.
  • RM, RD, and RA in error are the building coordinates extracted by using meta information from the building coordinates of the digital topographic map, the building coordinates extracted on the basis of the Government Complex, and the building coordinates extracted on the basis of an arbitrary apartment. This is the result.
  • the horizontal position RMS error of the five buildings is less than 3 m, considering the spatial resolution of the IKONOS image, etc., it is judged to show a bad accuracy. Comparing the above horizontal / vertical accuracy, it can be seen that the 3D building model generated by applying the information calculated from the approximate height without using meta information can be relatively accurate. In addition, the relative height difference pattern between the three-dimensional building model is shown to be similar in all cases.
  • the error is a few meters, and the cause of the error is the error included in the length of the building vertical line or the shadow measured when calculating the elevation angle, etc. in the reference building, the error in selecting the corner of the building roof, and the actual surface height. It is assumed that the error occurs when is not flat.
  • Table 5 below shows the height accuracy of the building model generated from the Google Earth image.
  • the government building (C) is the building height extracted by applying the height of 88.8 m of the Government Complex of Daejeon extracted from the stereo IKONOS image
  • the Government building (D) shows the height of the building extracted by applying the height of 91.9 m of the Government Complex of Daejeon. Giving.
  • Table 5 shows the error for a total of 17 buildings, and the building ID corresponds to Table 3 above.
  • a building with a building ID that isn't here isn't in the Google Earth video, but in the IKONOS video.
  • the relative height difference patterns between buildings are all similar.
  • the range of the extracted image is small, so that the ground reference point enough to establish the sensor model could not be obtained and the horizontal position error was not recognized.
  • FIG. 15 illustrates a building model generated using meta information and an IKONOS image, and a building model generated according to C, D, and A cases of Table 5 above.

Abstract

본 발명은 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법에 관한 것으로, 해결하고자 하는 기술적 과제는 메타정보를 모르는 단일 영상만으로도 개체의 높이 및 개체의 바닥면 위치 등의 개체의 3차원 정보를 추출할 수 있는 방법을 제공하는데 있다. 이를 위해 본 발명은, 인공위성 또는 항공기 등에서 촬영된 영상으로부터 메타정보가 없는 영상을 입력받는 제 1단계와, 상기 제 1단계를 통하여 입력받은 영상으로부터 기준 개체를 선택하여 상기 기준 개체에 대한 연직선과 그림자선을 입력받은 영상으로부터 측정하고 상기 기준 개체에 대한 높이를 부여하는 제 2단계와, 상기 제 2단계를 통하여 부여된 기준 개체에 대한 높이와 영상으로부터 측정한 상기 기준 개체에 대한 연직선 및 그림자선 정보를 이용하여 촬영 당시 카메라와 광원의 방위각과 고도각 또는 고도각을 대신할 수 있는 고도각 비례상수를 추정하는 제 3단계와, 상기 입력받은 영상으로부터 바닥면 위치와 개체의 높이를 구하고자하는 특정개체를 선택하여 선택된 개체의 지붕면 외곽선을 추출하는 제 4단계와, 선택된 상기 개체의 높이값을 조절하는 제 5단계와, 상기 제 5단계를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 상기 입력받은 영상에 투영하는 제 6단계와, 상기 제 6단계를 통하여 투영된 그림자가 상기 입력받은 영상의 그림자와 일치하는지 여부를 판정하는 제 7단계 및 상기 제 6단계를 통하여 투영된 상기 그림자가 상기 제 7단계를 통하여 상기 입력받은 영상의 그림자와 일치하는 것으로 판정되면, 선택된 상기 개체의 높이와 바닥면 외곽선 위치를 추출하는 제 8단계를 포함하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법을 개시한다.

Description

메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
본 발명은 메타정보가 없는 단일 위성영상이나 항공사진 등으로부터 개체의 높이와 바닥면 위치를 추출하는 방법에 관한 것이다.
최근에 일반 사람들도 인터넷을 통하여 쉽게 고해상도 영상 지도와 3차원 건물 모델을 접할 수 있게 되었다. 이러한 정보를 제공하는 대표적인 영상지도로 구글어스(Google Earth) 등이 있다.
구글에서 공개한 스케치업(Sketchup)이라는 소프트웨어를 이용하면 일반인도 쉽게 3차원 건물 모델을 만들어서 구글어스의 영상 지도 위에 올릴 수 있다.
이처럼 고해상도 영상 지도와 3차원 모델 생성은 비전문가에게도 관심의 대상이 되고 있으며, 3차원 건물 모델 생성과 관련된 연구들은 이전부터 수행되어 왔다.(오재홍 등, 2007; 위광재 등, 2007; 정성혁과 이재기, 2008: Bohn, 2004; Frueh et al., 2004; Fruh and Zakhor, 2003; Lafarge et al., 2008; Zhang et al., 2003). 이와 같은 많은 연구들에서는 다양한 데이터를 활용하여 정밀한 건물 모델 생성 및 이를 이용한 도시 모델 생성(위광재 등, 2007; 정성혁과 이재기, 2008; Fruh and Zakhor, 2003; Lafarge et al., 2008; Zhang et al., 2003)에 초점을 맞추거나, 세밀한 건물 텍스처 생성 또는 자동 건물 텍스터 생성(오재홍 등, 2007; Bohn, 2004; Frueh et al., 2004) 등에 주안점을 둔 연구를 수행하였다.
한편, 개체의 3차원 정보를 추출하기 위한 대표적인 종래의 기술로는 두 장 이상의 영상을 이용하는 방법, 단일 영상을 이용하는 방법, 영상 이외의 데이터를 이용하는 방법 등이 있다.
일반적으로 영상을 이용하여 개체의 3차원 정보를 추출하는 방법으로는, 스테레오 영상 또는 두 장 이상의 영상을 이용하여 스테레오 카메라 모델링 등의 기술을 적용하는 방법이 있다.
이러한 방법은 두 장 이상의 각 영상에 대해서 커메라 모델링을 수행해야 하므로, 각 영상에 대한 지상 기준점을 획득해야만 한다는 문제점이 있으며, 두 장 이상의 영상을 이용해야 하므로 비교적 복잡한 처리 과정 및 고비용이 요구된다는 문제점이 있다.
기존의 단일 영상을 이용한 방법으로는, 영상에서 보이는 개체의 지붕 모퉁이와 이와 연결된 개체의 바닥 모퉁이를 잇는 연직선의 길이를 이용하거나 그림자의 길이 등을 측정하여 영상과 함께 제공되는 메타정보를 이용하여 높이를 추정하는 방법이 있다.
여기서, 종래의 연직선의 길이를 이용하는 방법이나, 그림자의 길이를 측정하는 방법은 메타정보가 있어야 하며 모두 개체의 바닥이 식별 가능해야 한다. 하지만, 영상에서 개체가 밀집한 도시 등의 경우에는 바닥이 식별되지 않은 개체들도 존재하며, 그림자의 일부분만이 식별되어 그 길이를 측정하기가 어려운 개체들도 존재한다.
이와 관련하여 '그림자 분석을 통한 3차원 건물정보 추출방법'(등록특허 10-0647807, 2006.11.13)에서도 단일 영상에서 개체의 그림자를 이용하지만, 광원과 카메라의 방위각 및 고도각 등을 이용하며 그림자와 개체의 연직선을 시뮬레이션하여 이를 영상에 투영하는 방법을 적용함으로써 상술한 바와 같은 문제점을 어느 정도 극복하였다.
하지만, 이 경우에도 영상을 촬영할 당시의 광원과 카메라의 방위각과 고도각 정보 등의 메타정보가 필요하다는 문제점이 있다.
한편, 영상 이외의 데이터를 이용한 방법으로는 라이다 데이터 등이 잘 알려진 방법으로서, 추출한 3차원 개체정보의 높이 정확도가 높지만, 개체의 식별이 용이하지 않아 개체의 지붕면 및 바닥면 위치 측정이 어렵고 처리방법이 복잡하며 라이다 데이터를 획득하기 위해서 많은 비용이 소요된다는 문제점이 있다.
즉, 상술한 바와 같은 종래 기술들은 개체의 3차원 정보를 얻기 위하여 라이다와 같은 고비용의 자료를 사용하거나 또는 두 장 이상의 영상을 이용해야 하고, 한 장의 영상을 이용한다고 하여도 영상을 촬영할 당시의 정보가 포함되어 있는 메타정보가 필요하다는 문제점이 있다.
본 발명은 상기한 바와 같은 과제를 해결하기 위해 발명된 것으로서, 메타정보 없이도 단지 한 장의 영상만을 이용하며 광원과 카메라의 고도각 및 방위각 등의 정보를 영상에서 추정하여 사용할 수 있는 방법을 제공하는데 그 목적이 있다.
이를 위하여 본 발명은, 광원과 카메라의 고도각 및 방위각을 추정하기 위하여 영상에서 개체 바닥에 대응하는 그림자가 식별되는 개체를 선택하여 개체의 연직선과 그림자선을 측정하고, 상기 개체에 높이를 부여하며, 이로부터 영상을 촬영할 당시의 광원과 카메라의 고도각 및 방위각을 추정한다.
한편, 고도각을 추정할 때 영상의 GSD(Ground Sampling Distance) 또는 공간해상도를 알지 못하는 경우에는, 고도각을 대신할 수 있는 고도각 비례상수를 추정함으로써 메타정보가 전혀 없는 단일 영상만으로도 3차원 개체정보를 추출할 수 있는 방법을 제공하는 것에 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법은 인공위성 또는 항공기 등에서 촬영된 영상으로부터 메타정보가 없는 영상을 입력받는 제 1단계와, 상기 제 1단계를 통하여 입력받은 영상으로부터 기준 개체를 선택하여 상기 기준 개체에 대한 연직선과 그림자선을 입력받은 영상으로부터 측정하고 상기 기준 개체에 대한 높이를 부여하는 제 2단계와, 상기 제 2단계를 통하여 부여된 기준 개체에 대한 높이와 영상으로부터 측정한 상기 기준 개체에 대한 연직선 및 그림자선 정보를 이용하여 촬영 당시 카메라와 광원의 방위각과 고도각 또는 고도각을 대신할 수 있는 고도각 비례상수를 추정하는 제 3단계와, 상기 입력받은 영상으로부터 바닥면 위치와 개체의 높이를 구하고자 하는 특정개체를 선택하여 선택된 개체의 지붕면 외곽선을 추출하는 제 4단계와, 선택된 상기 개체의 높이값을 조절하는 제 5단계와, 상기 제 5단계를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 상기 입력받은 영상에 투영하는 제 6단계와, 상기 제 6단계를 통하여 투영된 그림자가 상기 입력받은 영상의 그림자와 일치하는지 여부를 판정하는 제 7단계 및 상기 제 6단계를 통하여 투영된 상기 그림자가 상기 제 7단계를 통하여 상기 입력받은 영상의 그림자와 일치하는 것으로 판정되면, 선택된 상기 개체의 높이와 바닥면 외곽선 위치를 추출하는 제 8단계를 포함한다.
상기 제 2단계는 상기 제 1단계를 통하여 입력받은 영상으로부터 기준 개체를 선택하며, 상기 기준 개체는 상기 입력받은 영상에서 그림자와 바닥이 잘 식별될 수 있는 개체가 선택된다.
상기 제 2단계는 상기 제 1단계를 통하여 입력받은 영상으로부터 상기 기준 개체를 선택하여 상기 기준 개체에 대한 지붕 모퉁이와 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 연결하는 연직선과 상기 지붕 모퉁이에 대응되는 그림자 끝점과 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 연결하는 그림자선을 측정한다.
상기 제 3단계는 상기 제 2단계를 통하여 부여된 기준 개체에 대한 높이와 입력받은 영상으로부터 측정되는 상기 기준 개체에 대한 연직선과 그림자선 정보를 이용하여 촬영 당시 카메라와 광원의 방위각을 추정하고 상기 연직선과 그림자선 및 영상의 공간해상도를 이용하여 촬영 당시 광원과 카메라의 고도각을 추정하거나 영상의 공간해상도를 모르는 경우 광원과 카메라의 고도각을 대신할 수 있는 고도각 비례상수를 추정한다.
상기 제 5단계는 3차원 정보를 추출할 개체의 높이값을 조절하며, 상기 높이값의 조절은 초기 높이값을 0으로 설정하고 순차적으로 높이값을 증가시키는 방법으로 수행될 수 있다.
상기 제 6단계는 상기 제 3단계를 통하여 추정된 촬영 당시 카메라와 광원의 방위각과 고도각 또는 고도각을 대신할 수 있는 고도각 비례상수를 이용하여 상기 제 5단계를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 생성하고, 생성된 상기 개체의 연직선과 그림자를 상기 입력받은 영상에 투영한다.
상기 제 7단계는 상기 제 6단계를 통하여 투영된 그림자가 상기 입력받은 영상의 그림자와 일치하는지 여부를 판정하며, 불일치하는 경우에는 상기 제 5단계 과정을 재수행함으로써 상기 개체의 높이값을 다시 조절한다.
상기 제 8단계는 상기 제 6단계에서 투영된 그림자와 상기 제 1단계를 통하여 입력받은 영상의 그림자가 일치하는 것으로 상기 제 7단계를 통하여 판정되면, 상기 제 5단계를 통하여 조절된 상기 개체의 높이를 추출하여 실제 개체의 높이로 결정하고, 상기 개체의 지붕면 외곽선을 연직선을 따라 평행이동시켜 상기 개체의 바닥면 외곽선 위치를 추출하며, 추출된 상기 바닥 외곽선 위치를 통하여 상기 입력된 영상에서 상기 개체의 위치를 결정한다.
상기한 바와 같이 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법에 의하면, 메타정보 없이도 광원과 카메라의 고도각 및 방위각 등의 정보를 영상으로부터 추정하여 사용함으로써 단지 한 장의 영상만으로도 저렴한 비용으로 3차원 개체정보를 추출할 수 있는 효과가 있다. 또한 메타정보가 없어도 되기 때문에 공개된 영상 지도 등 다양한 단일 고해상도 영상을 활용할 수 있는 효과가 있다.
또한, 본 발명은 메타정보를 모르는 단일 영상만으로 개체의 3차원 정보를 추출할 수 있기 때문에, 3차원 도시모델 생성 및 갱신, 3차원 지도 생성 및 갱신, 수치지형도 생성 및 갱신, 여러 종류의 환경 시뮬레이션 분야, 실세계를 기반으로 한 컴퓨터 게임, 자동차 등의 네비게이션을 위한 지도 등 3차원 개체 모델 또는 개체의 3차원 정보를 필요로하는 다양한 분야에서 적용될 수 있는 효과가 있다.
도 1은 본 발명을 구현하기 위한 하드웨어 구성도이다.
도 2는 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법의 순서도이다.
도 3은 광원과 카메라의 고도각과 3차원 개체 및 그림자와의 관계를 설명하기 위한 도이다.
도 4는 영상에서 나타나는 카메라와 광원의 방위각과 3차원 개체 및 그림자와의 관계를 설명하기 위한 도이다.
도 5는 푸시브룸(Pushbroom) 방식으로 촬영된 영상에서 객체와 카메라 및 광원(태양)의 방위각의 관계를 나타낸 예시도이다.
도 6은 중심투영(Perspective) 방식으로 촬영된 영상에서 개체 연직선 방향을 나타낸 도이다.
도 7은 푸시브룸(Pushbroom) 방식의 영상에서 광원(태양)과 카메라의 고도각과 개체와의 관계를 나타낸 도이다.
도 8은 중심투영(Perspective) 방식의 영상에서 광원(태양)과 카메라의 고도각과 개체와의 관계를 나타낸 도이다.
도 9는 본 발명에 따른 방법을 이용하여 추정한 카메라와 광원의 방위각 및 고도각 등의 정보를 이용하여 실제로 한 장의 영상으로부터 어떻게 개체가 추출되는 지 보여주는 예시도이다.
도 10은 본 발명에 따른 방법을 이용하여 실제로 푸시브룸(Pushbroom) 방식의 위성 영상에 적용하여 개체(건물)을 추출한 모습을 보여주는 예시도이고,
도 11은 중심투영(Perspective) 방식의 항공사진에 적용하여 개체(건물)를 추출한 모습을 보여주는 예시도이며,
도 12는 푸시브룸(Pushbroom) 방식의 위상 영상에 적용하여 개체(도로다리)를 추출한 모습을 보여주는 예시도이다.
도 13은 본 발명에 따른 방법을 이용하여 실제로 푸시브룸(Pushbroom) 방식의 위성 영상에 적용하여 개체의 3차원 정보를 추출하고, 이를 이용하여 3차원 모델을 생성한 결과를 보여주는 예시도이다.
도 14는 본 발명에 따른 방법의 실험에 사용된 영상을 나타낸 도이다.
도 15는 메타정보와 IKONOS 영상을 이용해서 생성한 건물 모델과 표 5의 C,D,A 경우에 따라서 생성한 건물 모델을 나타내는 도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명이 적용되는 일반적인 컴퓨터 구성도로서, 사용자로부터 각종 데이터를 입력받기 위한 입력부(100), 상기 입력부(100)를 통해 입력되는 데이터를 바탕으로 본 발명의 전반적인 기능을 수행하게 되는 중앙처리장치(200), 상기 중앙처리장치(200)의 연산에 필요한 데이터를 임시 보관하기 위한 메모리(300) 및 상기 중앙처리장치(200)의 처리 결과를 출력하는 출력부(400)로 구성되며, 상기 출력부(400)는 모니터 또는 프린터 등의 다양한 종류가 있을 수 있다.
이와 같은 시스템에서 수행되는 본 발명을 도 2의 순서도와 함께 설명한다.
먼저, 제 1단계(S100)에서는, 인공위성 또는 항공기 등에서 개체를 촬영한 영상 데이터로부터 메타정보가 없는 영상을 입력부(100)를 통하여 입력받는다.
여기서, 상기 메타정보는 촬영된 영상의 촬영일시, 촬영지역 및 카메라에 대한 개략적인 위치, 카메라에 대한 방위각과 고도각, 광원에 대한 방위각과 고도각, 영상의 공간해상도(또는 GSD) 등이 나타나 있는 데이터를 말하며, 본 발명에서는 한 장의 영상에서 개체정보를 추출하기 위해서 필요한 정보를 영상 자체에서 얻기 때문에 영상에 대한 메타정보가 필요없다는 특징이 있다.
다음으로, 제 2단계(S200)에서는, 상기 제 1단계(S100)를 통하여 입력받은 영상으로부터 기준 개체를 선택하여 상기 기준 개체에 대한 연직선 및 그림자선을 영상에서 측정하고 상기 기준 개체에 대한 높이를 부여한다.
여기서, 상기 기준 개체는 입력받은 영상에서 그림자와 개체의 바닥면 모퉁이가 잘 식별될 수 있는 개체가 선택되며, 상기 기준 개체에 대해 측정되는 연직선은 기준 개체의 지붕 모퉁이와 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 잇는 직선을 의미하며 상기 기준개체에 대해 측정되는 그림자선은 상기 지붕 모퉁이에 대응되는 그림자 끝점과 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 잇는 직선을 의미한다.
다음으로, 제 3단계(S300)에서는, 중앙처리장치(200)를 이용하여 수행되며, 상기 제 2단계(S200)를 통하여 부여된 기준 개체에 대한 높이와 측정된 상기 기준 개체에 대한 연직선 및 그림자선 정보를 이용하여 촬영 당시 카메라와 광원의 방위각 및 고도각을 추정한다.
한편, 상기 카메라와 광원의 고도각을 추정하는 경우에 있어서, 영상의 GSD(Ground Sampling Distnace) 또는 공간해상도를 모르는 경우에는 상기 고도각을 대체할 수 있는 고도각 비례상수를 추정한다.
다음으로, 제 4단계(S400)에서는, 상기 제 3단계(S300)를 통하여 촬영 당시 카메라와 광원의 방위각 및 고도각 등의 정보를 계산한 이후에, 상기 제 1단계(S100) 를 통하여 입력받은 영상으로부터 바닥면 위치와 개체의 높이를 구하고자 하는 특정개체를 선택하여 선택된 개체의 지붕면 외곽선을 추출한다.
그 다음, 제 5단계(S500)에서는, 4단계에서 선택된 상기 개체의 높이값을 조절한다. 이러한 높이값의 조절은 초기 높이값을 0으로 설정하고 순차적으로 높이값을 증가시키는 방법으로 수행될 수 있다.
다음으로, 제 6단계(S600)에서는, 상기 제 5단계(S500)를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 입력받은 영상에 투영한다.
즉, 상기 제 6단계(S600)는 상기 제 3단계(S300)를 통하여 추정된 촬영 당시 카메라와 광원의 방위각 및 고도각 정보 또는 고도각을 대신할 수 있는 고도각 비례상수를 이용하여 상기 제 5단계(S500)를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 생성하고, 생성된 상기 개체의 연직선과 그림자를 상기 제 1단계(S100)를 통하여 입력받은 영상에 투영한다.
다음으로, 제 7단계(S700)에서는, 투영된 그림자가 입력받은 영상의 그림자와 일치하는지 여부를 판정한다.
상기 제 7단계(S700)는 상기 제 6단계(S600)를 통하여 투영된 그림자가 상기 제 1단계(S100)를 통하여 입력받은 영상의 그림자와 일치하는지 여부를 판정하며, 불일치하는 경우에는 상기 개체의 높이값을 다시 조절할 수 있도록 상기 제 5단계(S500)의 과정부터 재수행한다.
마지막으로, 제 8단계(S800)는, 상기 제 6단계(S600)에서 투영된 그림자와 상기 입력받은 영상의 그림자가 일치하는 것으로 판정되면, 선택된 상기 개체의 높이와 바닥면 외곽선 위치를 추출한다.
즉, 상기 제 8단계(S800)는, 상기 제 6단계(S600)에서 투영된 그림자와 상기 제 1단계(S100)를 통하여 입력받은 영상의 그림자가 일치하는 것으로 상기 제 7단계(S700)를 통하여 판정되면, 상기 제 5단계(S500)를 통하여 조절된 상기 개체의 높이를 추출하여 실제 개체의 높이로 결정하고, 상기 개체의 지붕면 외곽선을 연직선을 따라 평행이동시켜 상기 기준 개체의 바닥면 외곽선 위치를 추출하며, 추출된 상기 바닥면 외곽선 위치를 통하여 상기 제 1단계(S100)를 통하여 입력된 영상에서 상기 개체의 위치를 결정한다.
도 3은 광원과 카메라의 고도각과 3차원 개체 및 그림자와의 관계를 설명하기 위한 도이고, 도 4는 영상에서 나타나는 카메라와 광원의 방위각과 3차원 개체 및 그림자와의 관계를 설명하기 위한 도이다.
즉, 도 3에서는 영상을 촬영할 당시, 광원과 카메라의 고도각이 실세계의 개체 및 그림자와 어떠한 관계를 나타내는지 보여주며, 도 4에서는 영상에 나타나는 카메라와 광원의 방위각 및 개체, 그림자와의 관계를 보여준다.
본 발명에서는 도 1 및 도 2에 도시된 바와 같이 촬영 당시의 광원, 카메라, 개체 및 그림자와의 기본적인 관계를 이용하여 영상에서 관측할 수 있는 개체에 대한 그림자 및 연직선을 생성하고 이를 영상에 투영하는 방법을 수행한다.
한편, 단일 영상으로부터 추정되는 광원과 카메라의 방위각은 영상에서 측정한 기준 개체의 연직선과 그림자선이 영상의 Y축과 이루는 각도를 사용하여 추정하며 광원과 카메라의 고도각 또는 고도각을 대체할 수 있는 고도각 비례상수는 기준 개체의 연직선과 그림자선의 길이와 기준 개체에 대해서 입력받은 높이값을 이용하여 추정한다. 단일 영상으로부터 추정되는 광원과 카메라의 방위각과 고도각 정보는 영상의 종류 및 촬영 방식에 따라서 일부 다른 방식으로 추정될 수 있다.
상기 2단계(도 2의 S200)에서 입력되는 높이는 사용자가 지정한 기준 개체에 대하여, 사용자가 실제 알고 있는 높이를 이용하거나, 실제 측량장비 등을 이용하여 측정한 높이 또는 인터넷 등에 공개되어 있는 정보를 통해서 알게 된 높이, 사용자가 짐작한 대략적인 높이 등을 사용할 수 있다.
여기서, 상술한 바와 같은 높이 조절은 0의 값부터 시작하여 순차적으로 높이값을 조절하며, 이에 따라서 상기 개체의 연직선을 생성하고, 상기 연직선을 따라서 기준 개체 지붕의 외곽선을 평행 이동시켜서 상기 기준 개체의 바닥 위치를 추출한다.
이 때, 주어진 높이에 해당하는 그림자가 투영되는 지역이 경사가 있거나 또는 다른 높이의 물체가 그 지역 내에 존재하는 경우에는, 투영되는 지역의 경사 정도 또는 다른 물체의 높이를 구하여 해당 개체의 높이를 계산할 수 있다.
이하에서는 영상에서 카메라와 광원의 방위각과 고도각 또는 고도각을 대신할 고도각 비례상수를 추정하기 위한 기본 원리를 설명한다. 아울러, 추정된 방위각과 고도각 또는 고도각 비례상수를 이용하여 실제 영상에서 개체의 3차원 정보를 추출하는 과정의 예를 설명한다.
도 5는 푸시브룸(Pushbroom) 방식으로 촬영된 영상에서 객체와 카메라 및 광원(태양)의 방위각의 관계를 나타낸 예시도이고, 도 6은 중심투영(Perspective) 방식으로 촬영된 영상에서 개체 연직선 방향을 나타낸 예시도이다.
도 5에 도시된 바와 같이 푸시브룸(Pushbroom) 촬영 방식의 영상을 이용하는 경우, 영상의 Y 방향을 기준으로 했을 때, 지붕 모퉁이와 바닥 모퉁이를 연결한 연직선과의 관계로부터 나타나는 개체의 연직선 방위각을 보여준다.
개체의 연직선 방위각으로부터 촬영 당시의 카메라 방위각을 추정할 수 있으며, 이 때 실제 카메라 방위각은 북쪽 방향을 기준으로 하지만, 본 발명에서는 영상의 Y 방향을 북쪽으로 가정하였다.
또한, 도 5는 그림자 끝점과 바닥 모퉁이를 연결하는 그림자선과 영상의 Y 방향 간의 관계가 그림자선의 방위각을 나타냄을 보여준다. 여기서, 광원은 그림자의 반대 방향이므로 이와 같은 관계를 통하여 광원의 방위각을 추정할 수 있다.
도 6은 중심투영(Perspective) 방식의 영상을 이용하는 경우, 개체 연직선의 방위각이 어떻게 결정되는지를 보여준다. 이러한 중심투영 방식에서 개체의 연직선은 영상의 주점(Principal Point)을 향하고 있으므로, 두 개 이상의 연직선을 측정하고, 측정된 연직선이 교차되는 지점을 주점으로 결정한다. 여기서, 상기 주점은 영상 내의 모든 개체 연직선의 방향을 나타내는 기준이 되며, 이로부터 각 개체에서의 카메라에 대한 방위각을 산출할 수 있다.
이 때, 교차되는 두 개 이상의 연직선은 동일한 개체에서 선택될 수 있고, 다른 개체에서 선택될 수도 있다.
이러한 중심투영(Perspective) 방식의 영상에서 광원의 방위각은 상술한바와 같은 푸시브룸(Pushbroom) 방식의 영상에서와 동일한 방식(도 5 참조)으로 추정된다.
도 7은 푸시브룸(Pushbroom) 방식의 영상에서 광원(태양)과 카메라의 고도각과 개체와의 관계를 나타낸 도이고, 도 8은 중심투영(Perspective) 방식의 영상에서 광원(태양)과 카메라의 고도각과 개체와의 관계를 나타낸 도이다.
도 7에서는 푸시브룸(Pushbroom) 방식의 영상의 경우에 광원과 카메라의 고도각을 추정하는데 필요한 기본적인 원리를 보여주고 있다. 푸시브룸 방식의 영상은 한 장의 영상 안에서 모든 개체에 대한 카메라의 고도각이 동일하며 또한 광원(태양)의 고도각의 경우도 광원(태양)과 지표면의 거리가 굉장히 먼 거리에 있어 한 장의 영상 안에서 모든 개체에 대한 광원의 고도각도 동일하다고 가정할 수 있다. 따라서 기준 개체에 대한 고도각을 도 7에 도시된 관계와 하기의 수학식 1 및 수학식 2를 이용하여 추정할 수 있다.
도 8은 중심투영(Perspective) 방식의 영상의 경우에 광원과 카메라의 고도각을 추정하는데 필요한 기본적인 원리를 보여주고 있다. 중심투영 방식의 영상의 경우에는 영상 내의 각 개체들에 대한 카메라의 고도각은 서로 다른 값을 갖는다고 할 수 있다. 이러한 특징을 갖는 중심투영 방식의 영상에서의 카메라 고도각은 영상의 주점을 기준으로 하여, 주점과 각 개체의 지붕 모퉁이점과의 거리 등을 이용하여 일반적인 방법으로 계산될 수 있다.
이러한 중심투영(Perspective) 방식의 영상에서도 광원(태양)은 굉장히 먼 곳에 있기 때문에, 한 장의 영상 안에 있는 모든 개체에서 광원에 대한 고도각과 방위각은 동일하다고 할 수 있다.
한편, 광원의 고도각은 각 촬영 방식 및 영상의 종류에 따라서 도 7 및 도 8과 같은 기본적인 특징을 갖고 있으며, 본 발명에서는 도 7 및 도 8의 기본적인 특징와 사용자가 부여한 개체의 높이로부터 하기의 수학식 1을 이용하여 계산할 수 있다.
[수학식 1]
Figure PCTKR2010005104-appb-I000001
여기서, Lshadow은 기준 개체에서 바닥 모퉁이와 대응되는 그림자 끝점을 연결하는 그림자선의 영상좌표상에서의 길이를 나타내고, H는 사용자가 부여한 개체 높이를 나타내고, θsun는 추정될 광원의 고도각, GSD는 영상의 공간해상도를 나타낸다.
이 때, 만약 공간해상도 또는 GSD를 모르는 경우라면,
Figure PCTKR2010005104-appb-I000002
를 광원의 고도각을 대신할 고도각 비례상수로 정의하고 이 값을 계산한다.
한편, 카메라의 고도각은 각 촬영방식 및 영상의 종류에 따라서 도 7과 도 8과 같은 기본적인 특징을 가지고 있으며, 본 발명에서는 도 7과 도 8의 기본적인 특징과 사용자가 부여한 개체의 높이로부터 하기 수학식 2를 이용하여 계산할 수 있다.
[수학식 1]
Figure PCTKR2010005104-appb-I000003
여기서, Lvertical 은 기준 개체의 지붕 모퉁이와 바닥 모퉁이를 연결하는 연직선의 영상좌표상에서의 길이를 나타내고, H는 사용자가 부여한 개체 높이를 나타내며, θcamera는 추정될 카메라의 고도각, GSD는 영상의 공간해상도를 나타낸다.
이 때, 만약 공간해상도 또는 GSD를 모르는 경우라면
Figure PCTKR2010005104-appb-I000004
를 광원의 고도각을 대신할 고도각 비례상수로 정의하고 이 값을 계산한다.
이하에서는 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법을 이용하여 추출된 다양한 예시도를 설명한다.
도 9는 본 발명에 따른 방법을 이용하여 추정한 카메라와 광원의 방위각 및 고도각 등의 정보를 이용하여 실제로 한 장의 영상으로부터 어떻게 개체가 추출되는 지 보여주는 예시도이다.
도 10은 본 발명에 따른 방법을 이용하여 실제로 푸시브룸(Pushbroom) 방식의 위성 영상에 적용하여 개체(건물)을 추출한 모습을 보여주는 예시도이고, 도 11은 중심투영(Perspective) 방식의 항공사진에 적용하여 개체(건물)를 추출한 모습을 보여주는 예시도이며, 도 12는 푸시브룸(Pushbroom) 방식의 위상 영상에 적용하여 개체(도로다리)를 추출한 모습을 보여주는 예시도이다.
도 13은 본 발명에 따른 방법을 이용하여 실제로 푸시브룸(Pushbroom) 방식의 위성 영상에 적용하여 개체의 3차원 정보를 추출하고, 이를 이용하여 3차원 모델을 생성한 결과를 보여주는 예시도이다.
도 9 내지 도 13에 도시된 다양한 예시와 같이 본 발명은 인공위성, 항공기 또는 기타 다른 방식으로 특정 지역을 촬영한 영상뿐만 아니라, 인터넷 등에 공개되어 있지만, 메타정보 등은 알 수 없는 영상을 이용하여 지형분석, 지도제작, 경관분석, 3차원 모델링, 시뮬레이션 분야 등에서 필요한 개체의 3차원 정보를 추출하는데 적용될 수 있다.
이하에서는 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법의 실험 결과를 설명한다.
본 실험에서는 IKONOS 영상과 구글어스에서 추출한 동일 지역의 영상을 이용하여 실험을 수행하였으며, 사용된 영상은 도 14에 도시된 바와 같다.
도 14에서 위쪽 그림은 실험에 사용된 대전 지역의 IKONOS 영상 일부분을 보여주고 있다. 사용된 IKONOS 영상은 2002년도에 촬영된 표준기하보정 처리된 영상으로 메타정보에서 센서와 태양의 방위각 및 고도각은 하기의 표 1에 나타나 있다.
[표 1]
Figure PCTKR2010005104-appb-I000005
도 14의 아래쪽 그림은 구글어스에서 대전 지역을 추출한 것이다. 구글어스에서 대전 지역을 추출할 때, 시각적으로 IKONOS 영상 보다 큰 공간 해상도를 갖도록 하였다. 도 14에서 동그라미 부분은 메타정보를 이용하지 않을 때 기준으로 사용된 건물을 표시한 것이다.
본 발명에서는 건물의 높이 기준값을 스테레오 IKONOS 영상으로부터 추출하였다. 이를 위하여 사용된 지상기준점은 IKONOS 영상을 기준으로 실제 대전 지역에서 GPS 측량 장비로 측정한 것이다. 본 발명에서는 각 영상에 대해서 10개의 지상기준점을 측정하여 이용하였다.
IKONOS 영상으로부터 건물 모델의 수평 위치를 산출할 때 사용된 수치표고모델은 1:5000, 수치지형도로부터 ArcMap을 이용하여 9.05 m의 공간해성도로 생성한 것이다.
본 발명의 실험 방법은, IKONOS 영상에서 메타정보를 이용하여 기존방법으로 건물 정보를 추출하고, 메타정보를 이용하지 않고 제안된 방법으로 건물 정보를 추출하여 각각의 경우에 대해 수평 위치와 높이 정확도를 검증하였다. 또한, 메타정보가 없는 구글어스 영상에 본 발명에 따른 방법을 적용하여 건물 정보를 추출하고 건물의 높이 정확도를 검증하였다. 그리고, 추출된 건물 정보로 3차원 건물 모델을 생성하여 육안으로 그 차이를 비교하여 보았다.
본 발명에 따른 방법의 정확도를 검증하기 위하여 스테레오 IKONOS 영상에서 추출한 건물 높이와 1:1000 수치지형도에서 대응되는 건물의 수평 위치를 참값으로 가정하였다.
본 발명에 따른 방법은 높이값을 부여하여 방위각 및 고도각을 추정할 기준건물이 필요하며, 본 실험에서는 메타정보가 없는 경우 선택한 기준건물은 정부대전청사와 주변에 있는 임의의 아파트를 선정하였다.(도 14의 동그라미 부분)
정부대전청사는 인터넷에 지상으로부터의 최고높이가 91.9m 로 명시(정부청사관리소, 2009)되어 있으므로 이를 이용하였다.
주변에 있는 임의의 아파트는 대략적인 높이를 적용한 결과를 알아보기 위해서 이용하였다. 본 실험에서는 아파트의 대략적인 높이를 40 m로 설정하고 본 발명에 따른 방법을 적용하였다.
본 발명에 따른 방법에 의해 추정된 방위각 및 고도각은 표 1 및 표 2와 같다. 상기 표 1에서 볼 수 있듯이, 실제 IKONOS 위성영상의 메타정보에 있는 센서와 태양의 방위각이 IKONOS 위성영상의 기준건물을 이용하여 산출한 방위각과 몇 °의 차이를 보임을 알 수 있다.
[표 2]
Figure PCTKR2010005104-appb-I000006
본 발명에 따른 방법으로 추출된 방위각은 영상의 Y축을 기준으로 하였기 때문에 이러한 차이가 나타나는 것으로 추측된다. 고도각의 경우에 센서 고도각은 유사하지만, 태양의 고도각은 정부대전청사의 고도각이 다르게 산출되었다.
이러한 차이의 원인은 고도각 산출을 위해서 사용되는 영상에서의 그림자의 길이를 계산할 때, 실제 지면의 굴곡에 따라서 발생하는 그림자 길이 차이, 그림자 길이를 계산할 때 선택하는 픽셀의 위치 정확도 등인 것으로 추측된다.
한편, 구글어스 영상의 경우에는 정부대전청사 I, 정부대전청사 II, 임의의 아파트로 나누어 실험을 수행하였다.(표 2)
이 때, 정부대전청사 I은 인터넷에서 찾은 높이인 91.9 m를 적용했을 때이고, 정부대전청사 II는 스테레오 IKONOS 영상에서 추출한 정부대전청사 높이 88.8 m를 사용하였다. 인터넷 상에서 찾은 높이(91.9 m)와 스테레오 영상에서 추출한 높이(88.8 m)가 차이나는 이유는, 스테레오 영상에서 추출한 높이의 경우에 정부대전청사의 헬기 착륙장으로 보이는 곳의 높이를 고려하지 않았기 때문으로 판단된다.
하기의 표 3은 IKONOS 위성영상을 이용하여 메타정보를 적용했을 때, 정부대전청사를 기준 건물로 했을 때, 임의의 아파트를 기준 건물로 했을 때 각각 생성한 3차원 건물 모델의 수직(건물 높이) 정확도를 보여준다.
[표 3]
Figure PCTKR2010005104-appb-I000007
상기 표 3에서 기준높이로 사용한 건물 높이는 스테레오 IKONOS 위성영상에서 지상 기준점으로 수립한 직접선형변환(Direct Linear Transformation)을 이용하여 추출한 높이이다.
즉, 스테레오 영상에서 동일한 건물 지붕 모퉁이로부터 직접선형변환을 이용하여 추출한 Z좌표와 지상에서 추출한 Z좌표와의 차이를 건물의 높이로 결정하였다. 수립된 직접선형변화은 각각의 영상에 대해서 1 내지 3개 정도의 검사점으로 모델 수립 정확도를 알아봤으며, 그 결과, 각각의 영상에 대해서 약 1 픽셀 정도의 RMS 오차가 나타남을 확인하였다.
상기 표 3에서 알 수 있듯이, 생성된 건물 모델의 높이 정확도 검증을 위해서 총 20개의 건물을 선택하였다.
표 3에서 스테레오(S)는 스테레오 IKONOS 영상에서 추출한 높이, 메타정보(M)은 주어진 메타정보를 이용해서 추출한 높이, 정부청사(D)는 정부대전청사(91.9 m)를 기준으로 추출한 높이, 아파트(A)는 임의의 아파트(40 m)를 기준으로 추출한 높이를 보여주고 있다.
그리고, S-M, S-D, S-A는 각각 스테레오 영상에서 추출한 높이에서 메타정보를 이용한 높이, 정부청사를 기준으로 한 높이, 임의의 아파트를 기준으로 한 높이를 빼준 결과를 나타낸다.
상기 표 3에서 보면, 정부청사를 기준 건물로 하여 추출한 건물 높이의 RMS 오차가 가장 크고, 가장 큰 오차(-4.406 m)도 정부청사를 기준 건물로 하여 추출한 건물 높이 중에서 존재했다.
이는 헬기 착륙장으로 보이는 부분의 높이를 고려하지 않았기 때문으로 생각된다. 임의의 아파트를 기준으로 한 결과는 비교적 정확도가 높게 나왔는데, 이는 대략적으로 부여한 아파트의 높이가 실제 아파트의 높이와 유사했기 때문에 나타난 결과라고 생각된다.
위 실험 후에, 스테레오 영상에서 임의의 아파트 높이를 추출한 결과, 높이가 약 43 m로 나타냈다. 상기 표 3에서서도 볼 수 있듯이, 대략적인 높이를 적용한 경우에 메타정보를 사용하여 추출한 건물 높이 패턴과 유사한 패턴을 보여주고 있다.
본 실험에서는 또한 20개의 건물 중에서 5개의 건물에 대해서 수평 위치 정확도를 검증해 보았다. 추출된 건물의 바닥 모퉁이 좌표 2개를 1:1000 수치지형도에 대응되는 건물과 비교한 결과는 하기의 표 4와 같다.
[표 4]
Figure PCTKR2010005104-appb-I000008
상기 표 4에서 ID는 상기 표 3의 ID와 대응된다. x1,y1,x2,y2는 각각 한 모퉁이의 x,y 좌표와 다른 모퉁이의 x,y 좌표를 나타내고, 수치지도(R)은 1:1000 수치지도에서 대응되는 건물의 바닥 모퉁이 수평위치 좌표를 보여준다. 이 때 수치지형도는 베셀 타원체의 TM 좌표계가 사용된 것으로, 건물의 수평위치 좌표는 모두 TM 좌표로 통일하였다.
상기 표 4에서 오차에 있는 R-M, R-D, R-A는 수치지형도의 건물 좌표에서 메타정보를 이용하여 추출한 건물 좌표, 정부대전청사를 기준으로 하여 추출한 건물 좌표, 임의의 아파트를 기준으로 하여 추출한 건물 좌표를 빼준 결과이다.
상기 표 4에서 볼 수 있듯이, 5개 건물에 대한 수평 위치 RMS 오차는 3 m 미만으로 IKONOS 영상의 공간해상도 등을 고려했을 때, 나쁘지 않은 정확도를 보여준 것으로 판단된다. 위의 수평/수직 정확도를 비교해 보면, 메타정보를 사용하지 않고, 대략적인 높이로부터 산출한 정보를 적용하여 생성한 3차원 건물모델도 비교적 정확할 수 있음을 알 수 있다. 또한, 3차원 건물 모델 간의 상대적인 높이 차이 패턴이 모든 경우에 유사함을 보이고 있다.
하지만, 몇 m의 오차를 보이고 있으며, 이러한 오차의 원인은 기준 건물에서 고도각 등을 계산할 때 측정하는 건물 연직선 또는 그림자의 길이에 포함된 오차, 건물 지붕 모퉁이 선택 시 발생하는 오차, 실제 지표면의 높이가 평평하지 않았을 때 발생하는 오차 등인 것으로 추측된다.
하기의 표 5는 구글어스 영상에서 생성한 건물 모델의 높이 정확도를 보여주고 있다.
[표 5]
Figure PCTKR2010005104-appb-I000009
상기 표 5에서 정부청사(C)는 스테레오 IKONOS 영상에서 추출한 정부대전청사 높이 88.8 m를 적용하여 추출한 건물 높이이고, 정부청사(D)는 정부대전청사 높이 91.9 m를 적용하여 추출한 건물의 높이를 보여주고 있다.
상기 표 5에서는 총 17개 건물에 대한 오차를 보여주고 있으며, 건물 ID는 상기 표 3과 대응된다.
여기에 없는 건물 ID의 건물은 구글어스 영상에는 없지만, IKONOS 영상에는 있는 건물이다. 위 결과에서도 알 수 있듯이, 건물 간의 상대적인 높이 차이 패턴이 모두 유사하다. 한편, 구글어스 영상의 경우에는 추출한 영상의 범위가 작아서 센서 모델을 수립할 정도의 지상 기준점을 확보하지 못하여 수평 위치 오차를 알아보지 않았다.
도 15는 메타정보와 IKONOS 영상을 이용해서 생성한 건물 모델과 상기 표 5의 C,D,A 경우에 따라서 생성한 건물 모델을 보여주고 있다.
상기 도 15에서 각각의 경우에 따라서 생성한 건물 모델들의 상대적인 높이 차이가 시각적으로도 유사함을 확인할 수 있다. 즉, 메타정보가 없어도 시각적으로는 실세계와 유사한 높이 패턴을 갖는 건물 모델을 생성하는 것이 가능하다는 것을 보여준다.
이상과 같이 본 발명에 따른 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

Claims (6)

  1. 인공위성 또는 항공기에서 촬영된 영상 데이터로부터 메타정보가 없는 영상을 입력받는 제 1단계;
    상기 제 1단계를 통하여 입력받은 영상으로부터 기준 개체를 선택하여 상기 기준 개체에 대한 연직선 및 그림자선을 입력받은 영상으로부터 측정하고 상기 기준 개체에 대한 높이를 부여하는 제 2단계;
    상기 제 2단계를 통하여 부여된 기준 개체에 대한 높이와 측정된 상기 기준 개체에 대한 연직선 및 그림자선 정보를 이용하여 촬영 당시 카메라와 광원의 방위각과 고도각 또는 고도각을 대신할 수 있는 고도각 비례상수를 추정하는 제 3단계;
    상기 입력받은 영상으로부터 바닥면 위치와 개체의 높이를 구하고자하는 특정개체를 선택하여 선택된 개체의 지붕면 외곽선을 추출하는 제 4단계;
    선택된 상기 개체의 높이값을 조절하는 제 5단계;
    상기 제 5단계를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 상기 입력받은 영상에 투영하는 제 6단계;
    상기 제 6단계를 통하여 투영된 그림자가 상기 입력받은 영상의 그림자와 일치하는지 여부를 판정하는 제 7단계; 및
    상기 제 6단계에서 투영된 그림자와 상기 입력받은 영상의 그림자가 일치하는 것으로 상기 제 7단계를 통하여 판정되면, 선택된 상기 개체의 높이와 바닥면 외곽선 위치를 추출하는 제 8단계;
    를 포함하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
  2. 청구항 1에 있어서,
    상기 제 2단계는 상기 제 1단계를 통하여 입력받은 영상으로부터 상기 기준 개체를 선택하여 상기 기준 개체에 대한 지붕 모퉁이와 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 연결하는 연직선과 상기 지붕 모퉁이에 대응되는 그림자 끝점과 상기 지붕 모퉁이에 대응되는 바닥 모퉁이를 연결하는 그림자선을 측정하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
  3. 청구항 1에 있어서,
    상기 제 3단계는 상기 제 2단계를 통하여 입력받은 영상으로부터 측정한 상기 기준 개체의 연직선과 그림자선을 이용하여 촬영 당시 광원과 카메라의 방위각을 추정하고, 상기 연직선과 그림자선 및 영상의 공간해상도를 이용하여 촬영 당시 광원과 카메라의 고도각을 추정하거나 영상의 공간해상도를 모르는 경우 광원과 카메라의 고도각을 대신할 수 있는 고도각 비례상수를 추정하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
  4. 청구항 1에 있어서,
    상기 제 6단계는 상기 제 3단계를 통하여 추정된 촬영 당시 카메라와 광원의 방위각과 고도각 또는 고도각 비례상수를 이용하여 상기 제 5단계를 통하여 조절된 높이값에 대응되는 상기 개체의 연직선과 그림자를 생성하고, 생성된 상기 개체의 연직선과 그림자를 상기 입력받은 영상에 투영하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
  5. 청구항 1에 있어서,
    상기 제 7단계는 상기 제 6단계를 통하여 투영된 그림자가 상기 입력받은 영상의 그림자와 일치하는지 여부를 판정하며, 불일치하는 경우에는 상기 제 5단계 과정을 재수행함으로써 상기 개체의 높이값을 다시 조절하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
  6. 청구항 1에 있어서,
    상기 제 8단계는 상기 제 6단계에서 투영된 그림자와 상기 제 1단계를 통하여 입력받은 영상의 그림자가 일치하는 것으로 상기 제 7단계를 통하여 판정되면,
    상기 제 5단계를 통하여 조절된 상기 개체의 높이를 추출하여 실제 개체의 높이로 결정하고,
    상기 개체의 지붕면 외곽선을 연직선을 따라 평행이동시켜 상기 개체의 바닥면 외곽선 위치을 추출하며, 추출된 상기 바닥면 외곽선 위치를 통하여 상기 입력된 영상에서 상기 개체의 위치를 결정하는 것을 특징으로 하는 메타정보 없는 단일 영상에서 그림자 분석을 통한 3차원 개체정보 추출방법.
PCT/KR2010/005104 2009-12-16 2010-08-03 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 WO2011074759A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10809221.4A EP2515274A4 (en) 2009-12-16 2010-08-03 METHOD FOR EXTRACTING THREE-DIMENSIONAL OBJECT INFORMATION FROM A SINGLE IMAGE WITHOUT META-INFORMATION
US13/057,066 US8437554B2 (en) 2009-12-16 2010-08-03 Method of extracting three-dimensional objects information from a single image without meta information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090125439A KR20110068469A (ko) 2009-12-16 2009-12-16 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
KR10-2009-0125439 2009-12-16

Publications (1)

Publication Number Publication Date
WO2011074759A1 true WO2011074759A1 (ko) 2011-06-23

Family

ID=44167498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/005104 WO2011074759A1 (ko) 2009-12-16 2010-08-03 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법

Country Status (4)

Country Link
US (1) US8437554B2 (ko)
EP (1) EP2515274A4 (ko)
KR (1) KR20110068469A (ko)
WO (1) WO2011074759A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8078436B2 (en) 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
US8145578B2 (en) 2007-04-17 2012-03-27 Eagel View Technologies, Inc. Aerial roof estimation system and method
US8170840B2 (en) 2008-10-31 2012-05-01 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
US8209152B2 (en) 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
KR20110068469A (ko) * 2009-12-16 2011-06-22 인하대학교 산학협력단 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
US20110157314A1 (en) * 2009-12-24 2011-06-30 Samsung Electronics Co., Ltd. Image Processing Apparatus, Image Processing Method and Recording Medium
JP5506371B2 (ja) * 2009-12-24 2014-05-28 三星電子株式会社 画像処理装置、画像処理方法およびプログラム
AU2011210538B2 (en) 2010-02-01 2015-03-26 Eagle View Technologies, Inc. Geometric correction of rough wireframe models derived from photographs
US9396583B2 (en) * 2011-07-22 2016-07-19 Thales Method of modelling buildings on the basis of a georeferenced image
US9599466B2 (en) 2012-02-03 2017-03-21 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
US10515414B2 (en) 2012-02-03 2019-12-24 Eagle View Technologies, Inc. Systems and methods for performing a risk management assessment of a property
WO2013116165A1 (en) * 2012-02-03 2013-08-08 Eagle View Technologies, Inc Systems and methods for estimation of building floor area
US10663294B2 (en) 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US8774525B2 (en) * 2012-02-03 2014-07-08 Eagle View Technologies, Inc. Systems and methods for estimation of building floor area
US9933257B2 (en) 2012-02-03 2018-04-03 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
WO2014033707A1 (en) 2012-08-28 2014-03-06 Ofer Sadka A system and methods for determination of potential solar installable surface area
US10359281B2 (en) 2012-08-28 2019-07-23 Solview Systems Ltd. System and method for generating canvas representations reflecting solar installation potential of a geographic area
KR101448567B1 (ko) * 2012-10-17 2014-10-15 (주)쓰리디랩스 영상지도에서 ３차원 개체를 추출하고 렌더링하는 지도 처리 방법 및 시스템
US10909482B2 (en) 2013-03-15 2021-02-02 Pictometry International Corp. Building materials estimation
US9959581B2 (en) 2013-03-15 2018-05-01 Eagle View Technologies, Inc. Property management on a smartphone
US11587176B2 (en) 2013-03-15 2023-02-21 Eagle View Technologies, Inc. Price estimation model
KR101493418B1 (ko) * 2013-03-29 2015-02-13 현대엠엔소프트 주식회사 공중사진의 그림자 제거 방법 및 그 장치
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
US10444954B2 (en) * 2013-11-11 2019-10-15 Here Global B.V. Distinguishable geographic area presentation
CN103729552B (zh) * 2013-12-19 2016-08-17 河海大学 一种自动识别流域数字化过程中出口点的方法
CN104463970B (zh) * 2014-12-24 2017-05-24 中国科学院地理科学与资源研究所 一种基于遥感影像确定城市三维重心的方法及其应用
US10198633B2 (en) 2015-10-26 2019-02-05 Vivint Solar, Inc. Solar photovoltaic measurement
US9996905B2 (en) * 2016-03-16 2018-06-12 Planet Labs, Inc. Systems and methods for enhancing object visibility for overhead imaging
US20190164309A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Method of detecting shooting direction and apparatuses performing the same
US10503843B2 (en) 2017-12-19 2019-12-10 Eagle View Technologies, Inc. Supervised automatic roof modeling
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
CN108871409A (zh) * 2018-05-02 2018-11-23 北京畅东科技有限公司 一种故障检测方法和系统
US10762681B2 (en) 2018-06-26 2020-09-01 Here Global B.V. Map generation system and method for generating an accurate building shadow
US11164031B2 (en) * 2018-06-26 2021-11-02 Here Global B.V. System and method for analyzing an image of a vehicle
US11501119B2 (en) 2020-02-24 2022-11-15 Electronics And Telecommunications Research Institute Apparatus and method for identifying warship
US11367252B2 (en) 2020-10-01 2022-06-21 Here Global B.V. System and method for generating line-of-sight information using imagery
US20240124137A1 (en) * 2022-10-13 2024-04-18 Wing Aviation Llc Obstacle avoidance for aircraft from shadow analysis

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100647807B1 (ko) 2005-11-24 2006-11-23 인하대학교 산학협력단 그림자 분석을 통한 3차원 건물정보 추출방법
KR20070054593A (ko) * 2004-01-16 2007-05-29 마이크로소프트 아말가매티드 컴퍼니 이 단일한 이미지로부터 3차원 물체를 측량, 모델링 및맵핑하기 위한 시스템, 컴퓨터 프로그램 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4122384B2 (ja) * 2005-01-31 2008-07-23 オプテックス株式会社 通行監視装置
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7500391B2 (en) * 2006-04-27 2009-03-10 Ecometriks, Llc System and method for identifying the solar potential of rooftops
WO2008085553A1 (en) * 2006-08-25 2008-07-17 Eliezer Jacob Improved digital camera with non-uniform image resolution
KR20110068469A (ko) * 2009-12-16 2011-06-22 인하대학교 산학협력단 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070054593A (ko) * 2004-01-16 2007-05-29 마이크로소프트 아말가매티드 컴퍼니 이 단일한 이미지로부터 3차원 물체를 측량, 모델링 및맵핑하기 위한 시스템, 컴퓨터 프로그램 및 방법
KR100647807B1 (ko) 2005-11-24 2006-11-23 인하대학교 산학협력단 그림자 분석을 통한 3차원 건물정보 추출방법

Also Published As

Publication number Publication date
US8437554B2 (en) 2013-05-07
KR20110068469A (ko) 2011-06-22
US20110216962A1 (en) 2011-09-08
EP2515274A4 (en) 2013-05-22
EP2515274A1 (en) 2012-10-24

Similar Documents

Publication Publication Date Title
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2019093532A1 (ko) 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
WO2013015549A2 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
KR101314120B1 (ko) 3차원 도시 모델링 장치 및 방법
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
JP2006148745A (ja) カメラの校正方法及びカメラの校正装置
JP6797607B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN112629431B (zh) 土木结构变形监测方法及相关设备
WO2016035993A1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
WO2021015435A1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
CN109242918A (zh) 一种直升机机载双目立体视觉标定方法
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
JPH1089960A (ja) 三次元画像計測方法
JPH05196437A (ja) ３次元情報入力装置
EP0587328A2 (en) An image processing system
KR100952136B1 (ko) 경사영상의 외부표정요소 보정방법 및 이를 이용한 구조물의 3차원 정보를 측정하는 방법
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
Zhang et al. Precise orthoimage generation of Dunhuang wall painting
JP2004108836A (ja) 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置
JP4135934B2 (ja) 電子機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 13057066

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2010809221

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010809221

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10809221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE