WO2021206200A1 - 점군 정보 가공 장치 및 방법 - Google Patents

점군 정보 가공 장치 및 방법 Download PDF

Info

Publication number
WO2021206200A1
WO2021206200A1 PCT/KR2020/004889 KR2020004889W WO2021206200A1 WO 2021206200 A1 WO2021206200 A1 WO 2021206200A1 KR 2020004889 W KR2020004889 W KR 2020004889W WO 2021206200 A1 WO2021206200 A1 WO 2021206200A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point cloud
cloud information
coordinates
photographing
Prior art date
Application number
PCT/KR2020/004889
Other languages
English (en)
French (fr)
Inventor
이형민
최진민
조규성
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Publication of WO2021206200A1 publication Critical patent/WO2021206200A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • Disclosed embodiments relate to a technology for processing point cloud (Point Cloud) information for a three-dimensional space.
  • Point Cloud point cloud
  • SfM Structure from Motion
  • the SfM algorithm has a process of extracting feature points from images, a process of matching feature points between images, and a process of reconstructing a three-dimensional point cloud by triangulating the matched feature points.
  • various types of SfM algorithms exist according to detailed differences in each process.
  • the disclosed embodiments are intended to provide an apparatus and method for processing point cloud information for allowing previously generated 3D point cloud information to have a value of an actual measurement scale.
  • a point cloud information processing apparatus includes a point cloud information acquisition unit configured to acquire three-dimensional point cloud information for a three-dimensional space, a first image obtained by photographing at least a portion of the three-dimensional space, a second image, and an additional information obtaining unit for acquiring photographing coordinates of each of the first image and the second image, and an operation between a scale of the 3D point cloud information and an actual measurement scale based on the first image, the second image, and the photographing coordinates and a processing unit for processing the three-dimensional point cloud information to the actual measurement scale by performing a .
  • the photographing coordinates may be coordinates indicating locations where each of the first image and the second image are photographed using a preselected location determination technology (LDT).
  • LDT location determination technology
  • the processing unit may extract a plurality of feature points from each of the first image and the second image, map each of the plurality of feature points and each point in the 3D point cloud information, and take the photographing from the mapping result Transformation coordinates in which the coordinates are expressed in the coordinate system of the 3D point cloud information may be obtained, and the 3D point cloud information may be converted into the actual measurement scale by comparing the distance between the photographing coordinates and the distance between the transformation coordinates.
  • the processing unit may calculate the distance between the photographing coordinates by comparing the unit of the photographing coordinates according to the selected positioning technique and the actual distance unit, and the distance between the photographing coordinates and the distance between the transformation coordinates Accordingly, the coordinate system of the 3D point cloud information may be converted into the coordinate system of the actual measurement scale.
  • the method for processing point cloud information includes: obtaining 3D point cloud information for a 3D space; obtaining image and second image capturing coordinates, respectively, and performing an operation between the scale of the three-dimensional point cloud information and the actual measurement scale based on the first image, the second image, and the capturing coordinate to perform the three-dimensional and processing the point cloud information to the actual measurement scale.
  • the photographing coordinates may be coordinates indicating locations where each of the first image and the second image are photographed using a preselected location determination technology (LDT).
  • LDT location determination technology
  • the processing includes: extracting a plurality of feature points from each of the first image and the second image; mapping each of the plurality of feature points with each point in the 3D point cloud information; Obtaining transform coordinates in which the coordinates are expressed in the coordinate system of the three-dimensional point cloud information, and converting the three-dimensional point cloud information into the actual scale by comparing the distance between the photographing coordinates and the distance between the transform coordinates.
  • the converting may include calculating a distance between the shooting coordinates by comparing a unit of the shooting coordinates according to a preselected positioning technique with an actual distance unit, and a ratio of the distance between the shooting coordinates and the distance between the transform coordinates
  • the method may include converting the coordinate system of the three-dimensional point cloud information into the coordinate system of the measured scale according to the method.
  • the computer program stored in the non-transitory computer-readable storage medium When executed by a computing device having one or more processors, it acquires three-dimensional point cloud information for a three-dimensional space, and the three-dimensional space Obtaining a first image, a second image, and photographing coordinates of each of the first image and the second image obtained by photographing at least a part of It may include one or more instructions for processing the 3D point cloud information into the measured scale by performing an operation between the scale of the point cloud information and the measured scale.
  • the point cloud information for the 3D space of the corresponding area by processing the point cloud information for the 3D space of the corresponding area using the image captured in the target area and information about the location at which the image was captured, the It is possible to make the point cloud information have a value of an actual measurement scale, and accordingly, the point cloud information for a 3D space can be scalably utilized for various applications.
  • FIG. 1 is a block diagram illustrating an apparatus for processing point cloud information according to an embodiment
  • FIG. 2 is a diagram illustrating three-dimensional point cloud information and an image according to an embodiment
  • FIG. 3 is a flowchart illustrating a method of processing point cloud information according to an exemplary embodiment
  • FIG. 4 is a flowchart for explaining in detail a step of processing point cloud information according to an exemplary embodiment
  • FIG. 5 is a flowchart for explaining in detail the step of converting point cloud information into an actual scale according to an embodiment
  • FIG. 6 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments;
  • an apparatus 100 for processing point cloud information includes a point cloud information acquisition unit 102 , an additional information acquisition unit 104 , and a processing unit 106 .
  • the point cloud information acquisition unit 102 acquires 3D point cloud information for a 3D space.
  • the 'three-dimensional space' may mean an area having an arbitrary range in an outdoor or indoor environment.
  • '3D point cloud information' refers to information obtained by reconstructing a corresponding 3D space based on a 2D image obtained by photographing the above-described 3D space.
  • the 3D point cloud information may include a plurality of points corresponding to structures such as buildings, objects, and living things in the above-described 3D space and a descriptor corresponding to each point.
  • the descriptor may be a vector for expressing peripheral characteristics of each point in a three-dimensional space.
  • the point cloud information acquisition unit 102 may acquire 3D point cloud information for the 3D space using a predetermined point cloud information generation algorithm, for example, the aforementioned SfM algorithm. In another embodiment, the point cloud information acquisition unit 102 may acquire the 3D point cloud information by receiving the 3D point cloud information calculated by another computing device using a wired or wireless communication means.
  • a predetermined point cloud information generation algorithm for example, the aforementioned SfM algorithm.
  • the point cloud information acquisition unit 102 may acquire the 3D point cloud information by receiving the 3D point cloud information calculated by another computing device using a wired or wireless communication means.
  • the 3D point cloud information acquired by the point cloud information obtaining unit 102 is expressed using a coordinate system of an arbitrary scale, not the actual scale of an actual 3D space. That is, the distance between the points included in the 3D point cloud information only has a relative meaning, and it is impossible to convert the distance between the points into an actual scale value such as a meter unit.
  • the additional information obtaining unit 104 obtains a first image, a second image obtained by photographing at least a portion of a three-dimensional space, and photographing coordinates of the first image and the second image respectively.
  • the additional information obtaining unit 104 captures at least a portion of the above-described three-dimensional space with an image capturing means such as a camera, downloads an image previously uploaded to a web site, or performs web crawling (
  • the first image and the second image may be obtained by extracting an image through web crawling) or by obtaining an image through a satellite map service (eg, Google Street View) provided by a web site. That is, it is possible to use an image obtained from the web without directly photographing the above-described three-dimensional space.
  • the photographing coordinates may be coordinates indicating a position of a point where each of the first image and the second image is photographed.
  • the photographing coordinates when the three-dimensional space is an outdoor space, the photographing coordinates may be coordinates indicating latitude and longitude of points where the first image and the second image are photographed, respectively.
  • the photographing coordinates when the three-dimensional space is an indoor space, the photographing coordinates may be coordinates defined in the indoor space.
  • the photographing coordinates of the images may be obtained using a global positioning system (GPS), a communication network such as mobile communication, or various location determination technologies (LDT) such as indoor positioning.
  • GPS global positioning system
  • LDT location determination technologies
  • the photographing coordinates may be acquired in a form of being tagged with each of the first image and the second image.
  • the disclosed embodiments are not necessarily limited thereto, and the additional information obtaining unit 104 may acquire the first image and the second image separately from the first image and the second image respectively.
  • the processing unit 106 processes the 3D point cloud information into an actual measurement scale by performing an operation between the scale of the 3D point cloud information and the actual measurement scale based on the first image, the second image, and the photographing coordinates of each image.
  • the processing unit 106 may process the 3D point cloud information on an actual scale through the following process.
  • a plurality of feature points are extracted from each of the first image and the second image.
  • the processing unit 106 may extract an end point of a line segment representing a characteristic of the first image and the second image, a vertex of a polygon, or the like as a characteristic point.
  • the processing unit 106 includes a scale-invariant feature transform (SIFT), speeded-up robust features (SURF), features from accelerated segment test (FAST), oriented fast and rotated brief (ORB), etc. Any one of the feature point extraction algorithms may be used, but the present invention is not limited thereto.
  • SIFT scale-invariant feature transform
  • SURF speeded-up robust features
  • FAST features from accelerated segment test
  • ORB oriented fast and rotated brief
  • the processing unit 106 maps each of the feature points to one of the points in the 3D point cloud information by using a descriptor of each feature point extracted from the first image and the second image.
  • FIG. 2 is an exemplary diagram 200 for explaining 3D point cloud information and an image according to an embodiment.
  • 3D point cloud information in a 3D space of a certain range is shown, and a first image (Image 1) and a second image (Image 2) obtained by photographing a part of the 3D space are shown.
  • Image 1 and Image 2 obtained by photographing a part of the 3D space are shown.
  • Image 2 obtained by photographing a part of the 3D space
  • the feature points in the first image and the second image expressed as square boxes are mapped one-to-one with points in the 3D point cloud information, respectively.
  • the coordinate system in which each of the first image and the second image is photographed may be determined depending on which position and at what inclination (direction) the image photographing means for photographing the first image and the second image photographed the image, and the origin may mean a position at which an image is captured on a coordinate system in which each of the images is captured.
  • the photographing coordinates are coordinates indicating the positions of the first image and the second image respectively captured on the coordinate system in which each of the images is photographed.
  • a translation matrix and a rotation matrix between the two coordinate systems may be used for transformation between the coordinate system in which each image is captured and the coordinate system of the three-dimensional point cloud information, but are not necessarily limited thereto. it is not
  • the processing unit 106 uses a mapping pair of feature points (two-dimensional pixel coordinates) in the first image and the second image and each point (three-dimensional coordinates) in the three-dimensional point cloud information to generate the first image and
  • the coordinate system in which each of the second images is captured may be converted into a coordinate system of 3D point cloud information, and thus the photographing coordinates may be represented as transformation coordinates.
  • PnP perspective-n-point
  • applicable PnP algorithms include, but are not limited to, a P3P algorithm, an efficient PnP (EPnP) algorithm, and the like, and any algorithms may be used if transformation between coordinate systems can be performed using the mapping pair. .
  • the three-dimensional point cloud information is converted into an actual measurement scale by comparing the distance between the photographing coordinates and the distance between the transform coordinates.
  • the processing unit 106 may calculate the distance between the photographing coordinates by comparing the unit of the photographing coordinates according to the preselected positioning technique with the actual distance unit. Subsequently, the processing unit 106 may convert the coordinate system of the 3D point cloud information into the coordinate system of the actual measurement scale according to a ratio of the distance between the photographing coordinates and the distance between the transformed coordinates.
  • the processing unit 106 compares the latitude and longitude with an actual distance unit (eg, a meter) and compares the actual distance unit It is possible to calculate the distance between the photographing coordinates in .
  • an actual distance unit eg, a meter
  • the processing unit 106 uses the following Equation 1 to transform the coordinates of the first image (x 1 , y 1 , z 1 ) and the transformation coordinates of the second image (x 2 ) on the coordinate system of the three-dimensional point cloud information. We can calculate the distance between y 2 , z 2 ).
  • D represents the distance between the two transformation coordinates.
  • the processing unit 106 can calculate the ratio between the distance between the shooting coordinates in the unit of the actual distance and the ratio D, and expand or reduce the coordinate system of the 3D point cloud information by this ratio to the coordinate system of the actual measurement scale.
  • the 3D point cloud information expressed on the coordinate system of the converted actual measurement scale will be information on the actual measurement scale, and can be easily utilized in actual industrial fields such as virtual reality and autonomous driving.
  • FIG. 3 is a flowchart illustrating a method 300 for processing point cloud information according to an exemplary embodiment. The method illustrated in FIG. 3 may be performed, for example, by the above-described point cloud information processing apparatus 100 .
  • step 302 3D point cloud information for a 3D space is acquired.
  • step 304 a first image obtained by photographing at least a portion of the three-dimensional space, a second image, and photographing coordinates of the first image and the second image are obtained.
  • step 306 an operation between the scale of the 3D point cloud information and the actual scale is performed based on the first image, the second image, and the photographing coordinates to process the 3D point cloud information into an actual measurement scale.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown. One or more steps may be added and performed.
  • FIG. 4 is a flowchart 400 for explaining in detail the step 306 of processing point cloud information according to an embodiment.
  • the method shown in FIG. 4 may be performed, for example, by the above-described processing unit 106, but is not necessarily limited thereto.
  • a plurality of feature points may be extracted from each of the first image and the second image.
  • each of the plurality of extracted feature points may be mapped with each point in the 3D point cloud information.
  • step 406 it is possible to obtain transformation coordinates representing the photographing coordinates in a coordinate system of 3D point cloud information from the mapping result.
  • the three-dimensional point cloud information may be converted into an actual measurement scale by comparing the distance between the photographing coordinates and the distance between the transform coordinates.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown. One or more steps may be added and performed.
  • FIG. 5 is a flowchart 500 for explaining in detail the step 408 of converting point cloud information into an actual scale according to an embodiment.
  • the method shown in FIG. 5 may be performed, for example, by the above-described processing unit 106, but is not necessarily limited thereto.
  • the distance between the photographing coordinates may be calculated by comparing the unit of the photographing coordinates according to the preselected positioning technique and the actual distance unit.
  • the coordinate system of the three-dimensional point cloud information may be converted into a coordinate system of the actual measurement scale according to a ratio of the distance between the photographing coordinates and the distance between the transform coordinates.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a reversed order, are performed together in combination with other steps, are omitted, are performed separately, or are not shown. One or more steps may be added and performed.
  • FIG. 6 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities other than those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12 .
  • the computing device 12 may be the point cloud information processing device 100 .
  • Computing device 12 includes at least one processor 14 , computer readable storage medium 16 , and communication bus 18 .
  • the processor 14 may cause the computing device 12 to operate in accordance with the exemplary embodiments discussed above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16 .
  • the one or more programs may include one or more computer-executable instructions that, when executed by the processor 14, configure the computing device 12 to perform operations in accordance with the exemplary embodiment. can be
  • Computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14 .
  • computer-readable storage medium 16 includes memory (volatile memory, such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other forms of storage medium accessed by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • Communication bus 18 interconnects various other components of computing device 12 , including processor 14 and computer readable storage medium 16 .
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24 .
  • the input/output interface 22 and the network communication interface 26 are coupled to the communication bus 18 .
  • Input/output device 24 may be coupled to other components of computing device 12 via input/output interface 22 .
  • Exemplary input/output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and/or imaging devices. input devices, and/or output devices such as display devices, printers, speakers and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12 , and may be connected to the computing device 12 as a separate device distinct from the computing device 12 . may be
  • an embodiment of the present invention may include a program for performing the methods described in this specification on a computer, and a computer-readable recording medium including the program.
  • the computer-readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the medium may be specially designed and configured for the present invention, or may be commonly used in the field of computer software.
  • Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and program instructions specially configured to store and execute program instructions such as ROMs, RAMs, flash memories, and the like.
  • Hardware devices are included.
  • Examples of the program may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those generated by a compiler.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

점군 정보 가공 장치 및 방법이 개시된다. 개시되는 일 실시예에 따른 점군 정보 가공 장치는 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부, 상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하는 추가 정보 획득부 및 상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하는 가공부를 포함한다.

Description

점군 정보 가공 장치 및 방법
개시되는 실시예들은 3차원 공간에 대한 점군(Point Cloud) 정보를 가공하는 기술에 관한 것이다.
넓은 실내 공간이나 실외 공간 등의 영역을 촬영한 2차원 영상으로부터 해당 영역의 3차원 구조를 복원하기 위한 방법의 하나로서 SfM(Structure from Motion) 알고리즘이 이용된다. SfM 알고리즘은 이미지들의 특징점을 추출하는 과정, 이미지들 간의 특징점을 매칭하는 과정, 매칭된 특징점들을 삼각측량으로 계산하여 3차원 점군(Point Cloud)을 복원하는 과정을 가진다. 그리고, 각 과정에서의 세부적인 차이에 따라 다양한 방식의 SfM 알고리즘이 존재한다.
하지만 상술한 각 과정들은 실측 스케일에 대한 정보가 없는 상태로 진행되기 때문에, SfM 알고리즘의 결과로서 복원되는 3차원 점군 내 각 점의 좌표들은 서로 간의 상대적인 위치 관계에 관한 정보만을 제공할 뿐, 이를 이용하여 미터(meter) 단위와 같은 실측 스케일에 관한 정보를 제공하지는 못하는 문제점이 있다.
개시되는 실시예들은 기존에 생성된 3차원 점군 정보가 실측 스케일의 값을 갖도록 하기 위한 점군 정보 가공 장치 및 방법을 제공하기 위한 것이다.
일 실시예에 따른 점군 정보 가공 장치는, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부, 상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하는 추가 정보 획득부 및 상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하는 가공부를 포함한다.
상기 촬영 좌표는, 기 선택된 측위 기술(LDT; Location Determination Technology)을 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 위치를 나타낸 좌표일 수 있다.
상기 가공부는, 상기 제1 이미지 및 상기 제2 이미지 각각에서 복수의 특징점을 추출할 수 있고, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑할 수 있고, 상기 매핑 결과로부터 상기 촬영 좌표를 상기 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득할 수 있고, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 상기 3차원 점군 정보를 상기 실측 스케일로 변환할 수 있다.
상기 가공부는, 기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출할 수 있고, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 상기 3차원 점군 정보의 좌표계를 상기 실측 스케일의 좌표계로 변환할 수 있다.
일 실시예에 따른 점군 정보 가공 방법은, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 단계, 상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하는 단계 및 상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하는 단계를 포함한다.
상기 촬영 좌표는, 기 선택된 측위 기술(LDT; Location Determination Technology)을 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 위치를 나타낸 좌표일 수 있다.
상기 가공하는 단계는, 상기 제1 이미지 및 상기 제2 이미지 각각에서 복수의 특징점을 추출하는 단계, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하는 단계, 상기 매핑 결과로부터 상기 촬영 좌표를 상기 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득하는 단계 및 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 상기 3차원 점군 정보를 상기 실측 스케일로 변환하는 단계를 포함할 수 있다.
상기 변환하는 단계는, 기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출하는 단계 및 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 상기 3차원 점군 정보의 좌표계를 상기 실측 스케일의 좌표계로 변환하는 단계를 포함할 수 있다.
일 실시예에 따른 비일시적 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하고, 상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하고, 상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하도록 하는 하나 이상의 명령어들을 포함할 수 있다.
개시되는 실시예들에 따르면, 대상 영역에서 촬영된 이미지와 해당 이미지가 촬영된 위치에 대한 정보를 이용하여 해당 영역의 3차원 공간에 대한 점군(Point Cloud) 정보를 가공함으로써, 3차원 공간에 대한 점군 정보가 실측 스케일의 값을 갖도록 할 수 있고, 이에 따라 3차원 공간에 대한 점군 정보가 다양한 애플리케이션에 확장성 있게 활용되도록 할 수 있다.
도 1은 일 실시예에 따른 점군 정보 가공 장치를 설명하기 위한 블록도
도 2는 일 실시예에 따른 3차원 점군 정보 및 이미지를 나타내는 도면
도 3은 일 실시예에 따른 점군 정보 가공 방법을 설명하기 위한 흐름도
도 4는 일 실시예에 따른 점군 정보를 가공하는 단계를 상세하게 설명하기 위한 흐름도
도 5는 일 실시예에 따른 점군 정보를 실측 스케일로 변환하는 단계를 상세하게 설명하기 위한 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 점군 정보 가공 장치(100)를 설명하기 위한 블록도이다. 도 1을 참조하면, 일 실시예에 따른 점군 정보 가공 장치(100)는 점군 정보 획득부(102), 추가 정보 획득부(104) 및 가공부(106)를 포함한다.
점군 정보 획득부(102)는 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득한다.
개시되는 실시예들에서, '3차원 공간'은 실외 또는 실내 환경에서의 임의의 범위를 갖는 영역을 의미할 수 있다. 또한 '3차원 점군 정보'는 상술한 3차원 공간을 촬영한 2차원 이미지에 기반하여 해당 3차원 공간을 복원한 정보를 의미한다.
이때 상기 3차원 점군 정보는 상술한 3차원 공간 상의 건물, 사물, 생물 등의 구조에 대응되는 복수의 점(point) 및 각각의 점에 해당하는 설명자(descriptor)를 포함할 수 있다. 구체적으로, 설명자는 3차원 공간 상에서 각각의 점의 주변 특성을 표현하기 위한 벡터(vector)일 수 있다.
일 실시예에서, 점군 정보 획득부(102)는 소정의 점군 정보 생성 알고리즘, 예를 들어 전술한 SfM 알고리즘 등을 이용하여 상기 3차원 공간에 대한 3차원 점군 정보를 획득할 수 있다. 다른 실시예에서, 점군 정보 획득부(102)는 다른 컴퓨팅 장치에서 계산된 3차원 점군 정보를 유선 또는 무선 통신 수단 등을 이용하여 수신함으로써 상기 3차원 점군 정보를 획득할 수도 있다.
점군 정보 획득부(102)에서 획득한 3차원 점군 정보는 실제 3차원 공간의 실제 스케일이 아닌, 임의의 스케일의 좌표계를 이용하여 표현된다. 즉, 상기 3차원 점군 정보에 포함된 각 점들간의 거리는 서로 상대적인 의미만을 가질 뿐, 각 점들 간의 거리를 미터(meter) 단위 등과 같은 실제 스케일 값으로 변환하는 것은 불가능하다.
추가 정보 획득부(104)는 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및, 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득한다.
일 실시예에서, 추가 정보 획득부(104)는 상술한 3차원 공간의 적어도 일부를 카메라 등의 영상 촬영 수단으로 촬영하거나, 웹 사이트(web site)에 기 업로드된 이미지를 다운로드하거나, 웹 크롤링(web crawling)을 통해 이미지를 추출하거나, 웹 사이트에서 제공하는 위성 지도 서비스(예를 들어, 구글의 스트리트 뷰)를 통해 이미지를 획득함으로써 제1 이미지 및 제2 이미지를 획득할 수 있다. 즉, 상술한 3차원 공간을 직접 촬영하지 않고도 웹 상에서 획득한 이미지를 이용할 수 있는 것이다.
또한, 상기 촬영 좌표는 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 지점의 위치를 나타낸 좌표일 수 있다. 일 실시예에서, 상기 3차원 공간이 실외 공간인 경우, 상기 촬영 좌표는 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 지점의 위도 및 경도를 나타내는 좌표일 수 있다. 다른 실시예에서, 상기 3차원 공간이 실내 공간인 경우, 상기 촬영 좌표는 상기 실내 공간 내에서 정의된 좌표일 수 있다. 개시되는 실시예들에서, 상기 이미지들의 촬영 좌표는 GPS(Global Positioning System), 이동통신 등의 통신 네트워크, 또는 인도어 포지셔닝 등 다양한 측위 기술(LDT; Location Determination Technology)을 이용하여 획득될 수 있다.
일 실시예에서, 상기 촬영 좌표는 제1 이미지 및 제2 이미지 각각에 태그(tag)된 형태로 획득될 수 있다. 그러나 개시되는 실시예들은 반드시 이에 한정되는 것은 아니며, 추가 정보 획득부(104)는 제1 이미지 및 제2 이미지 각각의 촬영 좌표를 제1 이미지 및 제2 이미지와 별도로 획득할 수도 있다.
가공부(106)는 제1 이미지, 제2 이미지 및 각 이미지들의 촬영 좌표에 기초하여 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 3차원 점군 정보를 실측 스케일로 가공한다.
구체적으로, 가공부(106)는 다음의 과정을 거쳐 3차원 점군 정보를 실측 스케일로 가공할 수 있다.
(1) 제1 이미지 및 제2 이미지 각각에서 복수의 특징점을 추출한다.
일 실시예에서, 가공부(106)는 제1 이미지 및 제2 이미지의 특징을 나타내는 선분의 끝점, 다각형의 꼭지점(corner) 등을 특징점으로서 추출할 수 있다.
이때, 가공부(106)는 특징점을 추출하기 위해 SIFT(Scale-Invariant Feature Transform), SURF(Speeded-Up Robust Features), FAST(Features from Accelerated Segment Test), ORB(Oriented fast and Rotated Brief) 등의 특징점 추출 알고리즘 중 어느 하나를 이용할 수 있으나, 반드시 이에 한정되는 것은 아니다.
(2) 추출된 특징점 각각과 3차원 점군 정보 내의 각 점들을 매핑한다.
일 실시예에서, 가공부(106)는 제1 이미지 및 제2 이미지로부터 추출된 각 특징점의 설명자(descriptor)를 이용하여, 상기 각 특징점들을 3차원 점군 정보 내의 각 점들 중 하나와 매핑한다.
도 2는 일 실시예에 따른 3차원 점군 정보 및 이미지를 설명하기 위한 예시도(200)이다. 도 2를 참조하면, 일정 범위의 3차원 공간 내 3차원 점군 정보가 도시되어 있고, 3차원 공간의 일부를 촬영한 제1 이미지(Image 1)와 제2 이미지(Image 2)가 나타나 있다. 도시된 바와 같이, 사각형 박스로 표현된 제1 이미지 및 제2 이미지 내의 특징점들은 각각 3차원 점군 정보 내의 점들과 1 대 1로 매핑되는 것을 알 수 있다.
(3) 상기 매핑 결과를 이용하여 상기 촬영 좌표를 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득한다.
부연하자면, 제1 이미지 및 제2 이미지 각각이 촬영된 좌표계는 제1 이미지 및 제2 이미지를 촬영한 영상 촬영 수단이 촬영 시 어느 위치, 어떤 기울기(방향)에서 촬영했는지에 따라 결정될 수 있으며, 원점은 곧 상기 이미지 각각이 촬영된 좌표계 상에서 이미지가 촬영된 위치를 의미할 수 있다.
이때, 촬영 좌표는 상기 이미지 각각이 촬영된 좌표계 상에서 제1 이미지와 제2 이미지 각각이 촬영된 위치를 나타내는 좌표인 관계로, 이를 3차원 점군 정보의 좌표계로 나타낸 것이 변환 좌표이다. 이 과정에서 상기 이미지 각각이 촬영된 좌표계와 3차원 점군 정보의 좌표계 사이의 변환을 위해 두 좌표계 사이의 이동 행렬(Translation matrix) 및 회전 행렬(Rotation matrix) 등이 이용될 수 있으나, 반드시 이에 한정되는 것은 아니다.
일 실시예에서, 가공부(106)는 제1 이미지 및 제2 이미지 내 특징점들(2차원 픽셀 좌표)과 3차원 점군 정보 내의 각 점(3차원 좌표)의 매핑 쌍을 이용하여 제1 이미지 및 제2 이미지 각각이 촬영된 좌표계를 3차원 점군 정보의 좌표계로 변환할 수 있으며, 이에 따라 촬영 좌표를 변환 좌표로 나타낼 수 있다.
이때, 상기 매핑 쌍을 이용하여 좌표계 간 변환을 수행하기 위해 다양한 Perspective-n-Point(PnP) 알고리즘이 이용될 수 있다. 예시적으로, 적용 가능한 PnP 알고리즘에는 P3P 알고리즘, Efficient PnP(EPnP) 알고리즘 등이 있으나, 반드시 이에 한정되지 않으며, 상기 매핑 쌍을 이용하여 좌표계 간 변환을 수행할 수 있다면 임의의 알고리즘들이 이용될 수 있다.
(4) 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 3차원 점군 정보를 실측 스케일로 변환한다.
구체적으로, 가공부(106)는 기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출할 수 있다. 이어서, 가공부(106)는 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 3차원 점군 정보의 좌표계를 실측 스케일의 좌표계로 변환할 수 있다.
예시적으로, 상기 촬영 좌표가 GPS를 이용하여 측정된 위도 및 경도 좌표인 경우, 가공부(106)는 위도 및 경도와 실제 거리 단위(예를 들어, 미터(meter))를 비교하여 실제 거리 단위에서의 상기 촬영 좌표 사이의 거리를 계산할 수 있다.
한편, 가공부(106)는 아래의 수학식 1을 이용하여 3차원 점군 정보의 좌표계 상에서 제1 이미지의 변환 좌표 (x 1, y 1, z 1)과 제2 이미지의 변환 좌표 (x 2, y 2, z 2) 사이의 거리를 계산할 수 있다.
[수학식 1]
Figure PCTKR2020004889-appb-img-000001
이때, D는 두 변환 좌표 사이의 거리를 나타낸다.
이를 통해, 가공부(106)는 실제 거리 단위에서의 상기 촬영 좌표 사이의 거리와 상기 D 사이의 비율을 계산할 수 있고, 이 비율만큼 3차원 점군 정보의 좌표계를 확대 또는 축소함으로써 실측 스케일의 좌표계로 변환할 수 있다. 자연스럽게, 변환된 실측 스케일의 좌표계 상에서 표현되는 3차원 점군 정보는 실측 스케일의 정보가 될 것이며, 가상현실, 자율주행 등의 실제 산업 분야에서 용이하게 활용될 수 있게 된다.
도 3은 일 실시예에 따른 점군 정보 가공 방법(300)을 설명하기 위한 흐름도이다. 도 3에 도시된 방법은 예를 들어, 상술한 점군 정보 가공 장치(100)에 의해 수행될 수 있다.
도 3을 참조하면 우선, 단계 302에서, 3차원 공간에 대한 3차원 점군 정보를 획득한다.
이후 단계 304에서, 상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 제1 이미지와 제2 이미지 각각의 촬영 좌표를 획득한다.
이후 단계 306에서, 제1 이미지, 제2 이미지 및 상기 촬영 좌표에 기초하여 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 3차원 점군 정보를 실측 스케일로 가공한다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 4는 일 실시예에 따른 점군 정보를 가공하는 단계(306)를 상세하게 설명하기 위한 흐름도(400)이다. 도 4에 도시된 방법은 예를 들어, 상술한 가공부(106)에 의해 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 4를 참조하면 우선, 단계 402에서, 제1 이미지 및 제2 이미지 각각에서 복수의 특징점을 추출할 수 있다.
이후 단계 404에서, 추출된 복수의 특징점 각각과 3차원 점군 정보 내의 각 점들을 매핑할 수 있다.
이후 단계 406에서, 상기 매핑 결과로부터 상기 촬영 좌표를 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득할 수 있다.
이후 단계 408에서, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 3차원 점군 정보를 실측 스케일로 변환할 수 있다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 5는 일 실시예에 따른 점군 정보를 실측 스케일로 변환하는 단계(408)를 상세하게 설명하기 위한 흐름도(500)이다. 도 5에 도시된 방법은 예를 들어, 상술한 가공부(106)에 의해 수행될 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 5를 참조하면 우선, 단계 502에서, 기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출할 수 있다.
이후 단계 504에서, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 3차원 점군 정보의 좌표계를 실측 스케일의 좌표계로 변환할 수 있다.
도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 점군 정보 가공 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (9)

  1. 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 점군 정보 획득부;
    상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하는 추가 정보 획득부; 및
    상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하는 가공부를 포함하는, 점군 정보 가공 장치.
  2. 청구항 1에 있어서,
    상기 촬영 좌표는,
    기 선택된 측위 기술(LDT; Location Determination Technology)을 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 위치를 나타낸 좌표인, 점군 정보 가공 장치.
  3. 청구항 1에 있어서,
    상기 가공부는,
    상기 제1 이미지 및 상기 제2 이미지 각각에서 복수의 특징점을 추출하고, 상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하고, 상기 매핑 결과로부터 상기 촬영 좌표를 상기 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득하고, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 상기 3차원 점군 정보를 상기 실측 스케일로 변환하는, 점군 정보 가공 장치.
  4. 청구항 3에 있어서,
    상기 가공부는,
    기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출하고, 상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 상기 3차원 점군 정보의 좌표계를 상기 실측 스케일의 좌표계로 변환하는, 점군 정보 가공 장치.
  5. 3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하는 단계;
    상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하는 단계; 및
    상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하는 단계를 포함하는, 점군 정보 가공 방법.
  6. 청구항 5에 있어서,
    상기 촬영 좌표는,
    기 선택된 측위 기술(LDT; Location Determination Technology)을 이용하여 상기 제1 이미지 및 상기 제2 이미지 각각이 촬영된 위치를 나타낸 좌표인, 점군 정보 가공 방법.
  7. 청구항 5에 있어서,
    상기 가공하는 단계는,
    상기 제1 이미지 및 상기 제2 이미지 각각에서 복수의 특징점을 추출하는 단계;
    상기 복수의 특징점 각각과 상기 3차원 점군 정보 내의 각 점들을 매핑하는 단계;
    상기 매핑 결과로부터 상기 촬영 좌표를 상기 3차원 점군 정보의 좌표계로 나타낸 변환 좌표를 획득하는 단계; 및
    상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리를 비교하여 상기 3차원 점군 정보를 상기 실측 스케일로 변환하는 단계를 포함하는, 점군 정보 가공 방법.
  8. 청구항 7에 있어서,
    상기 변환하는 단계는,
    기 선택된 측위 기술에 따른 상기 촬영 좌표의 단위와 실제 거리 단위를 비교하여 상기 촬영 좌표 사이의 거리를 산출하는 단계; 및
    상기 촬영 좌표 사이의 거리와 상기 변환 좌표 사이의 거리의 비율에 따라 상기 3차원 점군 정보의 좌표계를 상기 실측 스케일의 좌표계로 변환하는 단계를 포함하는, 점군 정보 가공 방법.
  9. 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    3차원 공간에 대한 3차원 점군(Point Cloud) 정보를 획득하고,
    상기 3차원 공간의 적어도 일부를 촬영한 제1 이미지, 제2 이미지 및 상기 제1 이미지와 상기 제2 이미지 각각의 촬영 좌표를 획득하고,
    상기 제1 이미지, 상기 제2 이미지 및 상기 촬영 좌표에 기초하여 상기 3차원 점군 정보의 스케일과 실측 스케일 사이의 연산을 수행하여 상기 3차원 점군 정보를 상기 실측 스케일로 가공하도록 하는, 비일시적 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
PCT/KR2020/004889 2020-04-06 2020-04-10 점군 정보 가공 장치 및 방법 WO2021206200A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200041518A KR102150954B1 (ko) 2020-04-06 2020-04-06 점군 정보 가공 장치 및 방법
KR10-2020-0041518 2020-04-06

Publications (1)

Publication Number Publication Date
WO2021206200A1 true WO2021206200A1 (ko) 2021-10-14

Family

ID=72469217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/004889 WO2021206200A1 (ko) 2020-04-06 2020-04-10 점군 정보 가공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102150954B1 (ko)
WO (1) WO2021206200A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102618878B1 (ko) * 2021-05-11 2023-12-27 주식회사 한화 암석 파쇄도 분석 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
KR20160136817A (ko) * 2015-05-21 2016-11-30 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
KR20180061803A (ko) * 2016-11-30 2018-06-08 현대엠엔소프트 주식회사 도로면 폐색 영역 복원 장치 및 방법
KR20200000111A (ko) * 2018-06-22 2020-01-02 한국스마트인증 주식회사 3차원 피사체 인식의 안티-스푸핑 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477031B1 (ko) 2018-04-20 2022-12-14 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR20090092473A (ko) * 2008-02-27 2009-09-01 오리엔탈종합전자(주) 3차원 변형 가능 형상 모델에 기반한 3차원 얼굴 모델링방법
KR20160136817A (ko) * 2015-05-21 2016-11-30 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
KR20180061803A (ko) * 2016-11-30 2018-06-08 현대엠엔소프트 주식회사 도로면 폐색 영역 복원 장치 및 방법
KR20200000111A (ko) * 2018-06-22 2020-01-02 한국스마트인증 주식회사 3차원 피사체 인식의 안티-스푸핑 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Also Published As

Publication number Publication date
KR102150954B1 (ko) 2020-09-02

Similar Documents

Publication Publication Date Title
WO2022050473A1 (ko) 카메라 포즈 추정 장치 및 방법
WO2016003191A1 (ko) Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
US11715269B1 (en) Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
US9324003B2 (en) Location of image capture device and object features in a captured image
JP6255085B2 (ja) 位置特定システムおよび位置特定方法
WO2021206200A1 (ko) 점군 정보 가공 장치 및 방법
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
WO2011034308A2 (ko) 그래프 구조를 이용하여 파노라마 이미지에 대한 이미지 매칭을 수행하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2021025364A1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
EP2960859A1 (en) Constructing a 3d structure
WO2019221340A1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2019229301A1 (en) Solution for generating virtual reality representation
WO2018026094A1 (ko) Dem 데이터를 이용한 ortho-photo 텍스쳐의 자동생성 방법 및 시스템
CN113379748B (zh) 一种点云全景分割方法和装置
EP3746744A1 (en) Methods and systems for determining geographic orientation based on imagery
WO2021210725A1 (ko) 점군 정보 가공 장치 및 방법
WO2011034306A2 (ko) 파노라마 이미지 사이의 중복을 제거하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2024085450A1 (ko) 건물 형상 정보를 이용하여 3d 지도를 생성하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
US20120026192A1 (en) Apparatus and method for providing augmented reality (ar) using user recognition information
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2024071653A1 (ko) 시차 분석을 기반으로 하는 거리맵 산출 방법 및 그를 위한 시스템
WO2024106833A1 (ko) 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템
WO2024096309A1 (ko) Poi 변화 자동 탐지를 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20930317

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 21.03.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20930317

Country of ref document: EP

Kind code of ref document: A1