KR20200045321A - Space scanning apparatus and information processing method thereof - Google Patents

Space scanning apparatus and information processing method thereof Download PDF

Info

Publication number
KR20200045321A
KR20200045321A KR1020180126227A KR20180126227A KR20200045321A KR 20200045321 A KR20200045321 A KR 20200045321A KR 1020180126227 A KR1020180126227 A KR 1020180126227A KR 20180126227 A KR20180126227 A KR 20180126227A KR 20200045321 A KR20200045321 A KR 20200045321A
Authority
KR
South Korea
Prior art keywords
scanning
unit
occlusion
point cloud
space
Prior art date
Application number
KR1020180126227A
Other languages
Korean (ko)
Other versions
KR102158323B1 (en
Inventor
유연걸
신승호
임국찬
전진수
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180126227A priority Critical patent/KR102158323B1/en
Publication of KR20200045321A publication Critical patent/KR20200045321A/en
Application granted granted Critical
Publication of KR102158323B1 publication Critical patent/KR102158323B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

According to an embodiment of the present invention, a space scan device comprises: a scanning part scanning a space to acquire a point cloud; and a data storage part storing an initial driving path in the space corresponding to the point cloud acquired by the scanning part; and a control part, wherein the control part generates a depth map image based on the acquired point cloud, determines whether there is an occlusion area in the generated depth map image, and generates a new driving path in which a point corresponding to the occlusion area can be scanned when there is the occlusion area, and stores the generated new driving path to the data storage part.

Description

공간 스캔 장치 및 그 정보 처리 방법{SPACE SCANNING APPARATUS AND INFORMATION PROCESSING METHOD THEREOF}SPACE SCANNING APPARATUS AND INFORMATION PROCESSING METHOD THEREOF}

본 발명은 실제 공간에 대응하는 공간 지도를 생성하는 공간 스캔 장치 및 그 공간 지도의 생성을 위한 정보 처리 방법에 관한 것이다.The present invention relates to a spatial scanning device for generating a spatial map corresponding to an actual space and an information processing method for generating the spatial map.

주지하고 있는 바와 같이, 공간 스캔 장치는 레이저 스캐너와 카메라를 이용하여 실제 공간에 대한 공간 지도를 생성할 수 있다. 이러한 공간 스캔 장치는 사용자의 조정에 따라 공간 내부를 주행하거나 공간 내부를 자율 주행할 수 있고, 주행 경로 상의 스캔 지점에서 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드(point cloud)를 획득하고, 동일한 공간을 카메라로 촬영하여 영상을 획득하며, 동일한 공간에 대한 포인트 클라우드와 영상을 정합하여 공간 지도를 생성한다.As is well known, the spatial scanning device may generate a spatial map of real space using a laser scanner and a camera. Such a space scanning device may drive inside the space or autonomously drive inside the space according to the user's adjustment, acquire a point cloud by scanning the space with a laser scanner at a scan point on the driving path, and acquire the same space. The image is acquired by shooting with a camera, and a spatial map is generated by matching the point cloud and the image for the same space.

그런데, 실제 공간에는 복수의 객체가 위치할 수 있고, 공간 스캔 장치가 공간의 특정 스캔 지점에서 스캔을 할 때에 스캔 방향에 대해 앞쪽에 있는 객체에 의해 뒤쪽에 있는 객체의 일부 또는 전체가 폐색(occlusion)될 수 있으며, 이처럼 폐색 영역이 존재하는 경우에 공간 지도의 품질이 저하되는 문제점이 있다.However, a plurality of objects may be located in the real space, and when the space scanning device scans at a specific scan point in space, some or all of the objects behind the occlusion by the objects in front with respect to the scan direction are occluded. ), And the quality of the spatial map is deteriorated when the occlusion area is present.

한국등록특허 제1572618호 (등록일 : 2015년 11월 23일)Korean Registered Patent No. 1572618 (Registration Date: November 23, 2015)

일 실시예에 따르면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 주행 경로를 생성하는 공간 스캔 장치 및 그 정보 처리 방법을 제공한다.According to an embodiment, when an occlusion area exists in a point cloud obtained for generation of a spatial map, a space scanning device for generating a driving path capable of scanning a point corresponding to the occlusion area and a method for processing the information are provided do.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by a person having ordinary knowledge to which the present invention belongs from the following description.

본 발명의 제 1 관점에 따른, 공간 스캔 장치는, 공간을 스캔하여 포인트 클라우드를 획득하는 스캐닝부와, 상기 스캐닝부에 의해 획득된 포인트 클라우드에 대응하는 상기 공간 내의 초기 주행 경로가 저장된 데이터 저장부와, 제어부를 포함하고, 상기 제어부는, 상기 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하며, 상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하고, 상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하며, 상기 생성된 신규 주행 경로를 상기 데이터 저장부에 저장한다.According to a first aspect of the present invention, a spatial scanning device includes: a scanning unit scanning a space to obtain a point cloud, and a data storage unit storing an initial driving path in the space corresponding to the point cloud acquired by the scanning unit And a control unit, wherein the control unit generates a depth map image based on the acquired point cloud, determines whether an occlusion region exists in the generated depth map image, and if the occlusion region exists, the occlusion region. A new driving route in which a point corresponding to an area can be scanned is generated, and the generated new driving route is stored in the data storage unit.

본 발명의 제 2 관점에 따른, 공간 스캔 장치에서 수행되는 정보 처리 방법은, 기설정된 초기 주행 경로에서 공간을 스캔하여 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하는 단계와, 상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 단계와, 상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하는 단계를 포함한다.According to a second aspect of the present invention, an information processing method performed in a spatial scanning apparatus includes: generating a depth map image based on a point cloud obtained by scanning a space in a predetermined initial driving path, and the generated depth And determining whether an occluded area exists in the map image, and generating a new driving route in which a point corresponding to the occluded area can be scanned when the occluded area exists.

본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성함으로써, 사용자가 공간 스캔 장치의 주행을 조정하는 경우 사용자가 신규 주행 경로를 참고할 수 있도록 한다.According to an embodiment of the present invention, when a occlusion area exists in a point cloud obtained for generating a spatial map, a user can generate a new driving route to scan a point corresponding to the occlusion area, thereby allowing the user to When adjusting the driving, the user can refer to the new driving route.

나아가, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상되는 효과가 있다.Furthermore, by autonomously driving the generated driving path and scanning a point corresponding to the occluded area, an additional point cloud is obtained, thereby improving the quality of the spatial map.

도 1은 본 발명의 일 실시예에 따른 공간 스캔 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 공간 스캔 장치의 공간 지도 생성을 위한 정보 처리 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 공간 스캔 장치에서 폐색 영역을 결정하는 과정을 설명하기 위한 상태도들이다.1 is a configuration diagram of a spatial scanning device according to an embodiment of the present invention.
2 is a flowchart illustrating an information processing method for generating a spatial map of a spatial scanning device according to an embodiment of the present invention.
3 to 6 are state diagrams for explaining a process of determining an occlusion area in a spatial scanning apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments allow the disclosure of the present invention to be complete, and have ordinary knowledge in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 공간 스캔 장치의 구성도이다.1 is a configuration diagram of a spatial scanning device according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 일 실시예에 따른 입체 모델 생성 장치(100)는 정보 획득부(110), 데이터 저장부(120), 제어부(130) 및 주행부(140)를 포함한다. 예를 들어, 제어부(130)는 CPU(Central Processing Unit)를 포함할 수 있다.1, the apparatus 100 for generating a three-dimensional model according to an embodiment includes an information acquisition unit 110, a data storage unit 120, a control unit 130, and a driving unit 140. For example, the controller 130 may include a central processing unit (CPU).

정보 획득부(110)는 공간 지도를 생성하기 위한 실제 공간에 대한 정보를 획득한다. 여기서, 정보 획득부(110)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 획득할 수 있다. 이러한 정보 획득부(110)는 도 1에 도시한 바와 같이 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드를 획득하는 스캐닝부(111)를 일체로 포함할 수 있고, 실제 공간을 촬영하여 영상을 획득하는 촬영부(112)를 일체로 포함할 수 있다. 예를 들어, 스캐닝부(111)는 공간 내의 한 지점에서 구 형태로 스캔할 수 있다.The information acquisition unit 110 acquires information about an actual space for generating a spatial map. Here, the information acquisition unit 110 may acquire a point cloud obtained by scanning an image obtained by photographing a real space and a real space. 1, the information acquisition unit 110 may integrally include a scanning unit 111 that acquires a point cloud by scanning a real space with a laser scanner, and acquires an image by photographing the real space. The photographing unit 112 may be integrally included. For example, the scanning unit 111 may scan in a spherical shape at a point in space.

데이터 저장부(120)에는 사전에 입력되거나 제어부(130)에 의해 생성된 초기 주행 경로, 제어부(130)에 의해 생성된 신규 주행 경로, 정보 획득부(110)에 의해 획득된 포인트 클라우드 및 영상이 저장된다.The data storage unit 120 includes an initial driving path input in advance or generated by the control unit 130, a new driving path generated by the control unit 130, and a point cloud and an image acquired by the information acquisition unit 110. Is saved.

제어부(130)는 주행 구동되도록 주행부(140)를 제어할 수 있고, 주행부(140)는 제어부(130)의 제어에 따라 주행 구동되어 공간 스캔 장치(100)를 이동시킬 수 있다. 주행부(140)는 도시 생략된 사용자 인터페이스를 통한 사용자의 조정에 따라 스캔 대상인 공간 내부를 주행하거나, 제어부(130)의 제어에 따라 데이터 저장부(120)에 저장된 초기 주행 경로 및 신규 주행 경로를 자율 주행할 수 있다. 예를 들어, 주행부(140)는 통상의 주행 로봇과 같이 무한궤도 휠이나 4륜 휠을 포함할 수 있다.The control unit 130 may control the driving unit 140 to be driving-driving, and the driving unit 140 may be driven by driving under the control of the control unit 130 to move the spatial scanning device 100. The driving unit 140 travels inside the space to be scanned according to the user's adjustment through a user interface not shown, or the initial driving path and the new driving path stored in the data storage unit 120 under the control of the controller 130. You can drive autonomously. For example, the driving unit 140 may include a caterpillar wheel or a four-wheel wheel like a normal driving robot.

제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성한다. 이러한 제어부(130)는 스캐닝부(111)가 공간 내의 한 지점에서 구 형태로 스캔하는 경우, 구의 중심에 가상의 초점(focal)을 둘 수 있고, 초점을 중심으로 하는 가상 다면체(예컨대, 정육면체)를 생성할 수 있으며, 가상 다면체의 각 면에 가상 영상면을 생성할 수 있고, 포인트 클라우드를 가상 영상면에 투영(投影)해 포인트 클라우드의 깊이 값을 반영한 깊이 지도 영상을 생성할 수 있다.The control unit 130 generates a depth map image based on the point cloud acquired by the information acquisition unit 110. When the scanning unit 111 scans in the form of a sphere at a point in space, the control unit 130 may place a virtual focal at the center of the sphere, and a virtual polyhedron centered on the focus (eg, a cube) You can create a virtual image plane on each face of the virtual polyhedron, and project a point cloud onto the virtual image plane to generate a depth map image reflecting the depth value of the point cloud.

그리고, 제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단한다. 이러한 제어부(130)는 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산할 수 있고, 계산된 깊이 차이와 기설정된 기준값을 비교한 결과에 기초하여 폐색 영역을 판정할 수 있다. 예를 들어, 제어부(130)는 계산된 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 폐색 후보 픽셀로 선정할 수 있고, 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체의 정중앙에 폐색 후보 픽셀을 배치할 수 있으며, 스캐닝부(111)의 스캔 방향에 기초하여 4개의 정육면체 중 하나의 정육면체를 폐색 후보 영역으로 선정할 수 있고, 폐색 후보 영역에 대해 폐색 영역인지 여부를 판정할 수 있다. 예컨대, 제어부(130)는 폐색 후보 영역의 포인트 클라우드의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 폐색 영역인지 여부를 판정할 수 있다.Then, the control unit 130 determines whether an occlusion area exists in the depth map image generated based on the point cloud acquired by the information acquisition unit 110. The controller 130 may calculate a depth difference between neighboring pixels with respect to pixels in the depth map image, and determine an occlusion area based on a result of comparing the calculated depth difference with a preset reference value. For example, the controller 130 may select pixels having a calculated depth difference greater than a preset reference value as occlusion candidate pixels, and a cuboid formed by stacking and placing four cubes in a 2X2 shape in the depth direction of the depth map image. The occlusion candidate pixel may be arranged in the center of the, and one cube of the four cubes may be selected as the occlusion candidate area based on the scanning direction of the scanning unit 111, and whether the occlusion candidate area is an occlusion area or not Can be judged. For example, the controller 130 may determine whether the occlusion area is based on a result of comparing the number of point clouds of the occlusion candidate area with a preset reference number.

아울러, 제어부(130)는 깊이 지도 영상 내에 폐색 영역이 존재하는 경우 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성하며, 생성된 신규 주행 경로를 데이터 저장부(120)에 저장한다. 여기서, 제어부(130)는 포인트 클라우드에 기초하여 폐색 영역의 3차원 위치 정보를 획득할 수 있고, 3차원 위치 정보에 대응하는 지점이 스캐닝부(111)에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정할 수 있으며, 현재 위치에서 이동 목표 위치까지의 이동 경로를 신규 주행 경로로서 생성할 수 있다. 예를 들어, 제어부(130)는 포인트 클라우드 중 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터를 추출할 수 있고, 추출된 방향 벡터에 기초하여 목표 지점을 선정할 수 있다.In addition, when the occlusion area exists in the depth map image, the controller 130 generates a new travel route capable of scanning a point corresponding to the occlusion area, and stores the generated new travel route in the data storage 120. . Here, the control unit 130 may acquire the 3D position information of the occluded area based on the point cloud, and move the target point where the point corresponding to the 3D position information can be scanned by the scanning unit 111. It can be selected as a location, and a movement path from a current location to a movement target location can be generated as a new driving path. For example, the control unit 130 may extract a direction vector corresponding to the scanning direction of the scanning unit 111 when acquiring a point cloud around the occluded area among the point clouds, and target based on the extracted direction vector You can select a branch.

또한, 제어부(130)는 데이터 저장부(120)에 저장된 신규 주행 경로를 주행하도록 주행부(140)를 제어할 수 있고, 신규 주행 경로 상의 스캔 지점에서 공간에 대한 포인트 클라우드 및 영상을 획득하도록 정보 획득부(110)를 제어할 수 있다. 그리고, 제어부(130)는 초기 주행 경로 및 신규 주행 경로에서 획득된 포인트 클라우드와 영상을 정합하여 공간 지도를 생성하고, 생성된 공간 지도를 데이터 저장부(120)에 저장할 수 있다.In addition, the control unit 130 may control the driving unit 140 to travel the new driving path stored in the data storage unit 120, and information to acquire a point cloud and an image of the space at a scan point on the new driving path The acquisition unit 110 may be controlled. In addition, the controller 130 may generate a spatial map by matching the image with the point cloud obtained from the initial driving path and the new driving path, and store the generated spatial map in the data storage unit 120.

도 2는 본 발명의 일 실시예에 따른 공간 스캔 장치(100)의 공간 지도 생성을 위한 정보 처리 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 공간 스캔 장치(100)에서 폐색 영역을 결정하는 과정을 설명하기 위한 상태도들이다.2 is a flowchart illustrating an information processing method for generating a spatial map of the spatial scanning device 100 according to an embodiment of the present invention, and FIGS. 3 to 6 are spatial scanning devices according to an embodiment of the present invention It is a state diagram for explaining the process of determining the occlusion region in (100).

이하, 도 1 내지 도 6를 참조하여 본 발명의 일 실시예에 따른 공간 스캔 장치(100)에서 공간 지도 생성을 위해 수행되는 정보 처리 방법의 일 예에 대해 자세히 살펴보기로 한다.Hereinafter, an example of an information processing method performed for generating a spatial map in the spatial scanning apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6.

먼저, 제어부(130)는 주행부(140)로 하여금 공간 스캔 장치(100)를 데이터 저장부(120)에 저장된 초기 주행 경로를 따라 이동시키도록 제어한다. 이러한, 초기 주행 경로 상에서 정보 획득부(110)의 스캐닝부(111)는 제어부(130)의 제어에 따라 공간을 스캐닝하여 포인트 클라우드를 획득한다. 예를 들어, 스캐닝부(111)는 공간 내의 한 지점에서 구 형태로 360도 스캔을 수행할 수 있다. 예컨대, 스캐닝부(111)는 2개의 팬틸트 모터를 구동하여 회전하면서 공간을 구 형태로 스캔할 수 있다. 아울러, 초기 주행 경로 상에서 정보 획득부(110)의 촬영부(112)는 제어부(130)의 제어에 따라 스캐닝부(111)가 스캔한 공간과 동일한 공간에 대해 영상을 획득한다. 이때, 정보 획득부(110)는 주행부(140)의 주행 구동에 의해 공간 스캔 장치(100)가 이동하는 중이 아닌 특정 스캔 지점에 정지된 상태에서 포인트 클라우드 및 영상을 획득할 수 있다(S210).First, the control unit 130 controls the driving unit 140 to move the spatial scanning device 100 along the initial driving path stored in the data storage unit 120. On the initial driving path, the scanning unit 111 of the information acquisition unit 110 acquires a point cloud by scanning a space under the control of the control unit 130. For example, the scanning unit 111 may perform a 360-degree scan in a spherical shape at a point in space. For example, the scanning unit 111 may scan two spaces in a spherical shape while rotating two pan-tilt motors. In addition, on the initial driving path, the imaging unit 112 of the information acquisition unit 110 acquires an image in the same space as the space scanned by the scanning unit 111 under the control of the control unit 130. At this time, the information acquisition unit 110 may acquire a point cloud and an image in a state where the spatial scanning device 100 is not moving, but is stopped at a specific scan point by driving driving of the driving unit 140 (S210). .

그리고, 제어부(130)는 정보 획득부(110)의 스캐닝부(111)에 의해 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성한다. 이러한 제어부(130)는 스캐닝부(111)가 공간 내의 한 지점에서 구 형태로 360도 스캔하는 경우, 구의 중심에 가상의 초점을 둘 수 있고, 초점을 중심으로 하는 가상 다면체를 생성할 수 있으며, 가상 다면체의 각 면에 가상 영상면을 생성할 수 있고, 단계 S210에서 획득된 포인트 클라우드를 가상 영상면에 투영해 포인트 클라우드의 깊이 값을 반영한 깊이 지도 영상을 생성할 수 있다. 예를 들어, 가상 다면체로서 정육면체를 생성한 경우 스캐닝부(111)의 1회 스캔에 대해 6개의 깊이 값이 깊이 지도 영상에 반영되고, 포인트 클라우드의 1/6씩 6개의 깊이 값에 균등하게 반영된다. 예컨대, 깊이 지도 영상을 생성할 때에 홀(hole)이 발생한 경우 공지의 보간(interpolation)법을 이용하여 홀메움(holefilling) 처리를 할 수 있다(S220).Then, the control unit 130 generates a depth map image based on the point cloud acquired by the scanning unit 111 of the information acquisition unit 110. When the scanning unit 111 scans 360 degrees in the form of a sphere at a point in space, the control unit 130 may place a virtual focus at the center of the sphere and generate a virtual polyhedron centered on the focus, A virtual image plane may be generated on each face of the virtual polyhedron, and the point cloud obtained in step S210 may be projected on the virtual image plane to generate a depth map image reflecting the depth value of the point cloud. For example, when a cube is created as a virtual polyhedron, six depth values are reflected in the depth map image for one scan of the scanning unit 111 and evenly reflected in six depth values by 1/6 of the point cloud. do. For example, when a hole occurs when generating a depth map image, a hole filling process may be performed using a known interpolation method (S220).

다음으로, 제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 생성된 깊이 지도 영상 내의 폐색 영역을 탐색(S230)하여 폐색 영역이 존재하는지를 판단한다(S240). 이러한 제어부(130)에서 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 과정을 도 3 내지 도 6을 참조하여 자세히 살펴보기로 한다.Next, the controller 130 searches for an occlusion region in the depth map image generated based on the point cloud acquired by the information acquisition unit 110 (S230) and determines whether an occlusion region exists (S240). The process of determining whether the occlusion region exists in the depth map image by the control unit 130 will be described in detail with reference to FIGS. 3 to 6.

도 3에 예시한 바와 같이 공간 스캔 장치(100)가 공간의 특정 스캔 지점에서 스캔을 수행하여 포인트 클라우드(3)를 획득할 때에, 스캔 방향에 대해 앞쪽에 있는 제 1 객체(1)에 의해 뒤쪽에 있는 제 2 객체(2)의 일부가 가려져서 폐색 영역(4)이 존재할 수 있다.As illustrated in FIG. 3, when the spatial scanning device 100 acquires the point cloud 3 by performing a scan at a specific scan point in space, it is backed by the first object 1 in front of the scan direction. A portion of the second object 2 in the occlusion region 4 may be present.

이러한 폐색 환경에서 공간 스캔 장치(100)가 도 4에 예시한 바와 같이 공간에 대한 스캐닝을 수행하여 포인트 클라우드(5)를 획득한 경우, 제어부(130)는 단계 S220에서 생성된 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산하고, 이웃 픽셀간 깊이 차이에 기초하여 픽셀간 깊이의 불연속성이 높은 영역(6)을 파악한다.In the occluded environment, when the spatial scanning apparatus 100 acquires the point cloud 5 by performing space scanning as illustrated in FIG. 4, the controller 130 controls pixels in the depth map image generated in step S220. The depth difference between neighboring pixels is calculated for the fields, and the region 6 having a high discontinuity in depth between pixels is identified based on the depth difference between neighboring pixels.

그리고, 제어부(130)는 픽셀간 깊이의 불연속성이 높은 영역(6) 내에서 폐색 후보 픽셀을 선정한 후, 이러한 폐색 후보 픽셀을 이용하여 폐색 영역을 판정할 수 있다. 예를 들어, 도 5에 예시한 바와 같이 제어부(130)는 이웃 픽셀간 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 폐색 후보 픽셀(8a, 8b, 8c, 8d)을 선정하고, 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체(9a, 9b, 9c, 9d)의 정중앙에 폐색 후보 픽셀(8a, 8b, 8c, 8d)을 배치하며, 스캐닝부(111)의 스캔 방향에 기초하여 4개의 정육면체 중 하나의 정육면체를 폐색 후보 영역으로 선정한다. 그리고, 제어부(130)는 폐색 후보 영역의 등록된 포인트 클라우드(7)의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 폐색 영역인지 여부를 판정한다. 예를 들어, 제어부(130)는 도 6에 예시한 바와 같이 4개의 폐색 후보 영역(10, 11) 중 포인트 클라우드가 상대적으로 많은 폐색 후보 영역은 비 패색 영역(11)이 아니라고 판정할 수 있고, 4개의 폐색 후보 영역(10, 11) 중 포인트 클라우드가 상대적으로 적은 폐색 후보 영역은 패색 영역(10)이라고 판정할 수 있다.Then, the control unit 130 may select the occlusion candidate pixel within the region 6 having a high inter-pixel depth discontinuity, and then determine the occlusion region using the occlusion candidate pixel. For example, as illustrated in FIG. 5, the controller 130 selects candidate pixels 8a, 8b, 8c, and 8d to occlude pixels having a depth difference between neighboring pixels larger than a preset reference value, and depth of the depth map image. The occlusion candidate pixels 8a, 8b, 8c, and 8d are arranged in the center of the cubes 9a, 9b, 9c, and 9d formed by stacking and placing 4 cubes in the direction of 2X2, and scanning of the scanning unit 111 Based on the direction, one cube of the four cubes is selected as a candidate occlusion area. Then, the control unit 130 determines whether the occlusion area is based on a result of comparing the number of registered point clouds 7 of the occlusion candidate area with a preset reference number. For example, as illustrated in FIG. 6, the control unit 130 may determine that the occlusion candidate region having a relatively large number of point clouds among the four occlusion candidate regions 10 and 11 is not the non-occlusion region 11, Among the four occlusion candidate areas 10 and 11, it can be determined that the occlusion candidate area having a relatively small point cloud is the occlusion area 10.

이후, 제어부(130)는 포인트 클라우드에 기초하여 단계 S230에서 탐색된 폐색 영역의 3차원 위치 정보를 획득하고, 3차원 위치 정보에 대응하는 지점이 스캐닝부(111)에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정한다. 예를 들어, 제어부(130)는 포인트 클라우드 중 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터를 추출하며, 추출된 방향 벡터에 기초하여 목표 지점을 선정할 수 있다. 예컨대, 제어부(130)는 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터에 수직으로 교차하는 수직 벡터를 계산하고, 계산된 수직 벡터에 대응하는 경로 상의 한 지점을 목표 지점으로서 선정할 수 있다(S250).Thereafter, the controller 130 obtains the 3D position information of the occluded area searched in step S230 based on the point cloud, and a target point where a point corresponding to the 3D position information can be scanned by the scanning unit 111 Is selected as the moving target position. For example, the control unit 130 extracts a direction vector corresponding to the scanning direction of the scanning unit 111 when acquiring a point cloud around the occluded area among the point clouds, and extracts a target point based on the extracted direction vector. Can be selected. For example, when acquiring a point cloud around the occlusion area, the controller 130 calculates a vertical vector that intersects the direction vector corresponding to the scanning direction of the scanning unit 111, and a path corresponding to the calculated vertical vector. One point of the top may be selected as a target point (S250).

그리고, 제어부(130)는 단계 S250에서 선정된 이동 목표 위치에 기초하여, 현재 위치에서 이동 목표 위치까지의 이동 경로를 신규 주행 경로로서 생성하며, 생성된 신규 주행 경로를 데이터 저장부(120)에 저장한다(S260). 이처럼, A 위치에서 B 위치로 이동하는 경로를 생성하는 것은 공지의 기술사상이기에 구체적인 설명을 생략한다.Then, based on the movement target position selected in step S250, the control unit 130 generates a movement path from the current location to the movement target location as a new driving path, and the generated new driving path to the data storage unit 120 Save (S260). As described above, since a path for moving from the A position to the B position is known in the art, a detailed description is omitted.

이어서, 제어부(130)는 주행부(140)로 하여금 공간 스캔 장치(100)를 단계 S260에서 생성한 신규 주행 경로를 따라 이동시키도록 제어한다. 이러한, 신규 주행 경로 상에서 정보 획득부(110)의 스캐닝부(111)는 제어부(130)의 제어에 따라 공간을 스캐닝, 즉 폐색 영역에 대응하는 지점을 스캐닝하여 신규 포인트 클라우드를 획득한다. 아울러, 신규 주행 경로 상에서 정보 획득부(110)의 촬영부(112)는 제어부(130)의 제어에 따라 스캐닝부(111)가 스캔한 공간과 동일한 공간에 대해 영상을 획득한다(S260).Subsequently, the control unit 130 controls the driving unit 140 to move the spatial scanning device 100 along the new driving path generated in step S260. On the new driving path, the scanning unit 111 of the information acquisition unit 110 acquires a new point cloud by scanning a space under the control of the control unit 130, that is, scanning a point corresponding to the occlusion area. In addition, the imaging unit 112 of the information acquisition unit 110 on the new driving path acquires an image in the same space as the space scanned by the scanning unit 111 under the control of the control unit 130 (S260).

그리고, 제어부(130)는 단계 S230에서 탐색된 폐색 영역에 대응하는 지점 중에서 신규로 스캔되지 않고 남아 있는 것이 있는지를 판단하고, 아직 신규 스캔되지 않은 폐색 영역이 존재하는 경우에는 단계 S250 내지 단계 S270을 재수행한다. 예를 들어, 도 6에 예시한 바와 같이 총 2개의 폐색 영역이 판정된 경우라면 단계 S250 내지 단계 S270가 총 2회에 걸쳐서 수행된다.Then, the control unit 130 determines whether there is a new unscanned and remaining one of the points corresponding to the occluded area searched in step S230, and if there is a new unscanned occluded area, steps S250 to S270 are performed. Redo. For example, as illustrated in FIG. 6, if a total of two occlusion areas are determined, steps S250 to S270 are performed twice in total.

다음으로, 제어부(130)는 단계 S230에서 탐색된 폐색 영역에 대응하는 지점에 대한 신규 스캔이 모두 종료되면, 초기 주행 경로 및 신규 주행 경로에서 획득된 포인트 클라우드와 영상을 정합하여 공간 지도를 생성하고, 생성된 공간 지도를 데이터 저장부(120)에 저장한다(S290).Next, when all of the new scans for the point corresponding to the occluded area searched in step S230 are finished, the controller 130 matches the point cloud and the image obtained from the initial driving route and the new driving route to generate a spatial map and , The generated spatial map is stored in the data storage unit 120 (S290).

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성함으로써, 사용자가 공간 스캔 장치의 주행을 조정하는 경우 사용자가 신규 주행 경로를 참고할 수 있도록 한다.As described so far, according to an embodiment of the present invention, by generating a new driving path capable of scanning a point corresponding to the occluded area when the occluded area exists in the point cloud obtained for generating the spatial map, When the user adjusts the driving of the spatial scanning device, the user may refer to the new driving route.

나아가, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상된다.Furthermore, the quality of the spatial map is improved by autonomously driving the generated driving path and scanning the point corresponding to the occluded area to further acquire a point cloud.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of each flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed through the processor of a computer or other programmable data processing equipment are described in each step of the flowchart. It creates a means to do them. These computer program instructions can also be stored on a computer-readable or computer-readable recording medium that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that it is computer- or computer-readable. It is also possible for the instructions stored in the recording medium to produce an article of manufacture containing instructions means for performing the functions described in each step of the flowchart. Since computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments it is also possible that the functions mentioned in the steps occur out of order. For example, the two steps shown in succession may in fact be performed substantially simultaneously, or it is also possible that the steps are sometimes performed in reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성할 수 있으며, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상된다.According to an embodiment of the present invention, when an occlusion area exists in the point cloud obtained for generating a spatial map, a new driving route capable of scanning a point corresponding to the occlusion area may be generated, and the generated travel route By autonomous driving, and scanning the point corresponding to the occluded area to additionally acquire a point cloud, the quality of the spatial map is improved.

이러한 본 발명은 실제 공간에 대한 공간 지도를 생성하는 산업분야를 포함하여, 이러한 공간 지도를 이용하여 가상현실(Virtual Reality) 서비스를 제공하는 다양한 산업분야에 이용할 수 있다.The present invention can be used in various industries that provide a virtual reality service using such a spatial map, including an industrial field for generating a spatial map for a real space.

100: 공간 스캔 장치
110: 정보 획득부
111: 스캐닝부
112: 촬영부
120: 데이터 저장부
130: 제어부
140: 주행부100: space scanning device
110: information acquisition unit
111: scanning unit
112: filming unit
120: data storage
130: control unit
140: driving unit

Claims (10)

공간을 스캔하여 포인트 클라우드를 획득하는 스캐닝부와,
상기 스캐닝부에 의해 획득된 포인트 클라우드에 대응하는 상기 공간 내의 초기 주행 경로가 저장된 데이터 저장부와,
제어부를 포함하고,
상기 제어부는,
상기 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하며,
상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하고,
상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하며, 상기 생성된 신규 주행 경로를 상기 데이터 저장부에 저장하는
공간 스캔 장치.A scanning unit that scans space to obtain a point cloud,
A data storage unit storing an initial driving path in the space corresponding to the point cloud obtained by the scanning unit;
It includes a control unit,
The control unit,
A depth map image is generated based on the acquired point cloud,
It is determined whether an occlusion area exists in the generated depth map image,
When the occlusion region is present, a new driving path in which a point corresponding to the occlusion region can be scanned is generated, and the generated new driving path is stored in the data storage unit.
Space scanning device. 제 1 항에 있어서,
상기 제어부의 제어에 따라 주행 구동되어 상기 공간 스캔 장치를 이동시키는 주행부를 더 포함하고,
상기 제어부는,
상기 초기 주행 경로 및 상기 신규 주행 경로를 주행하도록 상기 주행부를 제어하며,
상기 초기 주행 경로에서 상기 포인트 클라우드를 획득하도록 상기 스캐닝부를 제어하고,
상기 신규 주행 경로에서 상기 폐색 영역을 스캔하여 신규 포인트 클라우드를 획득하도록 상기 스캐닝부를 제어하는
공간 스캔 장치.According to claim 1,
Further comprising a traveling unit that is driven to drive under the control of the control unit to move the spatial scanning device,
The control unit,
Control the driving unit to drive the initial driving path and the new driving path,
Control the scanning unit to obtain the point cloud in the initial driving path,
The scanning unit is controlled to acquire a new point cloud by scanning the occlusion area in the new driving path.
Space scanning device. 제 1 항에 있어서,
상기 스캐닝부는, 상기 공간 내의 한 지점에서 구 형태로 스캔하며,
상기 제어부는, 상기 구의 중심에 가상의 초점(focal)을 두고, 상기 초점을 중심으로 하는 가상 다면체를 생성하며, 상기 가상 다면체의 각 면에 가상 영상면을 생성하고, 상기 포인트 클라우드를 상기 가상 영상면에 투영(投影)해 상기 포인트 클라우드의 깊이 값을 반영한 상기 깊이 지도 영상을 생성하는
공간 스캔 장치.According to claim 1,
The scanning unit scans in a spherical shape at a point in the space,
The control unit places a virtual focal center in the center of the sphere, generates a virtual polyhedron centered on the focus, generates virtual image planes on each side of the virtual polyhedron, and the point cloud to the virtual image. Projecting on the surface to generate the depth map image reflecting the depth value of the point cloud
Space scanning device. 제 1 항에 있어서,
상기 제어부는, 상기 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산하고, 상기 계산된 깊이 차이와 기설정된 기준값을 비교한 결과에 기초하여 상기 폐색 영역을 판정하는
공간 스캔 장치.According to claim 1,
The controller calculates a depth difference between neighboring pixels with respect to pixels in the depth map image, and determines the occlusion area based on a result of comparing the calculated depth difference with a preset reference value.
Space scanning device. 제 4 항에 있어서,
상기 제어부는, 상기 계산된 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 폐색 후보 픽셀로 선정하고, 상기 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체의 정중앙에 상기 폐색 후보 픽셀을 배치하며, 상기 스캐닝부의 스캔 방향에 기초하여 상기 4개의 정육면체 중 하나의 정육면체를 폐색 후보 영역으로 선정하고, 상기 폐색 후보 영역에 대해 상기 폐색 영역인지 여부를 판정하는
공간 스캔 장치.The method of claim 4,
The controller selects pixels whose calculated difference in depth is greater than a preset reference value as a candidate occlusion, and occludes the occlusion in the center of a cube formed by stacking and placing four cubes in a 2X2 shape in the depth direction of the depth map image. Candidate pixels are arranged, and one cube among the four cubes is selected as an occlusion candidate area based on the scanning direction of the scanning unit, and the occlusion candidate area is determined to be the occlusion area.
Space scanning device. 제 5 항에 있어서,
상기 제어부는, 상기 폐색 후보 영역의 포인트 클라우드의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 상기 폐색 영역인지 여부를 판정하는
공간 스캔 장치.The method of claim 5,
The control unit determines whether or not the occlusion area is based on a result of comparing the number of point clouds of the occlusion candidate area with a preset reference number.
Space scanning device. 제 1 항에 있어서,
상기 제어부는, 상기 폐색 영역이 존재하는 경우 상기 포인트 클라우드에 기초하여 상기 폐색 영역의 3차원 위치 정보를 획득하고, 상기 3차원 위치 정보에 대응하는 지점이 상기 스캐닝부에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정하며, 현재 위치에서 상기 이동 목표 위치까지의 이동 경로를 상기 신규 주행 경로로서 생성하는
공간 스캔 장치.According to claim 1,
The control unit acquires three-dimensional position information of the occlusion area based on the point cloud when the occlusion area is present, and a target point where a point corresponding to the three-dimensional position information can be scanned by the scanning unit Is selected as a moving target position, and a moving path from the current position to the moving target position is generated as the new driving route.
Space scanning device. 제 7 항에 있어서,
상기 제어부는, 상기 포인트 클라우드 중 상기 폐색 영역의 주변의 포인트 클라우드를 획득할 때 상기 스캐닝부의 스캔 방향에 대응하는 방향 벡터를 추출하고, 상기 방향 벡터에 기초하여 상기 목표 지점을 선정하는
공간 스캔 장치.The method of claim 7,
The controller extracts a direction vector corresponding to the scanning direction of the scanning unit when acquiring a point cloud around the occluded area among the point clouds, and selects the target point based on the direction vector
Space scanning device. 공간 스캔 장치에서 수행되는 정보 처리 방법으로서,
기설정된 초기 주행 경로에서 공간을 스캔하여 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하는 단계와,
상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 단계와,
상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하는 단계를 포함하는
정보 처리 방법.A method for processing information performed in a spatial scanning device,
Generating a depth map image based on a point cloud obtained by scanning a space in a preset initial driving path;
Determining whether an occlusion region exists in the generated depth map image,
And generating a new driving route in which the point corresponding to the occlusion area can be scanned when the occlusion area is present.
Information processing methods. 제 9 항에 있어서,
상기 공간 스캔 장치는, 주행 구동되어 상기 공간 스캔 장치를 이동시키는 주행부를 포함하고,
상기 정보 처리 방법은,
상기 초기 주행 경로로 이동하도록 상기 주행부를 제어하여, 상기 포인트 클라우드를 획득하는 단계와,
상기 신규 주행 경로로 이동하도록 상기 주행부를 제어하여, 상기 폐색 영역을 스캔하여 포인트 클라우드를 추가 획득하는 단계를 더 포함하는
정보 처리 방법.
The method of claim 9,
The spatial scanning device includes a driving unit that is driven to move and moves the spatial scanning device,
The information processing method,
Controlling the driving unit to move to the initial driving path, and obtaining the point cloud;
Further comprising the step of controlling the driving unit to move to the new driving path, by scanning the occluded area to further acquire a point cloud
Information processing methods.
KR1020180126227A 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof KR102158323B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Publications (2)

Publication Number Publication Date
KR20200045321A true KR20200045321A (en) 2020-05-04
KR102158323B1 KR102158323B1 (en) 2020-09-21

Family

ID=70732552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Country Status (1)

Country Link
KR (1) KR102158323B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074674A (en) * 2020-11-27 2022-06-03 한국전자통신연구원 Apparatus and method for generating 3d data
KR20240020801A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240020800A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240021539A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane mapped texture generating method
KR20240021542A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane generating method
KR20240022097A (en) 2022-08-11 2024-02-20 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and modeling object editing method
KR20240022098A (en) 2022-08-11 2024-02-20 (주)비주얼신 Digital twin space service providing method and apparatus using mobile digital twin implement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (en) * 2002-03-18 2003-09-24 Sony Corp Path planning device, path planning method, path planning program, and moving robot device
KR100860771B1 (en) * 2008-01-11 2008-09-30 한국유지관리 주식회사 System for acquiring inside space information of underground space and shielding structure
KR20140007367A (en) * 2011-01-31 2014-01-17 마이크로소프트 코포레이션 Three-dimensional environment reconstruction
KR101572618B1 (en) 2014-10-16 2015-12-02 연세대학교 산학협력단 Apparatus and method for simulating lidar
KR20160027735A (en) * 2014-09-02 2016-03-10 네이버비즈니스플랫폼 주식회사 Apparatus and method system and mtehod for building indoor map using cloud point
WO2018021066A1 (en) * 2016-07-29 2018-02-01 ソニー株式会社 Image processing device and image processing method
WO2018112273A2 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (en) * 2002-03-18 2003-09-24 Sony Corp Path planning device, path planning method, path planning program, and moving robot device
KR100860771B1 (en) * 2008-01-11 2008-09-30 한국유지관리 주식회사 System for acquiring inside space information of underground space and shielding structure
KR20140007367A (en) * 2011-01-31 2014-01-17 마이크로소프트 코포레이션 Three-dimensional environment reconstruction
KR20160027735A (en) * 2014-09-02 2016-03-10 네이버비즈니스플랫폼 주식회사 Apparatus and method system and mtehod for building indoor map using cloud point
KR101572618B1 (en) 2014-10-16 2015-12-02 연세대학교 산학협력단 Apparatus and method for simulating lidar
WO2018021066A1 (en) * 2016-07-29 2018-02-01 ソニー株式会社 Image processing device and image processing method
WO2018112273A2 (en) * 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074674A (en) * 2020-11-27 2022-06-03 한국전자통신연구원 Apparatus and method for generating 3d data
KR20240020801A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240020800A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240021539A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane mapped texture generating method
KR20240021542A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane generating method
KR20240022097A (en) 2022-08-11 2024-02-20 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and modeling object editing method
KR20240022098A (en) 2022-08-11 2024-02-20 (주)비주얼신 Digital twin space service providing method and apparatus using mobile digital twin implement

Also Published As

Publication number Publication date
KR102158323B1 (en) 2020-09-21

Similar Documents

Publication Publication Date Title
KR102158323B1 (en) Space scanning apparatus and information processing method thereof
US10796151B2 (en) Mapping a space using a multi-directional camera
US9322646B2 (en) Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
US20190163958A1 (en) Methods and associated systems for grid analysis
WO2018015716A1 (en) Estimating dimensions for an enclosed space using a multi-directional camera
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
GB2552058A (en) Method and device for processing image data and driver assistance system for a vehicle
WO2019100700A1 (en) Portable 3d scanning systems and scanning methods
CN111141264A (en) Unmanned aerial vehicle-based urban three-dimensional mapping method and system
CN108367436B (en) Active camera movement determination for object position and range in three-dimensional space
WO2021195939A1 (en) Calibrating method for external parameters of binocular photographing device, movable platform and system
Pages et al. An approach to visual servoing based on coded light
CN109492521B (en) Face positioning method and robot
JP2009530701A (en) Method for determining depth map from image, apparatus for determining depth map
CN111609854A (en) Three-dimensional map construction method based on multiple depth cameras and sweeping robot
CN106682584B (en) Unmanned aerial vehicle obstacle detection method and device
CN108347561A (en) Laser aiming scanning system and scan method
KR101817756B1 (en) PTM making system based on 3D model with interactive viewpoint control and method using the same
JPH0814860A (en) Model creating device
Peñalver et al. Multi-view underwater 3D reconstruction using a stripe laser light and an eye-in-hand camera
Iz et al. An image-based path planning algorithm using a UAV equipped with stereo vision
JP6595878B2 (en) Element image group generation apparatus and program thereof
Benson et al. Lissajous-like scan pattern for a nodding multi-beam lidar
Hemayed et al. The CardEye: A trinocular active vision system
Ozkan et al. Surface profile-guided scan method for autonomous 3D reconstruction of unknown objects using an industrial robot

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant