KR102158323B1 - Space scanning apparatus and information processing method thereof - Google Patents

Space scanning apparatus and information processing method thereof Download PDF

Info

Publication number
KR102158323B1
KR102158323B1 KR1020180126227A KR20180126227A KR102158323B1 KR 102158323 B1 KR102158323 B1 KR 102158323B1 KR 1020180126227 A KR1020180126227 A KR 1020180126227A KR 20180126227 A KR20180126227 A KR 20180126227A KR 102158323 B1 KR102158323 B1 KR 102158323B1
Authority
KR
South Korea
Prior art keywords
scanning
unit
occlusion
space
point cloud
Prior art date
Application number
KR1020180126227A
Other languages
Korean (ko)
Other versions
KR20200045321A (en
Inventor
유연걸
신승호
임국찬
전진수
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180126227A priority Critical patent/KR102158323B1/en
Publication of KR20200045321A publication Critical patent/KR20200045321A/en
Application granted granted Critical
Publication of KR102158323B1 publication Critical patent/KR102158323B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

실시예에 따른 공간 스캔 장치는, 공간을 스캔하여 포인트 클라우드를 획득하는 스캐닝부와, 스캐닝부에 의해 획득된 포인트 클라우드에 대응하는 공간 내의 초기 주행 경로가 저장된 데이터 저장부와, 제어부를 포함하고, 제어부는, 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하며, 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하고, 폐색 영역이 존재하는 경우 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하며, 생성된 신규 주행 경로를 데이터 저장부에 저장한다.A space scanning apparatus according to an embodiment includes a scanning unit that scans a space to obtain a point cloud, a data storage unit storing an initial driving route in a space corresponding to the point cloud obtained by the scanning unit, and a control unit, The control unit generates a depth map image based on the acquired point cloud, determines whether an occluded area exists in the generated depth map image, and if there is an occlusion area, a new driving in which a point corresponding to the occlusion area can be scanned. A route is created, and the generated new driving route is stored in the data storage unit.

Description

공간 스캔 장치 및 그 정보 처리 방법{SPACE SCANNING APPARATUS AND INFORMATION PROCESSING METHOD THEREOF}Space scanning device and its information processing method {SPACE SCANNING APPARATUS AND INFORMATION PROCESSING METHOD THEREOF}

본 발명은 실제 공간에 대응하는 공간 지도를 생성하는 공간 스캔 장치 및 그 공간 지도의 생성을 위한 정보 처리 방법에 관한 것이다.The present invention relates to a spatial scanning apparatus for generating a spatial map corresponding to an actual space, and an information processing method for generating the spatial map.

주지하고 있는 바와 같이, 공간 스캔 장치는 레이저 스캐너와 카메라를 이용하여 실제 공간에 대한 공간 지도를 생성할 수 있다. 이러한 공간 스캔 장치는 사용자의 조정에 따라 공간 내부를 주행하거나 공간 내부를 자율 주행할 수 있고, 주행 경로 상의 스캔 지점에서 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드(point cloud)를 획득하고, 동일한 공간을 카메라로 촬영하여 영상을 획득하며, 동일한 공간에 대한 포인트 클라우드와 영상을 정합하여 공간 지도를 생성한다.As is well known, the spatial scanning device may generate a spatial map of an actual space using a laser scanner and a camera. Such a space scanning device can drive inside the space or autonomously drive inside the space according to the user's adjustment, and obtain a point cloud by scanning the space with a laser scanner at the scan point on the driving route, and retrieve the same space. An image is acquired by shooting with a camera, and a spatial map is created by matching the image with the point cloud for the same space.

그런데, 실제 공간에는 복수의 객체가 위치할 수 있고, 공간 스캔 장치가 공간의 특정 스캔 지점에서 스캔을 할 때에 스캔 방향에 대해 앞쪽에 있는 객체에 의해 뒤쪽에 있는 객체의 일부 또는 전체가 폐색(occlusion)될 수 있으며, 이처럼 폐색 영역이 존재하는 경우에 공간 지도의 품질이 저하되는 문제점이 있다.However, a plurality of objects may be located in the actual space, and when the spatial scanning device scans at a specific scan point in the space, some or all of the objects in the back are occluded by the object in the front of the scan direction. ), and there is a problem in that the quality of the spatial map is deteriorated when the occluded area is present.

한국등록특허 제1572618호 (등록일 : 2015년 11월 23일)Korean Patent Registration No. 1572618 (Registration Date: November 23, 2015)

일 실시예에 따르면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 주행 경로를 생성하는 공간 스캔 장치 및 그 정보 처리 방법을 제공한다.According to an embodiment, a spatial scanning device for generating a driving route capable of scanning a point corresponding to the occluded area when an occluded area exists in a point cloud obtained for generating a spatial map, and an information processing method thereof are provided. do.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

본 발명의 제 1 관점에 따른, 공간 스캔 장치는, 공간을 스캔하여 포인트 클라우드를 획득하는 스캐닝부와, 상기 스캐닝부에 의해 획득된 포인트 클라우드에 대응하는 상기 공간 내의 초기 주행 경로가 저장된 데이터 저장부와, 제어부를 포함하고, 상기 제어부는, 상기 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하며, 상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하고, 상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하며, 상기 생성된 신규 주행 경로를 상기 데이터 저장부에 저장한다.According to a first aspect of the present invention, a space scanning apparatus includes a scanning unit that scans a space to obtain a point cloud, and a data storage unit storing an initial driving route in the space corresponding to the point cloud obtained by the scanning unit. And, a control unit, wherein the control unit generates a depth map image based on the acquired point cloud, determines whether an occlusion area exists in the generated depth map image, and if the occlusion area exists, the occlusion A new driving route in which a point corresponding to an area can be scanned is created, and the generated new driving route is stored in the data storage unit.

본 발명의 제 2 관점에 따른, 공간 스캔 장치에서 수행되는 정보 처리 방법은, 기설정된 초기 주행 경로에서 공간을 스캔하여 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하는 단계와, 상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 단계와, 상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하는 단계를 포함한다.According to a second aspect of the present invention, an information processing method performed in a space scanning apparatus includes generating a depth map image based on a point cloud obtained by scanning a space in a preset initial driving path, and the generated depth Determining whether an occluded area exists in the map image, and generating a new driving route through which a point corresponding to the occluded area can be scanned when the occluded area exists.

본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성함으로써, 사용자가 공간 스캔 장치의 주행을 조정하는 경우 사용자가 신규 주행 경로를 참고할 수 있도록 한다.According to an embodiment of the present invention, when an occluded area exists in a point cloud obtained for generating a spatial map, a new driving route capable of scanning a point corresponding to the occluded area is created, thereby allowing the user to When adjusting the driving, the user can refer to the new driving route.

나아가, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상되는 효과가 있다.Further, by autonomously driving the generated driving route and additionally obtaining a point cloud by scanning a point corresponding to the occluded area, there is an effect of improving the quality of the spatial map.

도 1은 본 발명의 일 실시예에 따른 공간 스캔 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 공간 스캔 장치의 공간 지도 생성을 위한 정보 처리 방법을 설명하기 위한 흐름도이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 공간 스캔 장치에서 폐색 영역을 결정하는 과정을 설명하기 위한 상태도들이다.1 is a block diagram of a spatial scanning apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an information processing method for generating a spatial map by a spatial scanning device according to an embodiment of the present invention.
3 to 6 are state diagrams for explaining a process of determining an occlusion area in the spatial scanning apparatus according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 공간 스캔 장치의 구성도이다.1 is a block diagram of a spatial scanning apparatus according to an embodiment of the present invention.

도 1에 나타낸 바와 같이 일 실시예에 따른 입체 모델 생성 장치(100)는 정보 획득부(110), 데이터 저장부(120), 제어부(130) 및 주행부(140)를 포함한다. 예를 들어, 제어부(130)는 CPU(Central Processing Unit)를 포함할 수 있다.As shown in FIG. 1, the 3D model generating apparatus 100 according to an exemplary embodiment includes an information acquisition unit 110, a data storage unit 120, a control unit 130, and a driving unit 140. For example, the control unit 130 may include a CPU (Central Processing Unit).

정보 획득부(110)는 공간 지도를 생성하기 위한 실제 공간에 대한 정보를 획득한다. 여기서, 정보 획득부(110)는 실제 공간을 촬영하여 획득한 영상과 실제 공간을 스캐닝하여 획득한 포인트 클라우드(point cloud)를 획득할 수 있다. 이러한 정보 획득부(110)는 도 1에 도시한 바와 같이 실제 공간을 레이저 스캐너로 스캐닝하여 포인트 클라우드를 획득하는 스캐닝부(111)를 일체로 포함할 수 있고, 실제 공간을 촬영하여 영상을 획득하는 촬영부(112)를 일체로 포함할 수 있다. 예를 들어, 스캐닝부(111)는 공간 내의 한 지점에서 구 형태로 스캔할 수 있다.The information acquisition unit 110 acquires information on an actual space for generating a spatial map. Here, the information acquisition unit 110 may acquire an image obtained by photographing an actual space and a point cloud obtained by scanning the actual space. As shown in FIG. 1, the information acquisition unit 110 may integrally include a scanning unit 111 that scans an actual space with a laser scanner to obtain a point cloud, and acquires an image by photographing an actual space. The photographing unit 112 may be integrally included. For example, the scanning unit 111 may scan in a spherical shape at a point in space.

데이터 저장부(120)에는 사전에 입력되거나 제어부(130)에 의해 생성된 초기 주행 경로, 제어부(130)에 의해 생성된 신규 주행 경로, 정보 획득부(110)에 의해 획득된 포인트 클라우드 및 영상이 저장된다.In the data storage unit 120, an initial driving route input in advance or generated by the control unit 130, a new driving route generated by the control unit 130, a point cloud and an image obtained by the information acquisition unit 110 are stored. Is saved.

제어부(130)는 주행 구동되도록 주행부(140)를 제어할 수 있고, 주행부(140)는 제어부(130)의 제어에 따라 주행 구동되어 공간 스캔 장치(100)를 이동시킬 수 있다. 주행부(140)는 도시 생략된 사용자 인터페이스를 통한 사용자의 조정에 따라 스캔 대상인 공간 내부를 주행하거나, 제어부(130)의 제어에 따라 데이터 저장부(120)에 저장된 초기 주행 경로 및 신규 주행 경로를 자율 주행할 수 있다. 예를 들어, 주행부(140)는 통상의 주행 로봇과 같이 무한궤도 휠이나 4륜 휠을 포함할 수 있다.The controller 130 may control the driving unit 140 to be driven to travel, and the driving unit 140 may be driven to travel under the control of the controller 130 to move the space scanning device 100. The driving unit 140 travels inside the space to be scanned according to a user's adjustment through a user interface (not shown), or stores an initial driving route and a new driving route stored in the data storage unit 120 under the control of the controller 130. Can drive autonomously. For example, the driving unit 140 may include a caterpillar wheel or a four-wheel wheel like a normal driving robot.

제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성한다. 이러한 제어부(130)는 스캐닝부(111)가 공간 내의 한 지점에서 구 형태로 스캔하는 경우, 구의 중심에 가상의 초점(focal)을 둘 수 있고, 초점을 중심으로 하는 가상 다면체(예컨대, 정육면체)를 생성할 수 있으며, 가상 다면체의 각 면에 가상 영상면을 생성할 수 있고, 포인트 클라우드를 가상 영상면에 투영(投影)해 포인트 클라우드의 깊이 값을 반영한 깊이 지도 영상을 생성할 수 있다.The control unit 130 generates a depth map image based on the point cloud obtained by the information acquisition unit 110. When the scanning unit 111 scans in a sphere shape at a point in space, the controller 130 may place a virtual focal at the center of the sphere, and a virtual polyhedron (eg, a cube) centered on the focus Can be created, a virtual image plane can be created on each side of a virtual polyhedron, and a depth map image reflecting the depth value of the point cloud can be generated by projecting the point cloud onto the virtual image plane.

그리고, 제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단한다. 이러한 제어부(130)는 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산할 수 있고, 계산된 깊이 차이와 기설정된 기준값을 비교한 결과에 기초하여 폐색 영역을 판정할 수 있다. 예를 들어, 제어부(130)는 계산된 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 폐색 후보 픽셀로 선정할 수 있고, 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체의 정중앙에 폐색 후보 픽셀을 배치할 수 있으며, 스캐닝부(111)의 스캔 방향에 기초하여 4개의 정육면체 중 하나의 정육면체를 폐색 후보 영역으로 선정할 수 있고, 폐색 후보 영역에 대해 폐색 영역인지 여부를 판정할 수 있다. 예컨대, 제어부(130)는 폐색 후보 영역의 포인트 클라우드의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 폐색 영역인지 여부를 판정할 수 있다.In addition, the controller 130 determines whether an occluded area exists in the depth map image generated based on the point cloud acquired by the information acquisition unit 110. The controller 130 may calculate a depth difference between neighboring pixels with respect to pixels in the depth map image, and determine the occlusion area based on a result of comparing the calculated depth difference with a preset reference value. For example, the control unit 130 may select pixels having a calculated depth difference greater than a preset reference value as occlusion candidate pixels, and a rectangular parallelepiped formed by stacking and arranging four cubes in a 2X2 form in the depth direction of the depth map image. An occlusion candidate pixel can be arranged in the center of the, and based on the scanning direction of the scanning unit 111, one of the four cubes can be selected as a candidate occlusion area, and whether or not the occlusion candidate area is an occlusion area Can be judged. For example, the controller 130 may determine whether the area is an occluded area based on a result of comparing the number of point clouds of the occlusion candidate area with a preset reference number.

아울러, 제어부(130)는 깊이 지도 영상 내에 폐색 영역이 존재하는 경우 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성하며, 생성된 신규 주행 경로를 데이터 저장부(120)에 저장한다. 여기서, 제어부(130)는 포인트 클라우드에 기초하여 폐색 영역의 3차원 위치 정보를 획득할 수 있고, 3차원 위치 정보에 대응하는 지점이 스캐닝부(111)에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정할 수 있으며, 현재 위치에서 이동 목표 위치까지의 이동 경로를 신규 주행 경로로서 생성할 수 있다. 예를 들어, 제어부(130)는 포인트 클라우드 중 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터를 추출할 수 있고, 추출된 방향 벡터에 기초하여 목표 지점을 선정할 수 있다.In addition, the controller 130 creates a new driving route capable of scanning a point corresponding to the occluded area when there is an occluded area in the depth map image, and stores the generated new driving route in the data storage unit 120. . Here, the control unit 130 may acquire 3D location information of the occluded area based on the point cloud, and move the target point where the point corresponding to the 3D location information can be scanned by the scanning unit 111 It can be selected as a location, and a movement path from the current position to the movement target position can be created as a new travel path. For example, the control unit 130 may extract a direction vector corresponding to the scanning direction of the scanning unit 111 when acquiring a point cloud around the occluded area among the point clouds, and based on the extracted direction vector You can select a branch.

또한, 제어부(130)는 데이터 저장부(120)에 저장된 신규 주행 경로를 주행하도록 주행부(140)를 제어할 수 있고, 신규 주행 경로 상의 스캔 지점에서 공간에 대한 포인트 클라우드 및 영상을 획득하도록 정보 획득부(110)를 제어할 수 있다. 그리고, 제어부(130)는 초기 주행 경로 및 신규 주행 경로에서 획득된 포인트 클라우드와 영상을 정합하여 공간 지도를 생성하고, 생성된 공간 지도를 데이터 저장부(120)에 저장할 수 있다.In addition, the control unit 130 may control the driving unit 140 to travel a new driving route stored in the data storage unit 120, and information to obtain a point cloud and an image for a space at a scan point on the new driving route. It is possible to control the acquisition unit 110. In addition, the controller 130 may generate a spatial map by matching the image with the point cloud obtained from the initial driving route and the new driving route, and store the generated spatial map in the data storage unit 120.

도 2는 본 발명의 일 실시예에 따른 공간 스캔 장치(100)의 공간 지도 생성을 위한 정보 처리 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 6은 본 발명의 일 실시예에 따른 공간 스캔 장치(100)에서 폐색 영역을 결정하는 과정을 설명하기 위한 상태도들이다.2 is a flowchart illustrating an information processing method for generating a spatial map of the spatial scanning apparatus 100 according to an embodiment of the present invention, and FIGS. 3 to 6 are spatial scanning apparatuses according to an embodiment of the present invention. These are state diagrams for explaining the process of determining the occlusion area at (100).

이하, 도 1 내지 도 6를 참조하여 본 발명의 일 실시예에 따른 공간 스캔 장치(100)에서 공간 지도 생성을 위해 수행되는 정보 처리 방법의 일 예에 대해 자세히 살펴보기로 한다.Hereinafter, an example of an information processing method performed to generate a spatial map in the spatial scanning apparatus 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6.

먼저, 제어부(130)는 주행부(140)로 하여금 공간 스캔 장치(100)를 데이터 저장부(120)에 저장된 초기 주행 경로를 따라 이동시키도록 제어한다. 이러한, 초기 주행 경로 상에서 정보 획득부(110)의 스캐닝부(111)는 제어부(130)의 제어에 따라 공간을 스캐닝하여 포인트 클라우드를 획득한다. 예를 들어, 스캐닝부(111)는 공간 내의 한 지점에서 구 형태로 360도 스캔을 수행할 수 있다. 예컨대, 스캐닝부(111)는 2개의 팬틸트 모터를 구동하여 회전하면서 공간을 구 형태로 스캔할 수 있다. 아울러, 초기 주행 경로 상에서 정보 획득부(110)의 촬영부(112)는 제어부(130)의 제어에 따라 스캐닝부(111)가 스캔한 공간과 동일한 공간에 대해 영상을 획득한다. 이때, 정보 획득부(110)는 주행부(140)의 주행 구동에 의해 공간 스캔 장치(100)가 이동하는 중이 아닌 특정 스캔 지점에 정지된 상태에서 포인트 클라우드 및 영상을 획득할 수 있다(S210).First, the control unit 130 controls the driving unit 140 to move the space scanning device 100 along the initial driving path stored in the data storage unit 120. On the initial driving route, the scanning unit 111 of the information acquisition unit 110 scans a space under the control of the controller 130 to obtain a point cloud. For example, the scanning unit 111 may perform a 360 degree scan in a spherical shape at a point in space. For example, the scanning unit 111 may scan a space in a spherical shape while rotating by driving two pan-tilt motors. In addition, the photographing unit 112 of the information acquisition unit 110 on the initial driving path acquires an image of the same space as the space scanned by the scanning unit 111 under the control of the control unit 130. In this case, the information acquisition unit 110 may acquire a point cloud and an image in a state where the spatial scanning device 100 is stopped at a specific scan point instead of being moved by the driving of the driving unit 140 (S210). .

그리고, 제어부(130)는 정보 획득부(110)의 스캐닝부(111)에 의해 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성한다. 이러한 제어부(130)는 스캐닝부(111)가 공간 내의 한 지점에서 구 형태로 360도 스캔하는 경우, 구의 중심에 가상의 초점을 둘 수 있고, 초점을 중심으로 하는 가상 다면체를 생성할 수 있으며, 가상 다면체의 각 면에 가상 영상면을 생성할 수 있고, 단계 S210에서 획득된 포인트 클라우드를 가상 영상면에 투영해 포인트 클라우드의 깊이 값을 반영한 깊이 지도 영상을 생성할 수 있다. 예를 들어, 가상 다면체로서 정육면체를 생성한 경우 스캐닝부(111)의 1회 스캔에 대해 6개의 깊이 값이 깊이 지도 영상에 반영되고, 포인트 클라우드의 1/6씩 6개의 깊이 값에 균등하게 반영된다. 예컨대, 깊이 지도 영상을 생성할 때에 홀(hole)이 발생한 경우 공지의 보간(interpolation)법을 이용하여 홀메움(holefilling) 처리를 할 수 있다(S220).In addition, the controller 130 generates a depth map image based on the point cloud acquired by the scanning unit 111 of the information acquisition unit 110. When the scanning unit 111 scans 360 degrees in a sphere shape at a point in space, the controller 130 may place a virtual focus on the center of the sphere and generate a virtual polyhedron centered on the focus, A virtual image plane may be generated on each side of the virtual polyhedron, and a depth map image reflecting the depth value of the point cloud may be generated by projecting the point cloud obtained in step S210 onto the virtual image plane. For example, when a cube is created as a virtual polyhedron, six depth values for one scan of the scanning unit 111 are reflected in the depth map image, and each 1/6 of the point cloud is equally reflected in six depth values. do. For example, when a hole occurs when generating a depth map image, a hole-filling process may be performed using a known interpolation method (S220).

다음으로, 제어부(130)는 정보 획득부(110)에 의해 획득된 포인트 클라우드에 기초하여 생성된 깊이 지도 영상 내의 폐색 영역을 탐색(S230)하여 폐색 영역이 존재하는지를 판단한다(S240). 이러한 제어부(130)에서 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 과정을 도 3 내지 도 6을 참조하여 자세히 살펴보기로 한다.Next, the controller 130 searches for an occluded area in the depth map image generated based on the point cloud acquired by the information acquisition unit 110 (S230) to determine whether the occlusion area exists (S240). A process of determining whether an occluded area exists in the depth map image by the controller 130 will be described in detail with reference to FIGS. 3 to 6.

도 3에 예시한 바와 같이 공간 스캔 장치(100)가 공간의 특정 스캔 지점에서 스캔을 수행하여 포인트 클라우드(3)를 획득할 때에, 스캔 방향에 대해 앞쪽에 있는 제 1 객체(1)에 의해 뒤쪽에 있는 제 2 객체(2)의 일부가 가려져서 폐색 영역(4)이 존재할 수 있다.As illustrated in FIG. 3, when the spatial scanning device 100 performs a scan at a specific scan point in space to obtain the point cloud 3, the first object 1 in front of the scan direction A part of the second object 2 in is obscured so that the occluded area 4 may exist.

이러한 폐색 환경에서 공간 스캔 장치(100)가 도 4에 예시한 바와 같이 공간에 대한 스캐닝을 수행하여 포인트 클라우드(5)를 획득한 경우, 제어부(130)는 단계 S220에서 생성된 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산하고, 이웃 픽셀간 깊이 차이에 기초하여 픽셀간 깊이의 불연속성이 높은 영역(6)을 파악한다.In such an occluded environment, when the spatial scanning device 100 obtains the point cloud 5 by performing a space scanning as illustrated in FIG. 4, the controller 130 performs a pixel in the depth map image generated in step S220. A depth difference between neighboring pixels is calculated for each of the pixels, and a region 6 having a high discontinuity in the depth between pixels is identified based on the depth difference between neighboring pixels.

그리고, 제어부(130)는 픽셀간 깊이의 불연속성이 높은 영역(6) 내에서 폐색 후보 픽셀을 선정한 후, 이러한 폐색 후보 픽셀을 이용하여 폐색 영역을 판정할 수 있다. 예를 들어, 도 5에 예시한 바와 같이 제어부(130)는 이웃 픽셀간 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 폐색 후보 픽셀(8a, 8b, 8c, 8d)을 선정하고, 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체(9a, 9b, 9c, 9d)의 정중앙에 폐색 후보 픽셀(8a, 8b, 8c, 8d)을 배치하며, 스캐닝부(111)의 스캔 방향에 기초하여 4개의 정육면체 중 하나의 정육면체를 폐색 후보 영역으로 선정한다. 그리고, 제어부(130)는 폐색 후보 영역의 등록된 포인트 클라우드(7)의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 폐색 영역인지 여부를 판정한다. 예를 들어, 제어부(130)는 도 6에 예시한 바와 같이 4개의 폐색 후보 영역(10, 11) 중 포인트 클라우드가 상대적으로 많은 폐색 후보 영역은 비 패색 영역(11)이 아니라고 판정할 수 있고, 4개의 폐색 후보 영역(10, 11) 중 포인트 클라우드가 상대적으로 적은 폐색 후보 영역은 패색 영역(10)이라고 판정할 수 있다.In addition, the control unit 130 may select an occlusion candidate pixel in the region 6 having a high inter-pixel depth discontinuity and then determine the occlusion region by using the occlusion candidate pixel. For example, as illustrated in FIG. 5, the control unit 130 selects occlusion candidate pixels 8a, 8b, 8c, and 8d for pixels having a depth difference between neighboring pixels greater than a preset reference value, and determines the depth of the depth map image. Block candidate pixels (8a, 8b, 8c, 8d) are arranged in the center of the rectangular parallelepiped (9a, 9b, 9c, 9d) formed by stacking and arranging four cubes in a 2X2 shape in the direction, and scanning the scanning unit 111 Based on the orientation, one of the four cubes is selected as a candidate area for occlusion. Then, the control unit 130 determines whether the occlusion area is an occluded area based on a result of comparing the number of registered point clouds 7 of the occlusion candidate area with a preset reference number. For example, as illustrated in FIG. 6, the control unit 130 may determine that the occlusion candidate area with relatively many point clouds among the four occlusion candidate areas 10 and 11 is not the non-occlusion area 11, Among the four candidate occlusion regions 10 and 11, an occlusion candidate region having a relatively small point cloud may be determined to be the occlusion region 10.

이후, 제어부(130)는 포인트 클라우드에 기초하여 단계 S230에서 탐색된 폐색 영역의 3차원 위치 정보를 획득하고, 3차원 위치 정보에 대응하는 지점이 스캐닝부(111)에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정한다. 예를 들어, 제어부(130)는 포인트 클라우드 중 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터를 추출하며, 추출된 방향 벡터에 기초하여 목표 지점을 선정할 수 있다. 예컨대, 제어부(130)는 폐색 영역의 주변의 포인트 클라우드를 획득할 때 스캐닝부(111)의 스캔 방향에 대응하는 방향 벡터에 수직으로 교차하는 수직 벡터를 계산하고, 계산된 수직 벡터에 대응하는 경로 상의 한 지점을 목표 지점으로서 선정할 수 있다(S250).Thereafter, the control unit 130 acquires 3D location information of the occluded area searched in step S230 based on the point cloud, and a point corresponding to the 3D location information is a target point that can be scanned by the scanning unit 111 Is selected as the moving target position. For example, the control unit 130 extracts a direction vector corresponding to the scan direction of the scanning unit 111 when acquiring a point cloud around the occluded area among the point clouds, and selects a target point based on the extracted direction vector. Can be selected. For example, the controller 130 calculates a vertical vector perpendicularly intersecting a direction vector corresponding to the scanning direction of the scanning unit 111 when acquiring a point cloud around the occluded area, and a path corresponding to the calculated vertical vector One point on the image may be selected as a target point (S250).

그리고, 제어부(130)는 단계 S250에서 선정된 이동 목표 위치에 기초하여, 현재 위치에서 이동 목표 위치까지의 이동 경로를 신규 주행 경로로서 생성하며, 생성된 신규 주행 경로를 데이터 저장부(120)에 저장한다(S260). 이처럼, A 위치에서 B 위치로 이동하는 경로를 생성하는 것은 공지의 기술사상이기에 구체적인 설명을 생략한다.Further, the control unit 130 generates a movement path from the current position to the movement target position as a new driving path based on the movement target position selected in step S250, and the generated new driving path is stored in the data storage unit 120. Save (S260). As described above, it is a well-known technical idea to create a path moving from position A to position B, so a detailed description thereof will be omitted.

이어서, 제어부(130)는 주행부(140)로 하여금 공간 스캔 장치(100)를 단계 S260에서 생성한 신규 주행 경로를 따라 이동시키도록 제어한다. 이러한, 신규 주행 경로 상에서 정보 획득부(110)의 스캐닝부(111)는 제어부(130)의 제어에 따라 공간을 스캐닝, 즉 폐색 영역에 대응하는 지점을 스캐닝하여 신규 포인트 클라우드를 획득한다. 아울러, 신규 주행 경로 상에서 정보 획득부(110)의 촬영부(112)는 제어부(130)의 제어에 따라 스캐닝부(111)가 스캔한 공간과 동일한 공간에 대해 영상을 획득한다(S260).Subsequently, the control unit 130 controls the driving unit 140 to move the space scanning device 100 along the new travel path generated in step S260. On the new driving route, the scanning unit 111 of the information acquisition unit 110 scans a space under the control of the controller 130, that is, scans a point corresponding to the occluded area to obtain a new point cloud. In addition, the photographing unit 112 of the information acquisition unit 110 on the new driving route acquires an image of the same space as the space scanned by the scanning unit 111 under the control of the control unit 130 (S260).

그리고, 제어부(130)는 단계 S230에서 탐색된 폐색 영역에 대응하는 지점 중에서 신규로 스캔되지 않고 남아 있는 것이 있는지를 판단하고, 아직 신규 스캔되지 않은 폐색 영역이 존재하는 경우에는 단계 S250 내지 단계 S270을 재수행한다. 예를 들어, 도 6에 예시한 바와 같이 총 2개의 폐색 영역이 판정된 경우라면 단계 S250 내지 단계 S270가 총 2회에 걸쳐서 수행된다.In addition, the control unit 130 determines whether there are any points that have not been newly scanned among the points corresponding to the occluded areas searched in step S230, and if there is an occluded area that has not yet been newly scanned, steps S250 to S270 are performed. Perform it again. For example, as illustrated in FIG. 6, if a total of two occluded areas are determined, steps S250 to S270 are performed over a total of two times.

다음으로, 제어부(130)는 단계 S230에서 탐색된 폐색 영역에 대응하는 지점에 대한 신규 스캔이 모두 종료되면, 초기 주행 경로 및 신규 주행 경로에서 획득된 포인트 클라우드와 영상을 정합하여 공간 지도를 생성하고, 생성된 공간 지도를 데이터 저장부(120)에 저장한다(S290).Next, when all new scans for points corresponding to the occluded area searched in step S230 are finished, the controller 130 creates a spatial map by matching the image with the point cloud acquired from the initial driving route and the new driving route. , The generated spatial map is stored in the data storage unit 120 (S290).

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성함으로써, 사용자가 공간 스캔 장치의 주행을 조정하는 경우 사용자가 신규 주행 경로를 참고할 수 있도록 한다.As described so far, according to an embodiment of the present invention, when an occluded area exists in a point cloud obtained for generating a spatial map, a new driving route capable of scanning a point corresponding to the occluded area is created, When the user adjusts the driving of the spatial scanning device, the user can refer to the new driving route.

나아가, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상된다.Further, by autonomously driving the generated driving route and additionally obtaining a point cloud by scanning a point corresponding to the occluded area, the quality of the spatial map is improved.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of each flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are the functions described in each step of the flowchart. Will create a means of doing things. These computer program instructions can also be stored on a computer-usable or computer-readable recording medium that can be directed to a computer or other programmable data processing equipment to implement a function in a specific manner, so that the computer-readable or computer-readable medium. It is also possible to produce an article of manufacture that includes instruction means for performing the functions described in each step of the flow chart with instructions stored on the recording medium. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or part of code that contains one or more executable instructions for executing the specified logical function(s). Further, it should be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, two steps shown in succession may in fact be performed substantially simultaneously, or the steps may sometimes be performed in the reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 공간 지도의 생성을 위해 획득된 포인트 클라우드에 폐색 영역이 존재하는 경우에 폐색 영역에 대응하는 지점을 스캔할 수 있는 신규 주행 경로를 생성할 수 있으며, 생성된 주행 경로를 자율 주행하고, 폐색 영역에 대응하는 지점을 스캔하여 포인트 클라우드를 추가로 획득함으로써, 공간 지도의 품질이 향상된다.According to an embodiment of the present invention, when an occluded area exists in a point cloud obtained for generating a spatial map, a new driving route capable of scanning a point corresponding to the occluded area can be created, and the generated driving route By autonomously driving and acquiring a point cloud by scanning a point corresponding to the occluded area, the quality of the spatial map is improved.

이러한 본 발명은 실제 공간에 대한 공간 지도를 생성하는 산업분야를 포함하여, 이러한 공간 지도를 이용하여 가상현실(Virtual Reality) 서비스를 제공하는 다양한 산업분야에 이용할 수 있다.The present invention can be used in various industrial fields that provide a virtual reality service using such a spatial map, including an industrial field that generates a spatial map for an actual space.

100: 공간 스캔 장치
110: 정보 획득부
111: 스캐닝부
112: 촬영부
120: 데이터 저장부
130: 제어부
140: 주행부100: space scanning device
110: information acquisition unit
111: scanning unit
112: photographing department
120: data storage unit
130: control unit
140: driving unit

Claims (10)

공간을 스캔하여 포인트 클라우드를 획득하는 스캐닝부와,
상기 스캐닝부에 의해 획득된 포인트 클라우드에 대응하는 상기 공간 내의 초기 주행 경로가 저장된 데이터 저장부와,
제어부를 포함하고,
상기 제어부는,
상기 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하며,
상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하고,
상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하며, 상기 생성된 신규 주행 경로를 상기 데이터 저장부에 저장하고,
상기 폐색 영역이 존재하는지를 판단할 때에, 상기 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산하고, 상기 계산된 깊이 차이와 기설정된 기준값을 비교한 결과에 기초하여 폐색 후보 픽셀을 선정하며, 상기 스캐닝부의 스캔 방향에 기초하여 상기 폐색 후보 픽셀을 포함하는 폐색 후보 영역을 선정하고, 상기 폐색 후보 영역에 대해 상기 폐색 영역인지 여부를 판정하는
공간 스캔 장치.A scanning unit that scans a space to obtain a point cloud,
A data storage unit in which an initial travel route in the space corresponding to the point cloud obtained by the scanning unit is stored,
Including a control unit,
The control unit,
Generate a depth map image based on the acquired point cloud,
It is determined whether an occluded area exists in the generated depth map image,
If the occluded area exists, a new driving route in which a point corresponding to the occluded area can be scanned is created, and the generated new driving route is stored in the data storage unit,
When determining whether the occlusion area exists, a depth difference between neighboring pixels is calculated for pixels in the depth map image, and an occlusion candidate pixel is selected based on a result of comparing the calculated depth difference and a preset reference value, and , Selecting an occlusion candidate area including the occlusion candidate pixel based on the scanning direction of the scanning unit, and determining whether the occlusion candidate area is the occlusion area.
Space scanning device. 제 1 항에 있어서,
상기 제어부의 제어에 따라 주행 구동되어 상기 공간 스캔 장치를 이동시키는 주행부를 더 포함하고,
상기 제어부는,
상기 초기 주행 경로 및 상기 신규 주행 경로를 주행하도록 상기 주행부를 제어하며,
상기 초기 주행 경로에서 상기 포인트 클라우드를 획득하도록 상기 스캐닝부를 제어하고,
상기 신규 주행 경로에서 상기 폐색 영역을 스캔하여 신규 포인트 클라우드를 획득하도록 상기 스캐닝부를 제어하는
공간 스캔 장치.The method of claim 1,
Further comprising a driving unit that is driven to travel under the control of the control unit to move the space scanning device,
The control unit,
Controlling the driving unit to travel the initial driving route and the new driving route,
Controlling the scanning unit to acquire the point cloud in the initial driving route,
Controlling the scanning unit to obtain a new point cloud by scanning the occluded area in the new driving route
Space scanning device. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 3 was abandoned upon payment of the set registration fee. 제 1 항에 있어서,
상기 스캐닝부는, 상기 공간 내의 한 지점에서 구 형태로 스캔하며,
상기 제어부는, 상기 구의 중심에 가상의 초점(focal)을 두고, 상기 초점을 중심으로 하는 가상 다면체를 생성하며, 상기 가상 다면체의 각 면에 가상 영상면을 생성하고, 상기 포인트 클라우드를 상기 가상 영상면에 투영(投影)해 상기 포인트 클라우드의 깊이 값을 반영한 상기 깊이 지도 영상을 생성하는
공간 스캔 장치.The method of claim 1,
The scanning unit scans in a spherical shape at a point in the space,
The control unit places a virtual focal at the center of the sphere, generates a virtual polyhedron centered on the focus, creates a virtual image plane on each side of the virtual polyhedron, and converts the point cloud into the virtual image. Projecting on a plane to generate the depth map image reflecting the depth value of the point cloud
Space scanning device. 삭제delete ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 5 was abandoned upon payment of the set registration fee. 제 1 항에 있어서,
상기 제어부는, 상기 계산된 깊이 차이가 기설정된 기준값보다 큰 픽셀들을 상기 폐색 후보 픽셀로 선정하고, 상기 깊이 지도 영상의 깊이 방향으로 4개의 정육면체를 2X2 형태로 적층 배치하여 형성한 직육면체의 정중앙에 상기 폐색 후보 픽셀을 배치하며, 상기 스캐닝부의 스캔 방향에 기초하여 상기 4개의 정육면체 중 하나의 정육면체를 상기 폐색 후보 영역으로 선정하는
공간 스캔 장치.The method of claim 1,
The controller selects pixels having the calculated depth difference greater than a preset reference value as the occlusion candidate pixels, and in the center of a rectangular parallelepiped formed by stacking and arranging four cubes in a 2X2 shape in the depth direction of the depth map image. Arranging occlusion candidate pixels, and selecting one of the four cubes as the occlusion candidate region based on the scanning direction of the scanning unit
Space scanning device. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 6 was abandoned upon payment of the set registration fee. 제 5 항에 있어서,
상기 제어부는, 상기 폐색 후보 영역의 포인트 클라우드의 개수와 기설정된 기준개수를 비교한 결과에 기초하여 상기 폐색 영역인지 여부를 판정하는
공간 스캔 장치.The method of claim 5,
The control unit determines whether the occlusion area is the occluded area based on a result of comparing the number of point clouds of the occlusion candidate area with a preset reference number.
Space scanning device. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 7 was abandoned upon payment of the set registration fee. 제 1 항에 있어서,
상기 제어부는, 상기 폐색 영역이 존재하는 경우 상기 포인트 클라우드에 기초하여 상기 폐색 영역의 3차원 위치 정보를 획득하고, 상기 3차원 위치 정보에 대응하는 지점이 상기 스캐닝부에 의해 스캔될 수 있는 목표 지점을 이동 목표 위치로서 선정하며, 현재 위치에서 상기 이동 목표 위치까지의 이동 경로를 상기 신규 주행 경로로서 생성하는
공간 스캔 장치.The method of claim 1,
The control unit acquires 3D position information of the occlusion area based on the point cloud when the occlusion area exists, and a target point at which a point corresponding to the 3D position information can be scanned by the scanning unit Selecting as a movement target position, and generating a movement path from the current position to the movement target position as the new travel path
Space scanning device. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈◈ Claim 8 was abandoned upon payment of the set registration fee. 제 7 항에 있어서,
상기 제어부는, 상기 포인트 클라우드 중 상기 폐색 영역의 주변의 포인트 클라우드를 획득할 때 상기 스캐닝부의 스캔 방향에 대응하는 방향 벡터를 추출하고, 상기 방향 벡터에 기초하여 상기 목표 지점을 선정하는
공간 스캔 장치.The method of claim 7,
The control unit extracts a direction vector corresponding to the scan direction of the scanning unit when acquiring a point cloud around the occluded area among the point clouds, and selects the target point based on the direction vector.
Space scanning device. 공간 스캔 장치에서 수행되는 정보 처리 방법으로서,
기설정된 초기 주행 경로에서 공간을 스캔하여 획득된 포인트 클라우드에 기초하여 깊이 지도 영상을 생성하는 단계와,
상기 생성된 깊이 지도 영상 내에 폐색 영역이 존재하는지를 판단하는 단계와,
상기 폐색 영역이 존재하는 경우 상기 폐색 영역에 대응하는 지점이 스캔될 수 있는 신규 주행 경로를 생성하는 단계를 포함하고,
상기 폐색 영역이 존재하는지를 판단할 때에, 상기 깊이 지도 영상 내의 픽셀들에 대해 이웃 픽셀간 깊이 차이를 계산하고, 상기 계산된 깊이 차이와 기설정된 기준값을 비교한 결과에 기초하여 폐색 후보 픽셀을 선정하며, 스캐닝부의 스캔 방향에 기초하여 상기 폐색 후보 픽셀을 포함하는 폐색 후보 영역을 선정하고, 상기 폐색 후보 영역에 대해 상기 폐색 영역인지 여부를 판정하는
정보 처리 방법.As an information processing method performed in a spatial scanning device,
Generating a depth map image based on a point cloud obtained by scanning a space in a preset initial driving route; and
Determining whether an occluded area exists in the generated depth map image;
In the case where the occluded area exists, generating a new driving route through which a point corresponding to the occluded area can be scanned,
When determining whether the occlusion area exists, a depth difference between neighboring pixels is calculated for pixels in the depth map image, and an occlusion candidate pixel is selected based on a result of comparing the calculated depth difference with a preset reference value. , Selecting an occlusion candidate area including the occlusion candidate pixel based on the scanning direction of the scanning unit, and determining whether the occlusion candidate area is the occlusion area
How to process information. 제 9 항에 있어서,
상기 공간 스캔 장치는, 주행 구동되어 상기 공간 스캔 장치를 이동시키는 주행부를 포함하고,
상기 정보 처리 방법은,
상기 초기 주행 경로로 이동하도록 상기 주행부를 제어하여, 상기 포인트 클라우드를 획득하는 단계와,
상기 신규 주행 경로로 이동하도록 상기 주행부를 제어하여, 상기 폐색 영역을 스캔하여 포인트 클라우드를 추가 획득하는 단계를 더 포함하는
정보 처리 방법.
The method of claim 9,
The space scanning device includes a traveling unit driven to move the space scanning device,
The information processing method,
Controlling the driving unit to move to the initial driving route to obtain the point cloud; and
Further comprising the step of controlling the driving unit to move to the new driving route and obtaining additional point clouds by scanning the occluded area
How to process information.
KR1020180126227A 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof KR102158323B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Publications (2)

Publication Number Publication Date
KR20200045321A KR20200045321A (en) 2020-05-04
KR102158323B1 true KR102158323B1 (en) 2020-09-21

Family

ID=70732552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180126227A KR102158323B1 (en) 2018-10-22 2018-10-22 Space scanning apparatus and information processing method thereof

Country Status (1)

Country Link
KR (1) KR102158323B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102578580B1 (en) * 2020-11-27 2023-09-15 한국전자통신연구원 Apparatus and method for generating 3d data
KR20240020800A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240020801A (en) 2022-08-09 2024-02-16 (주)비주얼신 Mobile digital twin implement method and apparatus using space modeling
KR20240021542A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane generating method
KR20240021539A (en) 2022-08-10 2024-02-19 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and virtual plane mapped texture generating method
KR20240022097A (en) 2022-08-11 2024-02-20 (주)비주얼신 Mobile digital twin implement apparatus using space modeling and modeling object editing method
KR20240022098A (en) 2022-08-11 2024-02-20 (주)비주얼신 Digital twin space service providing method and apparatus using mobile digital twin implement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (en) * 2002-03-18 2003-09-24 Sony Corp Path planning device, path planning method, path planning program, and moving robot device
KR100860771B1 (en) * 2008-01-11 2008-09-30 한국유지관리 주식회사 System for acquiring inside space information of underground space and shielding structure
WO2018021066A1 (en) * 2016-07-29 2018-02-01 ソニー株式会社 Image processing device and image processing method
WO2018112273A2 (en) 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
KR101803598B1 (en) * 2014-09-02 2017-12-01 네이버비즈니스플랫폼 주식회사 Apparatus and method system and mtehod for building indoor map using cloud point
KR101572618B1 (en) 2014-10-16 2015-12-02 연세대학교 산학협력단 Apparatus and method for simulating lidar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003266345A (en) * 2002-03-18 2003-09-24 Sony Corp Path planning device, path planning method, path planning program, and moving robot device
KR100860771B1 (en) * 2008-01-11 2008-09-30 한국유지관리 주식회사 System for acquiring inside space information of underground space and shielding structure
WO2018021066A1 (en) * 2016-07-29 2018-02-01 ソニー株式会社 Image processing device and image processing method
WO2018112273A2 (en) 2016-12-16 2018-06-21 Align Technology, Inc. Augmented reality enhancements for dental practitioners

Also Published As

Publication number Publication date
KR20200045321A (en) 2020-05-04

Similar Documents

Publication Publication Date Title
KR102158323B1 (en) Space scanning apparatus and information processing method thereof
US10796151B2 (en) Mapping a space using a multi-directional camera
US9322646B2 (en) Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
KR101944911B1 (en) Image processing method and image processing apparatus
WO2018015716A1 (en) Estimating dimensions for an enclosed space using a multi-directional camera
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
KR102151815B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera Convergence
WO2019100700A1 (en) Portable 3d scanning systems and scanning methods
JP7005458B2 (en) Image processing device, image processing program, and driving support system
CN105700551A (en) An unmanned aerial vehicle landing area determination method, an unmanned aerial vehicle landing method and related apparatuses
CN112995585A (en) Machine vision system and method with steerable mirror
KR102163389B1 (en) 3d model producing method and apparatus
CN111609854A (en) Three-dimensional map construction method based on multiple depth cameras and sweeping robot
CN106682584B (en) Unmanned aerial vehicle obstacle detection method and device
KR102595397B1 (en) An apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
KR101888969B1 (en) Stereo matching apparatus using image property
CN111466113B (en) Apparatus and method for image capture
KR101817753B1 (en) PTM making system with improved shape of 3D model and method using the same
JP6595878B2 (en) Element image group generation apparatus and program thereof
JP2020524031A (en) Method for generating a two-dimensional whole image
KR101777019B1 (en) Navigation method and navigation control apparatus using visual virtual fence for mobile robot
KR102240570B1 (en) Method and apparatus for generating spanning tree,method and apparatus for stereo matching,method and apparatus for up-sampling,and method and apparatus for generating reference pixel
JP2018132946A (en) Parallax calculator
Bonin-Font et al. Vision-based mobile robot motion control combining T2 and ND approaches
Particke et al. Systematic analysis of direct sparse odometry

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant