KR102365471B1 - 공중선 추출 시스템 및 공중선 추출 방법 - Google Patents

공중선 추출 시스템 및 공중선 추출 방법 Download PDF

Info

Publication number
KR102365471B1
KR102365471B1 KR1020200126950A KR20200126950A KR102365471B1 KR 102365471 B1 KR102365471 B1 KR 102365471B1 KR 1020200126950 A KR1020200126950 A KR 1020200126950A KR 20200126950 A KR20200126950 A KR 20200126950A KR 102365471 B1 KR102365471 B1 KR 102365471B1
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
antenna
target area
candidate
Prior art date
Application number
KR1020200126950A
Other languages
English (en)
Other versions
KR20210041505A (ko
Inventor
기시꼬 마루야마
노부따까 기무라
사다끼 나까노
Original Assignee
가부시키가이샤 히타치 솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히타치 솔루션즈 filed Critical 가부시키가이샤 히타치 솔루션즈
Publication of KR20210041505A publication Critical patent/KR20210041505A/ko
Application granted granted Critical
Publication of KR102365471B1 publication Critical patent/KR102365471B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

공중선 추출 시스템에 있어서, 3차원 점군 데이터로부터 공중선과 수목 등의 노이즈를 분리하고 나서 모델 추정을 행함으로써, 수목이 노이즈로 되는 경우라도 공중선의 추출을 가능하게 한다. 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터로부터 전신주의 좌표를 기준으로 하여 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기부와, 대상 에어리어 내의 3차원 점군 데이터 중에서 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출부와, 추출된 공중선의 후보 점군 데이터에 기초하여 공중선의 모델을 추정하는 공중선 모델 추정부를 갖는다.

Description

공중선 추출 시스템 및 공중선 추출 방법{AERIAL LINE EXTRACTION SYSTEM AND AERIAL LINE EXTRACTION METHOD}
본 발명은, 공중선 추출 시스템 및 공중선 추출 방법에 관한 것이다.
검사 차량에 3차원 레이저 스캐너(레이저 측거계), 디지털 카메라, GPS 등의 계측 장치를 탑재하고, 주행하면서 도로 주변의 지형이나 구조물 등의 3차원 형상을 3차원 점군 데이터라는 형태로 수집하는 모바일 매핑 시스템(Mobile Mapping System: MMS)이 알려져 있다.
MMS는, 도로 주변의 광범위한 3차원 점군 데이터를 효율적이면서 고정밀도로 취득하는 것이 가능하며, 전신주나 공중선(전선·통신선) 등, 도로 주변 설비의 상황 파악에 대한 활용이 기대되고 있다.
예를 들어, 특허문헌 1에서는, MMS에 의해 취득된 3차원 점군 데이터에 기초하여 설비의 3차원 모델 데이터를 생성하고, 이 3차원 모델 데이터에 기초하여, 전신주(폴) 및 수목의 굵기, 경사각 및 휨과, 공중선(케이블)의 최저 지상고를 산출한다. 또한, 상기 3차원 모델 데이터를, 디지털 카메라에 의해 촬영된 화상 데이터상에 각각의 위치 좌표를 맞춰 중첩하고, 이 3차원 중첩 화상에 상기 전신주, 수목 및 공중선의 구조를 나타내는 파라미터 정보를 겹쳐 표시한다.
일본 특허 공개 제2018-195240호 공보
특허문헌 1에는, 전신주나 공중선 등의 옥외 설비의 검출을 목적으로 하여, 3차원 점군 데이터에 기초하여 전신주, 수목 및 공중선의 3차원 모델 데이터를 생성하고, 3차원 모델 데이터와 화상 데이터를 중첩시켜 가시화하는 방법이 기재되어 있다.
특허문헌 1에 있어서, 전신주와 수목은 원을 연직으로 겹친 3차원 오브젝트로서 모델화하고, 공중선은 현수 곡선을 연결시킨 3차원 오브젝트로서 모델화하고 있다. 이 공중선을 검출하는 처리에서는, 부자연스러운 현수 곡선을 제거함으로써 노이즈 제거가 행해지고 있다. 그러나, 산간부 등에서 수목이 노이즈로 되는 경우에는 대량의 현수 곡선이 공중선의 후보로 되어 노이즈 제거가 곤란해진다.
본 발명의 목적은, 공중선 추출 시스템에 있어서, 3차원 점군 데이터로부터 공중선과 수목 등의 노이즈를 분리하고 나서 모델 추정을 행함으로써, 수목이 노이즈로 되는 경우라도 공중선의 추출을 가능하게 하는 데 있다.
본 발명의 일 양태의 공중선 추출 시스템은, 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기부와, 상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출부와, 추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정부를 가지며, 상기 공중선 후보 추출부는, 상기 대상 에어리어 내의 상기 3차원 점군 데이터를 일정 간격의 슬라이스면으로 분할하고, 상기 슬라이스면으로 분할된 영역을 클러스터링하여 복수의 클러스터를 생성하고, 복수의 상기 클러스터를 소정의 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 한다.
본 발명의 일 양태의 공중선 추출 시스템은, 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기부와, 상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출부와, 추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정부를 가지며, 상기 공중선 후보 추출부는, 상기 대상 에어리어 내의 상기 3차원 점군 데이터로부터 상기 수목의 점군 데이터를 노이즈로서 제거하고, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 한다.
본 발명의 일 양태의 공중선 추출 방법은, 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터를 취득하는 3차원 점군 데이터 취득 공정과, 상기 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기 공정과, 상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출 공정과, 추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정 공정을 가지며, 상기 공중선 후보 추출 공정은, 상기 대상 에어리어 내의 상기 3차원 점군 데이터를 일정 간격의 슬라이스면으로 분할하고, 상기 슬라이스면으로 분할된 영역을 클러스터링하여 복수의 클러스터를 생성하고, 복수의 상기 클러스터를 소정의 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 한다.
본 발명의 일 양태에 의하면, 공중선 추출 시스템에 있어서, 3차원 점군 데이터로부터 공중선과 수목 등의 노이즈를 분리하고 나서 모델 추정을 행함으로써, 수목이 노이즈로 되는 경우라도 공중선의 추출이 가능해진다.
도 1은 레이저 측거기에 의해 3차원 점군 데이터를 취득하는 예를 설명하는 사시도이다.
도 2는 레이저 측거기에 의해 취득한 3차원 점군 데이터를 설명하는 개념도이다.
도 3은 실시예 1의 공중선 추출 시스템의 구성을 나타내는 블록도이다.
도 4는 실시예 1의 공중선 추출 시스템의 처리의 흐름을 나타내는 흐름도이다.
도 5는 대상 에어리어와 로컬 좌표계의 설정예를 나타내는 도면이다.
도 6은 공중선 후보 점군 추출의 처리의 흐름을 나타내는 흐름도이다.
도 7은 대상 에어리어를 지면에 수직으로 슬라이스하는 예를 설명하는 도면이다.
도 8은 실시예 1에 기초하는 효과의 일례를 나타내는 도면이며, (a)는 슬라이스 분할에 의한 공중선 후보 추출 결과의 점군을 나타내고, (b)는 공중선 모델 추정의 결과를 나타낸다.
도 9는 실시예 1을 적용하지 않은 경우의 결과를 나타내는 도면이며, (a)는 대상 에어리어를 잘라낸 점군을 나타내고, (b)는 공중선 모델 추정의 결과를 나타낸다.
도 10은 실시예 2의 인입선을 포함하는 3차원 점군 데이터의 표시예를 나타내는 개념도이다.
도 11은 실시예 2의 인입선을 포함하는 3차원 점군을 위에서 내려다본 개념도이다.
이하, 도면을 이용하여 실시예에 대하여 설명한다.
실시예 1
도 1을 참조하여, 레이저 측거기에 의해 3차원 점군 데이터를 취득하는 예를 설명한다. 예를 들어, 자동차(101)에 레이저 측거기(102)를 탑재하고, 자동차(101)의 주변을 계측하면서 주행시킨다. 레이저 측거기(102)는 레이저광(103)을 소정 간격으로 주사하고, 주위의 3차원 형상의 3차원 점군 데이터를 수집하는 장치이다. 주행하면서 수집한 3차원 점군 데이터를 통합하면, 광범위한 3차원 지도 데이터를 생성할 수 있다. 이와 같은 기술은, MMS(Mobile Mapping System: 모바일 매핑 시스템)로서 알려져 있다.
3차원 점군 데이터에는, 도로(104)나 전신주(105) 혹은 건물이나 표지와 같은 건축물뿐만 아니라, 공중에 전신주(105)를 통해 설치된 전선 또는 통신선 등의 공중선(106), 수목(107)의 데이터도 포함된다. 또한, 도 1에는 도시되어 있지 않지만, 공중선(106)에는, 전신주(105)로부터 각 가정에 배선되는 인입선, 전신주를 지지하는 지선 등이 포함된다. 이와 같은 공중선(106)의 배치 정보는, 전선, 통신선 등의 메인터넌스를 행할 때 유익하다.
도 2를 참조하여, 도 1에서 취득한 3차원 점군 데이터의 예를 설명한다. 3차원 점군 데이터는, 도로의 점군(204), 전신주의 점군(205), 공중선의 점군(206), 수목의 점군(207)을 포함한다.
도 3을 참조하여, 실시예 1의 공중선 추출 시스템의 구성에 대하여 설명한다. 실시예 1의 공중선 추출 시스템은, 처리 장치(300)를 갖는다. 처리 장치(300)는, 대상 에어리어 잘라내기부(301), 공중선 후보 추출부(302), 공중선 모델 추정부(303)를 갖는다. 또한, 처리 장치(300)에는, 3차원 점군 데이터 파일(304), 설비 데이터베이스(설비 DB)(305), 공중선 모델 파일(306), 표시 장치로서의 디스플레이(307), 입력 장치로서의 키보드·마우스(308)가 접속되어 있다.
3차원 점군 데이터 파일(304)은, 레이저 측거기(102)에 의해 취득한 3차원 점군 데이터를 저장한다. 도 2에 도시한 바와 같이, 3차원 점군 데이터에는, 도로(104)의 점군 데이터(204), 전신주(105)의 점군 데이터(205), 공중선(106)의 점군 데이터(206), 수목(107)의 점군 데이터(207)가 포함된다.
설비 DB(305)는, 전신주(105) 등의 사전에 등록되어 있는 관리 데이터를 저장한다. 전신주(105)의 관리 데이터에는, 예를 들어 관리 번호, 종별(형식 번호, 직경, 높이), 설치 위치(주소, 좌표) 등의 정보가 포함된다.
대상 에어리어 잘라내기부(301)는, 3차원 점군 데이터 파일(304)에 저장된 3차원 점군 데이터로부터, 설비 DB(305)에 저장된 전신주(105)의 좌표를 기준으로 하여 공중선(106)의 점군(206)이 존재한다고 상정되는 영역을 대상 에어리어로서 대상 에어리어 내의 점군 데이터를 추출한다.
공중선 후보 추출부(302)는, 대상 에어리어 내의 3차원 점군 데이터로부터 수목(107) 등의 노이즈를 제거하고, 공중선(106)의 후보로 되는 점군 데이터를 추출한다.
공중선 모델 추정부(303)는, 공중선(106)의 후보로 되는 3차원 점군 데이터에 기초하여, 현수 곡선(또는 현수 곡선의 2차 곡선 근사)에 의해 표현되는 공중선 모델을 추정하고, 공중선 모델 파일(306)에 공중선 모델의 파라미터를 출력한다. 공중선 모델 추정부(303)에서 행해지는 모델 추정은, 예를 들어 RANSAC(Random Sample Consensus) 등의 일반적인 모델 추정 방법에 기초한다.
디스플레이(307)는 3차원 점군 데이터나 공중선 모델을 표시하는 표시 장치이며, 예를 들어 도 8, 도 9에 도시된 바와 같은 3차원 점군 데이터나 공중선 모델을 표시한다. 키보드·마우스(308)는, 입력 장치의 일례이다. 입력 장치는, 대상 에어리어 잘라내기부(301)에서 전신주(105) 등을 지정한다.
도 4를 참조하여, 실시예 1의 공중선 추출 시스템의 처리의 흐름에 대하여 설명한다. 공중선 추출 시스템은, 일반적인 정보 처리 장치가 소프트웨어를 처리함으로써 실현한다.
스텝 S401에서는, 도 1에서 설명한 방법에서 취득한 3차원 점군 데이터를 3차원 점군 데이터 파일(304)로부터 입력한다. 3차원 점군 데이터는, 도 2에 도시한 바와 같은 점군의 데이터이며, 예를 들어 직교 좌표계를 채용하는 경우에는, 각 점은 (x, y, z)의 좌표로 표현된다. 좌표의 원점(0, 0, 0)이나 x축, y축, z축은 임의로 정할 수 있지만, 일반적으로 (x, y) 좌표를 지도와 대응짓는 형태로 정의하고, z축을 높이 방향으로 취하는 경우가 많다. 여기에서는, 입력의 3차원 점군 데이터의 좌표계를 월드 좌표계, 처리하기 쉽도록 좌표 변환한 좌표계를 로컬 좌표계라고 칭한다. 또한, 직교 좌표계 대신 구면 좌표계 그 밖의 좌표계를 사용해도 된다.
스텝 S402에서는, 대상 에어리어 잘라내기부(301)가, 3차원 점군 데이터로부터 공중선의 점군(206)이 존재할 가능성이 높은 부분을 대상 에어리어로서 잘라낸다. 잘라내는 방법은 특별히 한정할 필요는 없지만, 예를 들어 도 5에 도시한 바와 같이, 2개의 전신주 좌표를 기준으로 하여 대상 에어리어(501)를 정의해서 잘라낸다.
대상 에어리어 잘라내기부(301)는, 전신주 좌표 등을 기준으로 하여 대상 에어리어(501)를 규정하는 좌표를 구한다. 그 후, 대상 에어리어 잘라내기부(301)는, 3차원 점군 파일(304)에 저장된 3차원 점군 데이터로부터, 대상 에어리어(501) 내의 점군을 추출한다.
도 5를 참조하여, 스텝 S402의 대상 에어리어의 잘라내기 처리의 개념에 대하여 설명한다. 여기서, (a)는, 도 2의 3차원 점군 데이터를 위에서 본 모식도이며, (b)는, 도 2의 3차원 점군 데이터를 옆에서 본 모식도이다. 설명을 위해서, 로컬 좌표계를 채용하고, 공중선의 점군(206)의 길이 방향(연신 방향)을 x, 높이 방향(지면에 대하여 수직인 방향)을 z, x와 z에 수직인 방향을 y라 하고 있다.
대상 에어리어(501)로서, 예를 들어 한 쌍의 전신주 좌표 (x1, y1), (x2, y2)의 사이를 연결하는 선에 평행한 직육면체 영역을 설정한다. 로컬 좌표계(502)에 있어서는, 예를 들어 한 쌍의 전신주 좌표 사이의 중점을 원점으로 하고, 한 쌍의 전신주 좌표의 사이를 연결하는 방향을 x축, 지면에 평행하며 x축과 직교하는 방향을 y축, 지면에 대해서 수직인 방향을 z축으로서 설정한다.
한 쌍의 전신주 좌표 (x1, y1), (x2, y2)를 지정하는 방법은, 예를 들어 설비 DB(305)로부터 검색한 전신주(105)의 데이터 리스트를 표시한 디스플레이(307)의 화면에서, 유저가 키보드·마우스(308)로 전신주(105)를 2개 선택하는 방법이 존재한다. 또는, 전신주(105)의 설치 위치를 지도 위에 표시한 디스플레이(307)의 화면에서, 유저가 키보드·마우스(308)로 전신주(105)를 2개 선택하는 방법이 존재한다. 또한, 설비 DB(305)에 등록되어 있는 전신주(105)의 좌표 정보로부터, 근방의 2개의 조합을 총합으로 선택하는 방법이 존재한다.
도 5에 도시한 바와 같이, 한 쌍의 전신주 좌표에 의해 규정되는 대상 에어리어(501)는, 도로의 점군(204)이나 전신주의 점군(205) 등의 점군은 대상 에어리어(501) 외로서 제거될 가능성이 높고, 공중선의 점군(206) 혹은 수목의 점군(207)은 대상 에어리어(501) 내로서 남을 가능성이 높다.
스텝 S403에서는, 대상 에어리어(501)를 잘라낸 후, 월드 좌표계를 2개의 전신주(105)가 x축 위에 있고, 2개의 전신주(105)의 중심이 원점(x, y)=(0, 0)으로 되는 로컬 좌표계로 변환한다.
또한, 스텝 S402의 대상 에어리어 잘라내기와 스텝 S403의 로컬 좌표계로의 변환은 이 순번으로 한정되는 것이 아니라, 처리의 순번을 교체해도 된다.
스텝 S404에서는, 공중선 후보 추출부(302)가 공중선 후보의 점군 추출을 행한다. 공중선 후보 추출부(302)는, 대상 에어리어(501) 내의 3차원 점군 데이터 중에서 공중선(106)의 후보 점군 데이터를 추출한다.
스텝 S405에서는, 공중선 모델의 추정을 행한다. 공중선 모델 추정부(303)는, 추출된 공중선(106)의 후보 점군 데이터에 기초하여, 공중선(106)의 모델을 추정한다. 스텝 S406에서는, 월드 좌표계로의 변환을 행한다. 스텝 S406에서는, 스텝 S403에서 로컬 좌표계로 변환하고 있는 경우에는, 월드 좌표계에 복귀시켜 둔다. 스텝 S407에서는, 공중선 모델의 출력을 행한다. 구체적으로는, 공중선 모델 추정부(303)에서 추정된 공중선(106)의 모델을 공중선 모델 파일(306)로 출력한다. 또한, 필요에 따라서, 공중선 후보의 점군 등을 표시한 디스플레이(307)에, 추정 결과의 공중선 모델을 중첩해서 표시한다.
도 6을 참조하여, 도 4의 스텝 S404의 공중선 후보 점군 추출의 처리의 흐름에 대하여 설명한다.
스텝 S601에서는, 대상 에어리어(501)를 지면에 수직으로 슬라이스한다.
도 7을 참조하여, 대상 에어리어(501)를 지면에 수직으로 슬라이스하는 예에 대하여 설명한다.
스텝 S601에서는, 3차원 점군 데이터로부터 공중선의 점군(206)이 존재할 가능성이 높은 영역으로서 잘라낸 대상 에어리어(501)를, 지면에 수직이면서 한 쌍의 전신주 점군(205)의 사이를 연결하는 선에 수직인 슬라이스면(701)으로 슬라이스한다. 이와 같이, 대상 에어리어(501) 내의 3차원 점군 데이터를 일정 간격의 슬라이스면(701)으로 분할한다. 즉, 지면에 수직이면서 한 쌍의 전신주 점군(205)의 사이를 연결하는 선에 수직인 슬라이스면(701)으로 대상 에어리어(501) 내의 3차원 점군 데이터를 분할한다. 슬라이스면(701)으로 분할된 직육면체 영역(단순히 '슬라이스'라고 칭함)은 통상, 동일 형상이면서 동일 체적을 갖는다.
스텝 S602에서는, 각 슬라이스를 거리로 클러스터링한다.
클러스터링은 일반적인 클러스터링 방법에 기초한다. 예를 들어, 동일 클러스터라고 판정하는 거리의 최댓값을 임계값 파라미터로서 설정하고, 최근방 점과의 거리가 임계값 이하로 되는 경우에는 동일 클러스터라고 판정한다.
스텝 S603에서는, 각 클러스터를 외접 직사각형 사이즈로 분류한다(스텝 S6031). 구체적으로는, 이하의 수 1을 만족하는지 여부를 판정한다. 수 1에 있어서, SegX, SegY, SegZ는 외접 직사각형 사이즈를 나타낸다. SegX는 클러스터 내의 점군의 최대 X 좌표와 최소 X 좌표의 차, SegY는 최대 Y 좌표와 최소 Y 좌표의 차, SegZ는 최대 Z 좌표와 최소 Z 좌표의 차를 각각 나타낸다. MinSegX, MaxSegY, MaxSegZ는, 공중선 추출 시스템에 설정하는 임계값 파라미터이다.
<수 1>
Figure 112020103943602-pat00001
판정 결과, 상기 수 1을 충족하는 경우에는, 공중선의 점군(206)의 후보로 한다(스텝 S6032). 판정 결과, 상기 수 1을 충족하지 않는 경우에는, 공중선의 점군(206)의 후보 이외의 점군 후보로 한다(스텝 S6033).
이와 같이, 도 4의 스텝 S404의 공중선 후보 점군 추출의 처리에 있어서는, 공중선 후보 추출부(302)는, 대상 에어리어(501) 내의 3차원 점군 데이터를 일정 간격의 슬라이스면(701)으로 분할하고, 슬라이스면(701)으로 분할된 영역을 클러스터링하여 복수의 클러스터를 생성한다. 그리고, 복수의 클러스터를 소정의 사이즈로 분류하여 공중선(106)의 후보 점군 데이터를 추출한다.
구체적으로는, 공중선 후보 추출부(302)는, 지면에 수직이면서 한 쌍의 전신주의 점군(205)의 사이를 연결하는 선에 수직인 슬라이스면(701)으로 대상 에어리어(501) 내의 3차원 점군 데이터를 분할하고, 슬라이스면(701)으로 분할된 직육면체 영역을 거리로 클러스터링하여 복수의 클러스터를 생성한다. 그리고, 복수의 클러스터를 외접 직사각형 사이즈로 분류하여, 공중선(106)의 후보 점군 데이터를 추출한다.
또한, 공중선 후보 추출부(302)는, 외접 직사각형 사이즈가 미리 정해진 치수 범위(상기 수 1에서 정해진 치수 범위)에 들어가는지 여부를 판정한다. 판정 결과, 미리 정해진 치수 범위에 들어가는 경우(상기 수 1을 충족하는 경우)에는, 공중선(106)의 후보 점군 데이터라고 판정한다. 판정 결과, 미리 정해진 치수 범위에 들어가지 않는 경우(상기 수 1을 충족하지 않는 경우)에는, 공중선(106)의 후보 점군 데이터 이외의 점군 데이터라고 판정한다. 예를 들어, 판정 결과, 미리 정해진 치수 범위에 들어가지 않는 경우(상기 수 1을 충족하지 않는 경우)에는, 공중선(106)의 후보 점군 데이터 이외의 점군 데이터를 수목(107)의 점군 데이터라고 판정하고, 수목(107)의 점군 데이터를 대상 에어리어(501) 내의 3차원 점군 데이터로부터 노이즈로서 제거한다.
이와 같이, 상기 공중선 후보 점군 추출의 처리에 있어서, 도 6에 도시한 슬라이스 처리(스텝 S601)와 클러스터링 처리(스텝 S602)를 행함으로써, 수목의 점군(207)과 공중선의 점군(206)을 고정밀도로 분리할 수 있다.
도 8은, 실시예 1에 기초하는 효과의 일례를 나타내는 개념도이며, (a)는 슬라이스 분할에 의한 공중선 후보 추출 결과의 점군을 나타내고, (b)는 공중선 모델 추정의 결과를 나타낸다.
도 8의 (a)에 있어서, 801은, 대상 에어리어(501) 내의 공중선 후보의 점군이다. 대상 에어리어(501) 내의 공중선 후보의 점군(801)의 추출은, 도 3의 공중선 후보 추출부(302)에 의해, 도 4의 S404의 스텝에 의해 행해진다. 도 8의 (a)에 도시한 바와 같이, 대상 에어리어(501) 내에서는 공중선 후보의 점군(801)이 추출되고, 수목의 점군(207) 등의 노이즈는 제거된다.
도 8의 (b)에 있어서, 802는, 대상 에어리어(501) 내의 공중선 후보의 점군(801)에 기초하여 추정된 공중선 모델 추정의 결과이다. 공중선 모델 추정은, 도 3의 공중선 모델 추정부(303)에 의해, 도 4의 S405의 스텝에 의해 행해진다. 도 8의 (b)에 도시한 바와 같이, 공중선 후보의 점군(801)에 대응하는 공중선 모델(802)이 추정된다.
도 9는, 실시예 1을 적용하지 않는 경우의 결과를 나타내는 개념도이며, (a)는 대상 에어리어를 잘라낸 점군을 나타내고, (b)는 공중선 모델 추정의 결과를 나타낸다.
도 9의 (a)에 도시한 바와 같이, 대상 에어리어(501)의 점군(901)에는, 수목의 점군(207)과 공중선의 점군(206)이 혼재되어 있다.
이 결과, 도 9의 (b)에 도시한 공중선 모델 추정의 결과(902)에 있어서는, 수목의 점군(207)과 공중선의 점군(206)이 분리되어 있지 않고, 수목의 점군(207)과 공중선의 점군(206)의 양쪽이 공중선 후보로 된다. 이 때문에, 무수한 공중선 모델(902)이 추정된다. 이것은, 도 8과 같이, 대상 에어리어(501) 내의 공중선 후보의 점군(801)의 추출이, 도 3의 공중선 후보 추출부(302)에 의해 행해지지 않고 있기 때문이다.
실시예 1에 의하면, 공중선 후보 추출부(302)는, 대상 에어리어(501) 내의 3차원 점군 데이터로부터 수목(107)의 점군 데이터를 노이즈로서 제거하여, 공중선(106)의 후보 점군 데이터를 추출한다. 이 결과, 수목의 점군(207)과 공중선의 점군(206)을 분리할 수 있고, 특히, 산간부 등에서 수목(107)이 노이즈로 되는 경우라도 공중선(106)의 추출이 가능해진다.
실시예 2
실시예 2에서는, 공중선의 일례로서 인입선 및 지선을 대상으로 한 예를 설명한다. 인입선이란, 전신주와 각 가정을 배선하는 케이블이며, 통상은 전신주로부터 각 가정의 처마 끝 등에 설치되어 있는 인입선 설치점까지를 말한다. 지선은 전신주를 지지하기 위한 와이어이다. 시스템 구성이나 처리 플로우 등의 대부분은 실시예 1과 마찬가지로 구성할 수 있다. 이하에서는, 실시예 1과 상이한 부분에 대하여 설명한다.
도 10은, 인입선 및 지선을 포함하는 3차원 점군 데이터의 표시예이다.
1001은, 인입선(전신주와 각 가정을 연결함)의 점군이다. 1002는, 지선(전신주(205)를 지지하기 위해서 설치)의 점군이다. 1003은, 건물의 점군이다. 전신주(205)로부터 인입선의 점군(1001)이 건물의 점군(1003)의 인입선 설치점에 접속되어 있다. 그 밖에, 예를 들어 수목의 점군(207) 등의 점군 데이터가 포함되어 있다. 이러한 인입선의 점군(1001)을 대상으로 한 경우, 도 4의 플로우에서 나타낸 실시예 1의 처리 중, 도 4의 대상 에어리어의 잘라내기 처리 스텝 S402와, 도 6의 대상 에어리어의 슬라이스 처리 스텝 S601을 변경함으로써 대응이 가능하다.
도 11은, 도 10의 인입선의 점군(1001), 지선의 점군(1002)을 포함하는 3차원 점군을 위에서 내려다본 개념도이다. 인입선 및 지선은, 도 11에 도시한 바와 같이, 전신주를 기점으로 하여 방사선 형상으로 연장되는 선이다.
슬라이스면(1101)은, 전신주의 점군(205)을 중심으로 한 동심원의 원주이다. 전신주의 점군(205)으로부터, 인입선의 점군(1001)이, 건물의 점군(1003)에 인입되어 있다. 실시예 2에서는, 도 4에 도시한 대상 에어리어의 잘라내기 처리(S402)에서, 전신주의 점군(205)을 지정함으로써, 전신주의 점군(205)을 중심으로 한 원주를 대상 에어리어로서 정의한다.
도 6에 도시한 대상 에어리어의 슬라이스 처리 S601에서는, 대상 에어리어를 동심원의 원주에서 슬라이스하여 도넛형의 세분화 에어리어를 얻는다. 구체적으로는, 지면에 수직이면서 전신주를 중심축으로 한 반경 방향으로 등간격의 동심원의 원주면으로 분할한다. 그 밖의 처리에 대해서는, 실시예 1과 거의 동일하므로 그 설명은 생략한다.
상기 실시예 2에 의하면, 인입선이나 지선을 포함하는 경우라도, 공중선의 추출이 가능해진다.
101: 자동차
102: 레이저 측거기
103: 레이저광
104: 도로
105: 전신주
106: 공중선
107: 수목
204: 도로의 점군
205: 전신주의 점군
206: 공중선의 점군
207: 수목의 점군
300: 처리 장치
301: 대상 에어리어 잘라내기부
302: 공중선 후보 추출부
303: 공중선 모델 추정부
304: 3차원 점군 데이터 파일
305: 설비 DB
306: 공중선 모델 파일
307: 디스플레이
308: 키보드·마우스
501: 대상 에어리어
502: 로컬 좌표계
701: 슬라이스면
801: 공중선 후보의 점군
802: 공중선 모델 추정의 결과
901: 대상 에어리어의 점군
902: 공중선 모델 추정의 결과
1001: 인입선의 점군
1002: 지선의 점군
1003: 건물의 점군
1101: 슬라이스면

Claims (11)

  1. 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기부와,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출부와,
    추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정부
    를 가지며,
    상기 공중선 후보 추출부는,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터를 일정 간격의 슬라이스면으로 분할하고,
    상기 슬라이스면으로 분할된 영역을 클러스터링하여 복수의 클러스터를 생성하고,
    복수의 상기 클러스터를 소정의 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하고,
    상기 공중선 후보 추출부는,
    지면에 수직이면서 한 쌍의 상기 전신주의 사이를 연결하는 선에 수직인 상기 슬라이스면으로 상기 대상 에어리어 내의 상기 3차원 점군 데이터를 분할하고,
    상기 슬라이스면으로 분할된 상기 영역으로서 직육면체 영역을 거리로 클러스터링하여 복수의 상기 클러스터를 생성하고,
    복수의 상기 클러스터를 상기 소정의 사이즈로서 외접 직사각형 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 하는 공중선 추출 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 공중선 후보 추출부는,
    상기 외접 직사각형 사이즈가, 미리 정해진 치수 범위에 들어가는지 여부를 판정하고,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가는 경우에는, 상기 공중선의 후보 점군 데이터라고 판정하고,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가지 않는 경우에는, 상기 공중선의 후보 점군 데이터 이외의 점군 데이터라고 판정한다고 하는 것을 특징으로 하는 공중선 추출 시스템.
  4. 제3항에 있어서,
    상기 공중선 후보 추출부는,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가지 않는 경우에는, 상기 공중선의 후보 점군 데이터 이외의 상기 점군 데이터를 상기 수목의 점군 데이터라고 판정하고, 상기 수목의 점군 데이터를 상기 대상 에어리어 내의 상기 3차원 점군 데이터로부터 노이즈로서 제거하는 것을 특징으로 하는 공중선 추출 시스템.
  5. 제1항에 있어서,
    상기 공중선 모델 추정부에서 추정된 상기 공중선의 모델을 표시하는 표시 장치를 더 갖는 것을 특징으로 하는 공중선 추출 시스템.
  6. 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기부와,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출부와,
    추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정부
    를 가지며,
    상기 공중선 후보 추출부는,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터로부터 상기 수목의 점군 데이터를 노이즈로서 제거하고, 상기 공중선의 후보 점군 데이터를 추출하고,
    상기 공중선 후보 추출부는,
    지면에 수직이면서 한 쌍의 상기 전신주의 사이를 연결하는 선에 수직인 슬라이스면으로 상기 대상 에어리어 내의 상기 3차원 점군 데이터를 분할하고,
    상기 슬라이스면으로 분할된 영역으로서 직육면체 영역을 거리로 클러스터링하여 복수의 클러스터를 생성하고,
    복수의 상기 클러스터를 소정의 사이즈로서 외접 직사각형 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 하는 공중선 추출 시스템.
  7. 공중에 전신주를 통해 설치된 공중선과 수목을 포함하는 3차원 형상의 3차원 점군 데이터를 취득하는 3차원 점군 데이터 취득 공정과,
    상기 3차원 점군 데이터로부터, 상기 전신주의 좌표를 기준으로 하여 상기 공중선의 점군 데이터가 존재한다고 상정되는 영역을 대상 에어리어로서 잘라내는 대상 에어리어 잘라내기 공정과,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터 중에서 상기 공중선의 후보 점군 데이터를 추출하는 공중선 후보 추출 공정과,
    추출된 상기 공중선의 후보 점군 데이터에 기초하여, 상기 공중선의 모델을 추정하는 공중선 모델 추정 공정
    을 가지며,
    상기 공중선 후보 추출 공정은,
    상기 대상 에어리어 내의 상기 3차원 점군 데이터를 일정 간격의 슬라이스면으로 분할하고,
    상기 슬라이스면으로 분할된 영역을 클러스터링하여 복수의 클러스터를 생성하고,
    복수의 상기 클러스터를 소정의 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하고,
    상기 공중선 후보 추출부는,
    지면에 수직이면서 한 쌍의 상기 전신주의 사이를 연결하는 선에 수직인 상기 슬라이스면으로 상기 대상 에어리어 내의 상기 3차원 점군 데이터를 분할하고,
    상기 슬라이스면으로 분할된 상기 영역으로서 직육면체 영역을 거리로 클러스터링하여 복수의 상기 클러스터를 생성하고,
    복수의 상기 클러스터를 상기 소정의 사이즈로서 외접 직사각형 사이즈로 분류하여, 상기 공중선의 후보 점군 데이터를 추출하는 것을 특징으로 하는 공중선 추출 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 공중선 후보 추출 공정은,
    상기 외접 직사각형 사이즈가, 미리 정해진 치수 범위에 들어가는지 여부를 판정하고,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가는 경우에는, 상기 공중선의 후보 점군 데이터라고 판정하고,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가지 않는 경우에는, 상기 공중선의 후보 점군 데이터 이외의 점군 데이터라고 판정한다고 하는 것을 특징으로 하는 공중선 추출 방법.
  10. 제9항에 있어서,
    상기 공중선 후보 추출 공정은,
    상기 판정 결과, 상기 미리 정해진 치수 범위에 들어가지 않는 경우에는, 상기 공중선의 후보 점군 데이터 이외의 상기 점군 데이터를 상기 수목의 점군 데이터라고 판정하고, 상기 수목의 점군 데이터를 상기 대상 에어리어 내의 상기 3차원 점군 데이터로부터 노이즈로서 제거하는 것을 특징으로 하는 공중선 추출 방법.
  11. 제7항에 있어서,
    상기 공중선 모델 공정에서 추정된 상기 공중선의 모델을 표시하는 표시 공정을 더 갖는 것을 특징으로 하는 공중선 추출 방법.
KR1020200126950A 2019-10-07 2020-09-29 공중선 추출 시스템 및 공중선 추출 방법 KR102365471B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2019-184232 2019-10-07
JP2019184232A JP7319886B2 (ja) 2019-10-07 2019-10-07 空中線抽出システム及び空中線抽出方法

Publications (2)

Publication Number Publication Date
KR20210041505A KR20210041505A (ko) 2021-04-15
KR102365471B1 true KR102365471B1 (ko) 2022-02-21

Family

ID=75274490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126950A KR102365471B1 (ko) 2019-10-07 2020-09-29 공중선 추출 시스템 및 공중선 추출 방법

Country Status (3)

Country Link
US (1) US11295130B2 (ko)
JP (1) JP7319886B2 (ko)
KR (1) KR102365471B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021240792A1 (ja) * 2020-05-29 2021-12-02 日本電信電話株式会社 データ更新方法、データ更新装置及びプログラム
CN113269202B (zh) * 2021-04-26 2023-11-03 南方电网数字电网研究院有限公司 一种提取门型电塔点云的方法
CN113238578B (zh) * 2021-05-11 2022-12-16 上海电力大学 一种电力杆塔无人机巡检路线规划方法及系统
CN114022489A (zh) * 2021-09-30 2022-02-08 北京市农林科学院信息技术研究中心 家畜点云双向断层区域分割方法及装置
JPWO2023095255A1 (ko) * 2021-11-25 2023-06-01
CN114638985A (zh) * 2022-03-03 2022-06-17 北京中关村智连安全科学研究院有限公司 一种基于核心点卷积的电力杆塔点云分类分割模型构建方法
CN116758529B (zh) * 2023-08-21 2023-11-14 广东电网有限责任公司广州供电局 线路识别方法、装置和计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001901A (ja) * 2013-06-17 2015-01-05 日本電信電話株式会社 点群解析処理装置、点群解析処理方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5840477B2 (ja) * 2011-12-17 2016-01-06 大日本除蟲菊株式会社 アリ防除剤
JP6161071B2 (ja) * 2013-10-15 2017-07-12 日本電信電話株式会社 設備状態検出方法およびその装置
JP6692320B2 (ja) 2017-05-22 2020-05-13 日本電信電話株式会社 設備状態検出装置およびプログラム
US20200097618A1 (en) * 2018-09-26 2020-03-26 Dimitris Agouridis Design engineering tools for visualizing existing utility lines within a land area and validating placement of new utility lines

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001901A (ja) * 2013-06-17 2015-01-05 日本電信電話株式会社 点群解析処理装置、点群解析処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2021060776A (ja) 2021-04-15
US20210103727A1 (en) 2021-04-08
KR20210041505A (ko) 2021-04-15
US11295130B2 (en) 2022-04-05
JP7319886B2 (ja) 2023-08-02

Similar Documents

Publication Publication Date Title
KR102365471B1 (ko) 공중선 추출 시스템 및 공중선 추출 방법
KR102366062B1 (ko) 공중선 추출 시스템 및 방법
CN107230251B (zh) 创建3d城市模型的方法和混合3d成像装置及存储介质
CN105701478B (zh) 杆状地物提取的方法和装置
CN112132108A (zh) 地面点云数据的提取方法、装置、设备及存储介质
CN111598915A (zh) 点云单木分割方法、装置、设备及计算机可读介质
CN106845324B (zh) 路牌信息的处理方法和装置
CN109271861B (zh) 多尺度融合的点云交通标识牌自动提取方法
JP6736931B2 (ja) 立体物検出方法及び立体物検出装置
US9208555B1 (en) Method for inspection of electrical equipment
CN110110678B (zh) 道路边界的确定方法和装置、存储介质及电子装置
JP2017156179A (ja) 設備状態検出方法および装置の設置方法
CN111179428B (zh) 一种基于锁定平面的地物制作方法和装置
WO2022226588A1 (en) Method and system for generating a model of a structure
KR101079475B1 (ko) 포인트 클라우드 필터링을 이용한 3차원 도시공간정보 구축 시스템
KR100981588B1 (ko) 특징점 픽셀의 크기와 방향 정보를 이용하는 벡터 변환에 기초한 도시공간 지리정보 생성 시스템
CN111742242A (zh) 点云处理方法、系统、设备及存储介质
KR20130002244A (ko) 도시공간정보모델의 등급정보에 따라 선택된 건물데이터를 이용하는 도시공간정보 생성 시스템
CN113009452B (zh) 一种激光点云电力杆塔提取方法
KR101114904B1 (ko) 도화원도와 항공 레이저 측량 데이터를 이용한 도시공간정보 구축 시스템 및 그 방법
CN111191661A (zh) 一种基于车载激光扫描数据的路灯要素提取方法和装置
US20230243976A1 (en) Systems and methods for utility pole loading and/or clearance analyses
CN118072029B (zh) 一种改进泰森多边形约束的车载点云单木分割方法及系统
McCulloch et al. Utility pole extraction using vehicle-mounted LIDAR for dynamic line rating
KR100959246B1 (ko) 스테레오 영상 및 gps 좌표를 이용하여 도시공간의 지리정보를 생성하는 방법 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant