KR20230112199A - 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법 - Google Patents

문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법 Download PDF

Info

Publication number
KR20230112199A
KR20230112199A KR1020220008033A KR20220008033A KR20230112199A KR 20230112199 A KR20230112199 A KR 20230112199A KR 1020220008033 A KR1020220008033 A KR 1020220008033A KR 20220008033 A KR20220008033 A KR 20220008033A KR 20230112199 A KR20230112199 A KR 20230112199A
Authority
KR
South Korea
Prior art keywords
tunnel
surveying
robot
image
recognition
Prior art date
Application number
KR1020220008033A
Other languages
English (en)
Other versions
KR102701822B1 (ko
Inventor
조원석
정남철
김경태
Original Assignee
현대건설(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대건설(주) filed Critical 현대건설(주)
Priority to KR1020220008033A priority Critical patent/KR102701822B1/ko
Priority claimed from KR1020220008033A external-priority patent/KR102701822B1/ko
Publication of KR20230112199A publication Critical patent/KR20230112199A/ko
Application granted granted Critical
Publication of KR102701822B1 publication Critical patent/KR102701822B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/06Tracing profiles of cavities, e.g. tunnels
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/12Detection or correction of errors, e.g. by rescanning the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 터널의 내공 측량기술에 관한 것으로, 보다 상세하게는 자율주행이 가능한 측량로봇을 이용하여 매회 정확한 위치에서 터널내 내공 측량이 가능하도록 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법에 관한 것이다. 이를 위해, 구동제어부(155)에 의해 자율 주행이 가능한 로봇에 있어서, 터널(10) 내에 표시된 인식물에 대한 정위치의 이미지를 저장하는 저장부(180); 인식물을 촬영하는 인식카메라(120); 인식카메라(120)가 촬영한 이미지로부터 문자를 인식하는 문자인식부(190); 인식된 문자, 정위치의 이미지 및 촬영한 이미지에 기초하여 구동제어부(155)를 제어함으로써 위치를 보정하는 로봇제어부(110); 터널(10) 내부의 내공을 측량하는 내공측량수단; 및 내공측량수단에 의해 측량된 측량데이터를 저장하는 저장부(180);를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇이 제공된다.

Description

문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법{A tunnel civil surveying and monitoring robot capable of positioning by text recognition and a surveying method using the same}
본 발명은 터널의 내공 측량기술에 관한 것으로, 보다 상세하게는 자율주행이 가능한 측량로봇을 이용하여 매회 정확한 위치에서 터널내 내공 측량이 가능하도록 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법에 관한 것이다.
일반적으로, 터널의 굴착 작업 중에는 내벽에 대해 주기적으로 내공(civil surveying)을 측량하여 모니터링해야 한다. 내공 측량은 터널 굴착 후 채굴 위치의 계측에 필요하고, 주기적인 계측을 통해 경시적인 지표 변위 변화의 계측에 필요하다. 이러한 내공 측량을 위해서는 먼저 터널 내부를 따라 일정 간격으로 측량 위치를 정한다. 그 다음, 작업자가 (천단용) 광파기를 직접 가지고 들어가서 내공을 측량하곤 하였다.
그런데 이와 같은 종래의 내공 측량 방식은 작업자에 의해 수작업으로 이루어지는 단순 반복 작업이었다. 또한, 작업자의 측정 숙련도에 따라 측정데이터가 달라질 수 있어 품질과 정밀도가 일정하지 못했다.
이러한 문제점을 극복하고자 선행특허1(대한민국 특허등록 제 10-2106452 호)은 자율이동체가 터널내부 일정한 속도로 이동하는 방안을 제시하였다. 그리고, 선행특허1은 3D 기반 포인트 클라우드 위치를 자율이동체의 모터와 연동하는 엔코더 센서에 의해 산출된다고 개시하고 있다. 그러나, 터널 내부가 지하수, 분진, 진흙 등으로 미끄럽기 때문에 바퀴 미끄러짐이 발생하고, 이로 인해 주행할수록 따라 위치 오차가 누적되어 터널 굴착지점까지 도착하지 못한다는 심각한 문제점이 있었다.
그리고, 선행특허2는 터널 천장에 달리 조명으로부터의 거리가 멀기 때문에 차량의 위치를 추정하는데 오차가 크게 발생하고, 주행속도가 빠르기 때문에 경로를 재탐색하는데 시간차가 발생한다는 문제점이 존재하였다.
1. 대한민국 특허등록 제 10-2106452 호(AVM 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법), 2. 대한민국 특허공개 제 10-2017-0068937 호(터널 조명을 이용한 자율주행 차량 항법 시스템),
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 자율주행이 가능한 측량로봇을 이용하여 매회 정확한 위치에서 터널내 내공 측량이 가능하도록 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법을 제공하는 것이다.
다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위하여, 구동제어부(155)에 의해 자율 주행이 가능한 로봇에 있어서, 터널(10) 내에 표시된 인식물에 대한 정위치의 이미지를 저장하는 저장부(180); 인식물을 촬영하는 인식카메라(120); 인식카메라(120)가 촬영한 이미지로부터 문자를 인식하는 문자인식부(190); 인식된 문자, 정위치의 이미지 및 촬영한 이미지에 기초하여 구동제어부(155)를 제어함으로써 위치를 보정하는 로봇제어부(110); 터널(10) 내부의 내공을 측량하는 내공측량수단; 및 내공측량수단에 의해 측량된 측량데이터를 저장하는 저장부(180);를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇이 제공된다.
또한, 인식물은 터널(10)의 내벽을 마감하는 세그먼트(20) 상에 표시된 세그먼트 일련번호(40), 바닥의 이동통로(30) 상에 표시된 식별번호, 세그먼트(20) 상에 표시된 마커(50) 중 적어도 하나이다.
또한, 식별번호는 이동통로(30)를 따라 연속적으로 설치되는 통로블록(60) 상에 표시된 블록 일련번호(65)일 수 있다.
또한, 식별번호는 이동통로(30)를 따라 주기적으로 설치되는 식별블록(70) 상에 표시된 식별번호(75)일 수 있다.
또한, 마커(50)는 바코드, 2차원 바코드, QR코드, 아루코 마커 중 하나이다.
또한, 로봇제어부(110)는 정위치의 이미지 및 촬영한 이미지 사이의 x방향 거리를 x방향 보정거리(Δx)로 산출하고, y방향 거리를 y방향 보정거리(Δy)로 산출하여, 구동제어부(155)를 보정거리(Δx, Δy)만큼 제어함으로써 위치를 보정한다.
또한, 로봇제어부(110)는 정위치의 이미지 및 촬영한 이미지 사이의 왜곡에 기초하여 주행방향으로부터의 사이각을 주행방향 보정각(Δθ)으로 산출하고, 구동제어부(155)를 보정각(Δθ)만큼 제어함으로써 방향을 보정한다.
또한, 로봇제어부(110)는 정위치의 이미지 중 세그먼트 일련번호(40)를 둘러싸는 정위치 인식 프레임(42)과 촬영한 이미지 중 세그먼트 일련번호(40)를 둘러싸는 보정전 인식 프레임(46)을 대비하여 사이각을 산출한다.
또한, 자이로센서(150)를 더 포함하고, 자이로센서(150)의 출력신호가 로봇제어부(110)에 입력되어 위치 보정시 사용된다.
또한, 내공측량수단은, 터널(10)의 내벽을 스캐닝하는 레이저 스캐너(140); 및 터널(10)의 내벽을 촬영하는 360도 카메라(130); 중 적어도 하나를 포함한다.
또한, 측량데이터를 외부로 전송하기 위한 통신부(160)를 더 포함한다.
또한, 측량로봇이 터널(10) 내의 주행경로(80)에 기초하여 자율 주행할 수 있도록 주행경로(80)를 제공하는 네비게이션부(170)를 더 포함한다.
상기와 같은 본 발명의 목적은 또 다른 카테고리로써, 전술한 터널내 내공 측량로봇을 이용한 측량방법에 있어서, 측량로봇(100)이 TBM(Tunnel Boring Machine) 공법에 따라 굴착중인 터널(10) 내에서 주행경로(80)를 따라 자율주행하는 단계(S120); 자이로센서(150)의 출력신호에 기초하여 구동제어부(155)가 측정위치에 멈추는 단계(S140); 인식카메라(120)로 인식물을 촬영하는 단계(S160); 문자인식부(190)가 촬영이미지로부터 문자를 인식하는 단계(S180); 로봇제어부(110)가 인식된 문자, 정위치의 이미지 및 촬영이미지에 기초하여 구동제어부(155)를 제어함으로써 위치를 보정하는 단계(S200); 레이저 스캐너(140)와 360도 카메라(130)를 이용하여 터널(10) 내부의 내공을 측량하는 단계(S220); 및 로봇제어부(110)가 측량된 측량데이터를 저장부(180)에 저장하는 단계(S240);를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇을 이용한 측량방법에 의해서도 달성될 수 있다.
또한, 위치보정단계(S200)는, 로봇제어부(110)가 정위치의 이미지 및 촬영이미지 사이의 x방향 거리를 x방향 보정거리(Δx)로 산출하고, y방향 거리를 y방향 보정거리(Δy)로 산출하여, 구동제어부(155)를 보정거리(Δx, Δy)만큼 제어함으로써 위치를 보정하는 단계; 및 로봇제어부(110)가 정위치의 이미지 및 촬영이미지 사이의 왜곡에 기초하여 주행방향으로부터의 사이각을 주행방향 보정각(Δθ)으로 산출하고, 구동제어부(155)를 보정각(Δθ)만큼 제어함으로써 방향을 보정하는 단계;를 순차적으로 또는 역순으로 포함한다.
또한, 저장단계(S240)는 통신부(160)가 측량데이터를 외부로 전송하는 단계를 더 포함한다.
본 발명의 일실시예에 따르면, 터널 공사기간 중 단순 반복적으로 실시되는 내공 측량 작업을 자동화할 수 있다. 이로 인해 인력감축의 경제성을 얻을 수 있다.
또한, 터널 내부의 상황 변화에도 불구하고 매회 정확한 위치에서 내공 측량이 가능하기 때문에 측량데이터의 품질과 신뢰성을 높힐 수 있다.
또한, 자동적으로 측정된 측량데이터를 BIM(Building Information Modeling) 데이터 등과 매칭 또는 비교함으로써 시공 결함이나 시공 현황을 직관적으로 파악할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니된다.
도 1은 본 발명에 따른 터널내 내공 측량로봇이 터널(10) 내부에서 측위하는 상태를 나타내는 사시도,
도 2는 본 발명의 인식물이 이동통로(30) 상의 통로블록(60)과 식별블록(70)일 때 블록 평면도,
도 3은 도 1 중 측량로봇(100)의 개략적인 내부 블록도,
도 4는 본 발명의 일실시예에 따른 위치 보정과 방향 보정을 설명하기 위한 설명도,
도 5는 본 발명의 일실시예에 따른 문자인식으로 측위가 가능한 터널내 내공 측량로봇의 측량방법을 개략적으로 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
실시예의 구성
이하, 첨부된 도면을 참조하여 바람직한 실시예의 구성을 상세히 설명하기로 한다. 도 1은 본 발명에 따른 터널내 내공 측량로봇이 터널(10) 내부에서 측위하는 상태를 나타내는 사시도이다. 도 1에 도시된 바와 같이, 터널(10)은 TBM(Tunnel Boring Machine) 공법에 따라 회전식 터널 굴진기가 굴착하면서 전진하고, 그 뒤를 콘크리트 세그먼트(20)로 마감하여 완성한다. 터널(10)은 직선형, 곡선형, 경사형일 수 있으며, 바닥에는 이동통로(230)가 형성된다. 측량로봇(100)은 이동통로(230) 상을 자율주행하면서 각 멈춤위치에 멈춰서 내공을 측량하게 된다.
주행경로(80)는 네비게이션부(170)에 의해 제공되는 가상의 경로이다. 측량로봇(100)은 주행경로(80)를 따라 자율이동한다.
그리고 각 세그먼트(20)에는 고유의 세그먼트 일련번호(40)(예 : “SEG-124“)가 음각, 양각 또는 인쇄로 노출되어 있다. 선택적으로 세그먼트 링의 일련번호가 될 수 있다.
터널(10)에는 세그먼트 일련번호(40)를 대체하여 또는 이에 부가하여 마커(50)가 부착될 수 있다. 마커(50)는 위치데이터를 포함하는 공지의 아루코(Aruco) 마커가 될 수 있다.
측위에 사용되는 인식물은 터널(10)의 측면, 상부, 또는 이동통로(30) 상에 노출될 수 있다. 인식물은 세그먼트 일련번호(40), 마커(50) 또는 도 2와 같은 블록이 될 수 있다.
도 2는 본 발명의 인식물이 이동통로(30) 상의 통로블록(60)과 식별블록(70)일 때 블록 평면도이다. 도 2에 도시된 바와 같이, 이동통로(30)의 가운데 영역에는 주행경로(80)를 따라 복수의 블록이 설치된다. 예를 들어, 3개의 통로블록(60) 다음에는 하나의 식별블록(70)이 설치되는 방식이 반복될 수 있다. 각 통로블록(60)에는 고유의 블록 일련번호(65)가 표시되고, 각 식별블록(70)에도 고유의 식별번호(75)가 표시된다.
측량로봇(100)은 블록 일련번호(65)를 인식할 수도 있고, 식별번호(75)를 인식할 수도 있다. 이러한 블록 일련번호(65)와 식별번호(75)는 주행경로(80)를 따라 내림차순이나 오름차순의 아라비아 숫자를 포함한다.
도 3은 도 1 중 측량로봇(100)의 개략적인 내부 블록도이다. 도 3에 도시된 바와 같이, 인식카메라(120)는 측량로봇(100)에 고정된 카메라이고, 인식물을 촬영하여 JPG 이미지를 출력한다. 인식카메라(120)는 인식물을 향해 고정되며, 별도의 LED 조명(미도시)을 포함할 수 있다.
360도 카메라(130)는 전방향(Omni-Directional) 카메라이며, 내공 측량을 위해 사용된다.
레이저 스캐너(140)는 터널 내면을 스캔하여 내공 측량데이터를 생성한다. 360도 카메라(130)의 이미지와 레이저 스캐너(140)의 측량데이터는 저장부(180)에 저장되고, 실시간 또는 오프라인으로 BIM데이터와 비교하여 터널 내부의 결합이나 시공 현황을 파악하기 용이하도록 한다.
자이로센서(150)는 관성 가속도계 센서로써, 측량로봇(100)의 현재위치를 로봇제어부(110)에 제공한다. 그런데, 자이로센서(150)만에 의존해서는 정확한 내공 측량이 이루어지기 힘들다. 자이로센서(150)는 측량로봇(100)의 대략적인 주행위치와 멈춤위치를 판단하는데 사용될 수 있다.
구동제어부(155)는 측량로봇(100)의 주행에 사용되는 서보모터의 모터구동부(모터 드라이버)를 포함한다. 구동제어부(155)는 내장된 복수의 서보모터를 개별적으로 제어함으로써 주행, 회전, 조향을 가능하게 한다. 구동제어부(155)의 서보모터는 엔코더를 내장하여 거리센서나 속도센서로 활용된다.
통신부(160)는 중앙의 관제실이나 통제소와 유선 또는 무선으로 양방향 통신이 가능하다. 측량로봇(100)은 통신부(160)를 통해 동작에 관한 제어명령을 수신하며, 생성된 측량데이터를 실시간으로 또는 오프라인으로 전송한다. 이를 위해 통신부(160)는 와이파이 모듈, 블루투스 모듈, 3G, 4G 통신모듈, 무선-LAN모듈, TCP/IP모듈, LAN모듈, 인트라넷 통신모듈, USB포트, 시리얼 포트 등을 포함할 수 있다.
네비게이션부(170)는 사용자에 의해 입력된 주행경로(80)의 맵 데이터를 저장하며, 로봇제어부(110)에 이를 제공한다. 맵 데이터는 3D 맵 데이터일 수 있다.
저장부(180)는 터널(10) 내에서 인식물로 사용되는 각 세그먼트 일련번호(40)의 정위치의 이미지를 저장한다. 그리고, 저장부(180)는 360도 카메라(130)와 레이저 스캐너(140)에 의해 측량된 측량데이터를 저장한다. 이를 위해 저장부(180)는 하드디스크, 플래시 메모리, 광디스크, RAM, SSD 등이 될 수 있다.
문자인식부(190)는 인식카메라(120)가 촬영한 디지털 이미지로부터 문자를 텍스트로 인식한다. 인식된 텍스트 문자는 로봇제어부(110)로 제공된다. 이를 위해, 문자인식부(190)는 인공지능에 의한 문자인식 프로그램이 될 수 있다.
로봇제어부(110)는 인식된 문자, 저장부(180)의 정위치의 이미지 및 촬영한 이미지에 기초하여 정위치와 현재 위치 사이의 거리오차와 방향 오차를 산출한다. 산출된 거리오차와 방향 오차는 x방향 거리를 x방향 보정거리(Δx)로 정의하고, y방향 거리를 y방향 보정거리(Δy)로 정의하여, 구동제어부(155)가 보정거리(Δx, Δy)만큼 제어하도록 한다.
또한, 로봇제어부(110)는 정위치의 이미지 및 촬영한 이미지 사이의 왜곡에 기초하여 주행방향으로부터의 사이각을 산출하고, 산출된 사이각을 주행방향 보정각(Δθ)으로 정의한다. 로봇제어부(110)는 구동제어부(155)가 보정각(Δθ)만큼 제어하도록 한다. 이러한 로봇제어부(110)는 CPU, AP, 또는 마이컴이 될 수 있다.
전술한 통신부(160), 네비게이션부(170), 저장부(180), 문자인식부(190) 및 로봇제어부(110)를 위해, 측량로봇(100)은 노트북 컴퓨터나 태블릿 PC를 내장할 수 있다.
실시예의 동작
이하, 첨부된 도면을 참조하여 바람직한 실시예의 동작을 상세히 설명하기로 한다. 도 5는 본 발명의 일실시예에 따른 문자인식으로 측위가 가능한 터널내 내공 측량로봇의 측량방법을 개략적으로 나타내는 흐름도이다. 도 5에 도시된 바와 같이, 먼저, 네비게이션부(170)에 맵 데이터가 탑재된 측량로봇(100)이 터널(10)내로 투입된다(S100).
그 다음, 측량로봇(100)이 터널(10) 내에서 주행경로(80)를 따라 자율주행한다(S120).
그 다음, 자이로센서(150)의 출력신호에 기초하여 대략적인 이동거리에 도달하면 구동제어부(155)가 측정위치에 멈춘다(S140). 측정위치는 3m ~ 10m 단위로 결정될 수 있다. 선택적으로는 도 2와 같은 식별블록(70)에서 멈출 수도 있다.
그 다음, 인식카메라(120)로 인식물을 촬영한다(S160). 촬영이미지는 세그먼트(20)를 배경으로 하고 세그먼트 일련번호(40)를 포함한다.
그 다음, 문자인식부(190)가 촬영이미지로부터 문자를 텍스트로 인식한다(S180). 인식된 문자(예 : “SEG-124”)는 로봇제어부(110)로 전달된다.
그 다음, 로봇제어부(110)가 인식된 문자, 정위치의 이미지 및 촬영이미지에 기초하여 구동제어부(155)를 제어함으로써 위치를 보정한다(S200). 도 4는 본 발명의 일실시예에 따른 위치 보정과 방향 보정을 설명하기 위한 설명도이다. 도 4에 도시된 바와 같이, 먼저 저장부(180)로부터 해당 정위치의 이미지를 독출한다. 그리고, 정위치 이미지에서 정위치의 인식 프레임(42)을 생성한다. 정위치의 인식 프레임(42)은 정위치의 세그먼트 일련번호 이미지(41)를 최소로 둘러싸는 직사각형 프레임이다. 로봇제어부(110)는 정위치의 인식 프레임(42)의 각 꼭지점 좌표값을 추출한다.
그리고, 로봇제어부(110)는 촬영된 세그먼트 일련번호 이미지(44)에서 보정전 인식 프레임(46)을 생성한다. 보정전 인식 프레임(46)은 촬영된 세그먼트 일련번호 이미지(44)를 최소로 둘러싸는 직사각형 프레임이다. 로봇제어부(110)는 보정전 인식 프레임(46)의 각 꼭지점 좌표값을 추출한다.
그리고, 로봇제어부(110)는 정위치의 인식 프레임(42) 중 우측 하단 꼭지점 및 보정전 인식 프레임(46) 중 우측 하단 꼭지점 사이의 x방향 거리를 x방향 보정거리(Δx)로 산출하고, y방향 거리를 y방향 보정거리(Δy)로 산출한다.
그리고, 로봇제어부(110)는 정위치의 인식 프레임(42)을 기준으로 보정전 인식 프레임(46)의 왜곡 정도에 비례하여 주행방향으로부터의 사이각을 주행방향 보정각(Δθ)으로 산출한다. 사이각이 클수록 보정전 인식 프레임(46)이 직사각형으로부터 사다리꼴이나 부등변 사각형으로 크게 왜곡되기 때문이다. 왜곡 정도의 정도는 보정전 인식 프레임(46) 중 우측 변의 길이 증가로 추출할 수 있다.
그 다음, 로봇제어부(110)는 구동제어부(155)를 보정거리(Δx, Δy)만큼 제어함으로써 위치를 보정하고, 구동제어부(155)를 보정각(Δθ)만큼 회전 제어함으로써 방향을 보정한다. 이러한 위치 보정과 방향 보정을 통해 측량로봇(100)은 정위치에 위치할 수 있다.
그 다음, 레이저 스캐너(140)와 360도 카메라(130)를 이용하여 터널(10) 내부의 내공을 측량한다(S220).
로봇제어부(110)는 측량된 측량데이터를 저장부(180)에 저장하고(S240), 선택적으로는 통신부(160)를 통해 측량데이터를 외부로 전송한다.
이와 같은 과정을 통해 한 지점에 대한 정확한 위치 보정 및 내공 측량이 이루어진다. 그리고, 측량로봇(100)은 각 측정위치 마다 멈춰서 전술한 S140단계 내지 S240 단계를 반복한다. 이를 통해 터널(10) 전체 길이에 대한 1회의 내공 측량이 완료된다. 그 후, 1일 ~ 7일 주기로 터널(10) 전체 길이에 대한 내공 측량이 반복된다.
터널 굴착의 계속됨에 따라 터널(10) 내부의 상황이 계속 변화하더라도 측량로봇(100)은 보정을 통해 정확한 위치에서 내공 측량을 수행할 수 있고, 이에 따라 정밀하고 신뢰도 높은 측량 데이터를 얻을 수 있게 된다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
10 : 터널,
20 : 세그먼트,
30 : 이동통로,
40 : 세그먼트 일련번호,
41 : 정위치 세그먼트 일련번호 이미지,
42 : 정위치 인식 프레임,
44 : 촬영된 세그먼트 일련번호 이미지,
46 : 보정전 인식 프레임,
50 : 마커,
60 : 통로블록,
65 : 블록 일련번호,
70 : 식별블록,
75 : 식별번호,
80 : 주행경로,
100 : 측량로봇,
110 : 로봇제어부,
120 : 인식카메라,
130 : 360도 카메라,
140 : 레이저 스캐너,
150 : 자이로센서,
155 : 구동제어부,
160 : 통신부,
170 : 네비게이션부,
180 : 저장부,
190 : 문자인식부,
Δx : x방향 보정거리,
Δy : y방향 보정거리,
Δθ : 주행방향 보정각.

Claims (15)

  1. 구동제어부(155)에 의해 자율 주행이 가능한 로봇에 있어서,
    터널(10) 내에 표시된 인식물에 대한 정위치의 이미지를 저장하는 저장부(180);
    상기 인식물을 촬영하는 인식카메라(120);
    상기 인식카메라(120)가 촬영한 이미지로부터 문자를 인식하는 문자인식부(190);
    인식된 상기 문자, 상기 정위치의 이미지 및 상기 촬영한 이미지에 기초하여 상기 구동제어부(155)를 제어함으로써 위치를 보정하는 로봇제어부(110);
    상기 터널(10) 내부의 내공을 측량하는 내공측량수단; 및
    상기 내공측량수단에 의해 측량된 측량데이터를 저장하는 상기 저장부(180);를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  2. 제 1 항에 있어서,
    상기 인식물은 상기 터널(10)의 내벽을 마감하는 세그먼트(20) 상에 표시된 세그먼트 일련번호(40), 바닥의 이동통로(30) 상에 표시된 식별번호, 상기 세그먼트(20) 상에 표시된 마커(50) 중 적어도 하나인 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  3. 제 2 항에 있어서,
    상기 식별번호는 상기 이동통로(30)를 따라 연속적으로 설치되는 통로블록(60) 상에 표시된 블록 일련번호(65)인 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  4. 제 2 항에 있어서,
    상기 식별번호는 상기 이동통로(30)를 따라 주기적으로 설치되는 식별블록(70) 상에 표시된 식별번호(75)인 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  5. 제 2 항에 있어서,
    상기 마커(50)는 바코드, 2차원 바코드, QR코드, 아루코 마커 중 하나인 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  6. 제 1 항에 있어서,
    상기 로봇제어부(110)는 상기 정위치의 이미지 및 상기 촬영한 이미지 사이의 x방향 거리를 x방향 보정거리(Δx)로 산출하고, y방향 거리를 y방향 보정거리(Δy)로 산출하여, 상기 구동제어부(155)를 상기 보정거리(Δx, Δy)만큼 제어함으로써 위치를 보정하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  7. 제 6 항에 있어서,
    상기 로봇제어부(110)는 상기 정위치의 이미지 및 상기 촬영한 이미지 사이의 왜곡에 기초하여 주행방향으로부터의 사이각을 주행방향 보정각(Δθ)으로 산출하고, 상기 구동제어부(155)를 상기 보정각(Δθ)만큼 제어함으로써 방향을 보정하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  8. 제 7 항에 있어서,
    상기 로봇제어부(110)는 상기 정위치의 이미지 중 세그먼트 일련번호(40)를 둘러싸는 정위치 인식 프레임(42)과 상기 촬영한 이미지 중 세그먼트 일련번호(40)를 둘러싸는 보정전 인식 프레임(46)을 대비하여 상기 사이각을 산출하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  9. 제 1 항에 있어서,
    자이로센서(150)를 더 포함하고,
    상기 자이로센서(150)의 출력신호가 상기 로봇제어부(110)에 입력되어 위치 보정시 사용되는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  10. 제 1 항에 있어서,
    상기 내공측량수단은,
    상기 터널(10)의 내벽을 스캐닝하는 레이저 스캐너(140); 및
    상기 터널(10)의 내벽을 촬영하는 360도 카메라(130); 중 적어도 하나를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  11. 제 1 항에 있어서,
    상기 측량데이터를 외부로 전송하기 위한 통신부(160)를 더 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  12. 제 1 항에 있어서,
    상기 측량로봇이 상기 터널(10) 내의 주행경로(80)에 기초하여 자율 주행할 수 있도록 상기 주행경로(80)를 제공하는 네비게이션부(170)를 더 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 따른 터널내 내공 측량로봇을 이용한 측량방법에 있어서,
    측량로봇(100)이 TBM(Tunnel Boring Machine) 공법에 따라 굴착중인 터널(10) 내에서 주행경로(80)를 따라 자율주행하는 단계(S120);
    자이로센서(150)의 출력신호에 기초하여 구동제어부(155)가 측정위치에 멈추는 단계(S140);
    인식카메라(120)로 인식물을 촬영하는 단계(S160);
    문자인식부(190)가 촬영이미지로부터 문자를 인식하는 단계(S180);
    로봇제어부(110)가 인식된 상기 문자, 정위치의 이미지 및 상기 촬영이미지에 기초하여 상기 구동제어부(155)를 제어함으로써 위치를 보정하는 단계(S200);
    레이저 스캐너(140)와 360도 카메라(130)를 이용하여 상기 터널(10) 내부의 내공을 측량하는 단계(S220); 및
    상기 로봇제어부(110)가 측량된 측량데이터를 저장부(180)에 저장하는 단계(S240);를 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇을 이용한 측량방법.
  14. 제 13 항에 있어서,
    상기 위치보정단계(S200)는,
    상기 로봇제어부(110)가 상기 정위치의 이미지 및 상기 촬영이미지 사이의 x방향 거리를 x방향 보정거리(Δx)로 산출하고, y방향 거리를 y방향 보정거리(Δy)로 산출하여, 상기 구동제어부(155)를 상기 보정거리(Δx, Δy)만큼 제어함으로써 위치를 보정하는 단계; 및
    상기 로봇제어부(110)가 상기 정위치의 이미지 및 상기 촬영이미지 사이의 왜곡에 기초하여 주행방향으로부터의 사이각을 주행방향 보정각(Δθ)으로 산출하고, 상기 구동제어부(155)를 상기 보정각(Δθ)만큼 제어함으로써 방향을 보정하는 단계;를 순차적으로 또는 역순으로 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇을 이용한 측량방법.
  15. 제 13 항에 있어서,
    상기 저장단계(S240)는 통신부(160)가 상기 측량데이터를 외부로 전송하는 단계를 더 포함하는 것을 특징으로 하는 문자인식으로 측위가 가능한 터널내 내공 측량로봇을 이용한 측량방법.
KR1020220008033A 2022-01-19 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법 KR102701822B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220008033A KR102701822B1 (ko) 2022-01-19 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220008033A KR102701822B1 (ko) 2022-01-19 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법

Publications (2)

Publication Number Publication Date
KR20230112199A true KR20230112199A (ko) 2023-07-27
KR102701822B1 KR102701822B1 (ko) 2024-09-05

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068937A (ko) 2015-12-10 2017-06-20 현대모비스 주식회사 터널 조명을 이용한 자율주행 차량 항법 시스템
KR102106452B1 (ko) 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068937A (ko) 2015-12-10 2017-06-20 현대모비스 주식회사 터널 조명을 이용한 자율주행 차량 항법 시스템
KR102106452B1 (ko) 2019-11-04 2020-05-06 한국건설기술연구원 Avm 카메라 기반 터널 내부 고속 측정 시스템 및 그의 터널 내부 고속 측정 방법

Similar Documents

Publication Publication Date Title
JP6083520B2 (ja) ロボット誘導方法と装置
CA2936683C (en) Mine vehicle and method of initiating mine work task
US9020301B2 (en) Method and system for three dimensional mapping of an environment
KR102502925B1 (ko) 터널 라이닝을 형성하는 세그먼트의 자동화 픽업 및 부설 장치 및 방법
CN113495561B (zh) 建设现场管理系统
JP5016399B2 (ja) 地図情報作成装置及びそれを備えた自律移動装置
KR102065521B1 (ko) 로봇의 이동 경로의 레이저 조사를 제어하는 서버와 방법 및 이에 기반하여 이동하는 로봇
CN105241444A (zh) 一种悬臂式掘进机空间位姿自动检测系统及其测量方法
US11441900B2 (en) Movable marking system, controlling method for movable marking apparatus, and computer readable recording medium
KR102396675B1 (ko) 라이다 센서를 이용한 지하광산 자율주행 로봇의 위치추정 및 3d 갱도 맵핑 시스템과 그 방법
KR100919944B1 (ko) 이동로봇의 맵 생성 시스템 및 맵 생성방법
CA3118408A1 (en) Method and device for determining the position of a mining and/or construction machine
JP7184243B2 (ja) 位置認識方法、位置認識装置、基準点設置用移動体、作業用移動体、及び位置認識システム
KR20230112199A (ko) 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법
KR102701822B1 (ko) 문자인식으로 측위가 가능한 터널내 내공 측량로봇 및 이를 이용한 측량방법
KR102318841B1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
CN211008643U (zh) 掘进机工作系统
JP2008077514A (ja) 移動ロボット及び遠隔操作システム
JP2022074712A (ja) トンネル内空情報取得方法
JP2010049443A (ja) 移動体遠隔制御システム
Jardón et al. Extended range guidance system for the teleoperation of microtunnelling machines
KR102495728B1 (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR102434523B1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
JP7278637B2 (ja) 自走式移動装置
KR20230033656A (ko) 자율 작업 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant