KR20210020778A - Apparatus and method for determining branching point - Google Patents
Apparatus and method for determining branching point Download PDFInfo
- Publication number
- KR20210020778A KR20210020778A KR1020200093396A KR20200093396A KR20210020778A KR 20210020778 A KR20210020778 A KR 20210020778A KR 1020200093396 A KR1020200093396 A KR 1020200093396A KR 20200093396 A KR20200093396 A KR 20200093396A KR 20210020778 A KR20210020778 A KR 20210020778A
- Authority
- KR
- South Korea
- Prior art keywords
- branch point
- information
- driving
- processor
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2201/00—Application
- G05D2201/02—Control of position of land vehicles
- G05D2201/0217—Anthropomorphic or bipedal robot
Abstract
Description
본 발명은 분기점 판별 장치 및 그 방법에 관한 것으로, 구체적으로는 로봇 주행을 위한 분기점 판별 장치 및 그 방법에 관한 것이다. The present invention relates to a branch point determination device and method, and more particularly, to a branch point determination device and method for driving a robot.
종래 기술에 따른 로봇 자율 주행은 이미 구축된 정밀 지도 기반으로 주행하는 SLAM기술을 활용하거나, 새로운 환경에서 로봇이 무작위로 돌아다니며 스스로 정밀 지도를 구축하고 이를 기반으로 주행하는 SLAM 기술을 활용한다. Autonomous robot driving according to the prior art utilizes SLAM technology that travels based on an already established precision map, or uses SLAM technology that builds a precision map on its own by moving around randomly in a new environment and driving based on it.
종래 기술에 따르면, 지도상의 변화 발생, 정밀 지도 구축 시간 부족, 부정확한 위치 인식의 경우 사용에 제약이 있는 문제점이 있다. According to the prior art, there is a problem in that there is a limitation in use in the case of a change on a map, a lack of time to build a precise map, and an incorrect location recognition.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 길의 토폴로지(topology) 정보를 이용하고, 분기점(교차로)을 인식하여 주행을 수행하는 분기점 판별 장치 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed in order to solve the above-described problem, and an object thereof is to provide an apparatus and method for determining a branch point to perform driving by using information on a topology of a road and recognizing a branch point (intersection).
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다. The branch point determination apparatus according to the present invention includes an input unit for receiving topology path information from a current location to a destination, a memory storing a driving program using the topology path information, and a processor for executing the program, and the processor determines the branch point. And transmitting a driving-related command using the topology path information.
토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함한다. The topology path information includes branch point information and block information.
프로세서는 현재 위치가 분기점인지 여부를 판단하고, 분기점에서 토폴로지 경로에 따른 다음 블록을 결정한다. The processor determines whether the current position is a branch point, and determines the next block according to the topology path at the branch point.
프로세서는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다. The processor operates the branch point determination logic from the point when it is predicted to have reached the next branch point in consideration of the movement information.
프로세서는 분기점의 종류를 기설정된 개수의 클래스로 정의한다. The processor defines the type of branch point as a preset number of classes.
프로세서는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 파라미터를 이용하여 분기점 영상을 획득한다. When the load view information includes a parameter for a branch point type, the processor acquires a branch point image by using the parameter.
프로세서는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득한다. The processor acquires a branch point image by using the progress direction indication information included in the road view information.
프로세서는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득한다. The processor acquires a branch point image by considering a change in a motion vector extracted from the road driving image.
프로세서는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행한다. The processor performs rotation and scale change on the acquired branch point image.
본 발명에 따른 분기점 판별 방법은 (a) 분기점 판별을 위한 학습을 수행하는 단계와, (b) (a) 단계에서의 학습 결과를 이용하여, 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 이용한 주행 시, 분기점을 판별하는 단계 및 및 (c) 분기점에서 주행 방향을 결정하고, 주행 관련 명령을 전송하는 단계를 포함한다. The method for determining a branch point according to the present invention includes the steps of (a) performing learning to determine the branch point, and (b) using the learning result in step (a), when driving using topology path information from the current location to the destination. , Determining a branch point, and (c) determining a driving direction at the branch point, and transmitting a driving-related command.
(a) 단계는 로드 뷰 정보에 포함되는 교차로 종류와 관련되는 파라미터를 이용하거나, 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하거나, 도로 주행 영상에서 추출한 모션 벡터의 변화를 이용하여, 분기점 영상을 획득한다.Step (a) is to use a parameter related to the type of intersection included in the road view information, use the driving direction indication information included in the road view information, or use a change in the motion vector extracted from the road driving image, To obtain.
(a) 단계는 분기점 영상에 대해 회전 및 스케일 변화를 수행한다. Step (a) performs rotation and scale change on the branch point image.
(b) 단계는 분기점 정보와 블록 정보를 포함하는 토폴로지 경로 정보를 이용한 주행 시, 주기적으로 분기점인지 여부를 확인한다. In step (b), when driving using topology path information including branch point information and block information, it is periodically checked whether or not it is a branch point.
(b) 단계는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다. Step (b) considers the movement information, and operates the branch point determination logic from the point when it is expected to reach the next branch point.
(c) 단계는 현재 위치가 분기점에 해당하는 경우, 토폴로지 경로 정보를 이용하여 다음 블록을 결정한다. In step (c), when the current location corresponds to a branch point, the next block is determined using topology path information.
본 발명에 따르면, 정밀 지도를 생성하기 어려운 환경(예: 골목길, 구도심 등과 같이 차량이 지나다니지 못하는 환경) 또는 자기 위치 인식(localization)이 어려운 환경(예: GPS 신호가 부정확한 대도시 환경)에서 자율 주행이 가능하며, 자율 주행 차량뿐 아니라, 도로가 아닌 인도(사람이 다니는 길)를 통행하는 로봇에 적용할 수 있다. According to the present invention, autonomy in an environment in which it is difficult to generate a precision map (for example, an environment where vehicles cannot pass, such as an alleyway or an old city center) or in an environment where localization is difficult (for example, a metropolitan environment in which the GPS signal is incorrect). It is capable of driving and can be applied not only to autonomous vehicles, but also to robots that pass through sidewalks (paths where people travel) rather than roads.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 따른 분기점 판별 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 토폴리지 수준의 길 찾기의 예를 도시한다.
도 3a 및 도 3b는 교차로의 종류 및 교차로 클래스를 도시한다.
도 4a 및 도 4b는 정면뷰 및 헤드다운(head down) 뷰의 화살표 개수를 도시한다.
도 5는 본 발명의 실시예에 따른 분기점 판별 방법을 도시한다.
도 6은 본 발명의 실시예에 따른 분기점 판별 방법의 학습 및 테스트 과정을 도시한다. 1 shows an apparatus for determining a branch point according to an embodiment of the present invention.
2 shows an example of a topology-level wayfinding according to an embodiment of the present invention.
3A and 3B show types of intersections and intersection classes.
4A and 4B show the number of arrows in the front view and the head down view.
5 shows a method for determining a branch point according to an embodiment of the present invention.
6 shows a learning and testing process of a method for determining a branch point according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described objects and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only the following embodiments are for the purpose of the invention to those of ordinary skill in the art, It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude addition.
이하에서는 당업자의 이해를 돕기 위하여, 본 발명이 제안된 배경에 대하여 먼저 설명하고, 본 발명의 실시예에 대해 상세히 설명하기로 한다. Hereinafter, in order to help those skilled in the art understand, the background to which the present invention is proposed will be first described, and embodiments of the present invention will be described in detail.
종래 기술에 따른 로봇 자율 주행은 지도 상의 특정 지점에 단순 장해물의 수준을 뛰어넘는 변화가 발생하거나, 정밀 지도 구축을 위한 시간이 부족한 경우에는 사용하기 어려운 제약이 있다. Robot autonomous driving according to the prior art has limitations that are difficult to use when a change exceeding the level of a simple obstacle occurs at a specific point on a map, or when time for constructing a precision map is insufficient.
또한, 정밀 지도가 구비된 상황이라고 하더라도 현재의 위치 인식(localization)이 부정확한 경우, 사용에 제약이 있다. In addition, even in a situation in which a precision map is provided, if the current localization is incorrect, there are restrictions on use.
또한, 정밀하지 않은 토폴로지(topology) 수준의 저해상도 지도 정보만이 제공되는 경우, 사용에 제약이 있다. In addition, when only low-resolution map information of a non-precise topology level is provided, use is limited.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 길의 토폴로지 정보만으로 주행을 수행하는 것이 가능한 분기점 판별 장치 및 그 방법을 제공한다. The present invention has been proposed in order to solve the above-described problem, and provides a branch point determination apparatus and method capable of performing driving only with topology information of a road.
본 발명의 실시예에 따르면, 토폴로지 수준으로 경로를 계획하고, 분기점(교차로, intersection) 인식을 통해 토폴로지 시나리오 만으로 목적지 직전 노드까지 도달하는 것이 가능하다. According to an embodiment of the present invention, it is possible to plan a route at a topology level and reach a node immediately before a destination only with a topology scenario through recognition of a branch point (intersection).
본 발명의 실시예에 따르면, 분기점 인식을 위한 학습 데이터를 구축하고, 분기점 인식을 위한 딥러닝 학습 및 적용을 수행한다. According to an embodiment of the present invention, training data for branch point recognition is constructed, and deep learning learning and application for branch point recognition is performed.
본 발명의 실시예에 따르면, 정밀 지도 없이 길의 토폴로지와 현재의 초기 위치 정보를 이용하여, 분기점 인식을 통해 최종 목적지 근처까지 주행을 수행한다. According to an embodiment of the present invention, a road topology and current initial location information are used without a precise map, and driving is performed to near a final destination through branch point recognition.
이동 구간은 블록 단위로 분리되고, 다음 교차로 나오는 블록까지 직진을 수행하며, 다음 교차로까지의 길 모양에 따라 이동을 수행한다. The moving section is divided into blocks, and it goes straight to the block that comes out of the next intersection, and moves according to the shape of the road to the next intersection.
일정한 주기로 교차로를 검출하여, 다음 블록에 도달하였는지 여부를 확인한다. It detects intersections at regular intervals and checks whether the next block has been reached.
다음 블록에 도달한 것을 확인하면, 토폴로지 상의 경로에 의해 그 다음 블록을 결정하고, 해당 방향으로 턴(turn) 또는 직진을 수행하고, 전술한 블록 단위 이동 구간 분리, 다음 교차로가 나오는 블록까지 직진을 수행하는 과정을 반복한다. When it is confirmed that the next block has been reached, the next block is determined by the path on the topology, turns or goes straight in the corresponding direction, separates the movement section for each block, and goes straight to the block where the next intersection appears. Repeat the process.
본 발명의 실시예에 따르면 분기점의 종류를 직진, 3방향, 4방향, 5방향으로 정의하고, 3방향 및 5방향 분기점의 경우, 진입 방향에 따라 각각 별도의 클래스로 분류한다. According to an embodiment of the present invention, the types of branch points are defined as straight, three-way, four-way, and five-direction, and three- and five-way branch points are classified into separate classes according to the direction of entry.
본 발명의 실시예에 따르면, 수집된 영상을 기초로 회전 및 스케일 변화를 통해, 증대(augmentation) 과정을 수행하여 영상의 대표성을 향상시킨다. According to an embodiment of the present invention, an augmentation process is performed through rotation and scale change based on the collected image to improve the representativeness of the image.
이 때, 이동체의 교차로 진입 각도에 따라 다양한 씬(scene)이 관측 될 수 있으므로, 회전 관련 증대 시 회전 각도를 세분화하여 증대를 수행한다. At this time, since various scenes can be observed according to the angle of entry to the intersection of the moving object, the rotation angle is subdivided to increase the rotation related increase.
도 1은 본 발명의 실시예에 따른 분기점 판별 장치를 도시한다. 1 shows an apparatus for determining a branch point according to an embodiment of the present invention.
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부(110)와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다. The branch point determination apparatus according to the present invention includes an
토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함한다. The topology path information includes branch point information and block information.
프로세서(130)는 현재 위치가 분기점인지 여부를 판단하고, 분기점에서 토폴로지 경로에 따른 다음 블록을 결정한다. The
프로세서(130)는 분기점의 종류를 기설정된 개수의 클래스로 정의한다. The
프로세서(130)는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 파라미터를 이용하여 분기점 영상을 획득한다. When a parameter for a branch point type is included in the load view information, the
프로세서(130)는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득한다. The
프로세서(130)는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득한다. The
프로세서(130)는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행한다. The
프로세서(130)는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다. The
이동 정보는 로봇의 현재 분기점을 지난 후의 이동 거리, 이동 속도, 이동 궤적 등을 포함한다. The movement information includes the movement distance, movement speed, movement trajectory, etc. after passing the current branch point of the robot.
프로세서(130)는 분기점 검출을 수행함에 있어서, 분기점 간의 거리 정보 및 이동체의 주행 거리 정보(위치 정보)를 고려하여, 분기점 검출을 수행한다. In performing branch point detection, the
예컨대, 잔여 거리가 100미터일 때 분기점 검출을 시작하는 것으로 설정된 경우, 현재 분기점에서 다음 분기점까지의 거리가 500미터이면, 현재 분기점으로부터 이동체의 주행 거리가 400미터일 때, 분기점 검출을 시작한다. For example, when it is set to start detecting a branch point when the remaining distance is 100 meters, if the distance from the current branch point to the next branch point is 500 meters, when the traveling distance of the moving object from the current branch point is 400 meters, the branch point detection starts.
프로세서(130)는 주기적으로 분기점 체크를 하되, 토폴로지 지도 상에서 다음 분기점까지의 거리와 현재 로봇의 이동 속도를 감안하여, 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다. The
구체적으로, 다음 분기점 판별을 위한 측정 시간은 "
프로세서(130)는 분기점 검출을 수행함에 있어서, 분기점 간의 거리 정보, 이동체의 주행 거리 정보 및 이동 궤적 정보를 이용하여, 분기점 검출을 수행한다. In performing branch point detection, the
이동체의 이동 궤적 정보 및 주행 거리 정보를 이용하여, 기설정된 분기점 검출 시작 지점까지의 잔여 거리를 계산하고, 이동체가 분기점 검출 시작 지점에 도달하면, 분기점 검출을 수행한다. The remaining distance to a preset branch point detection start point is calculated by using the moving trajectory information and travel distance information of the moving object, and when the moving object reaches the branch point detection start point, branch point detection is performed.
이를 통해, 이동체 로봇의 배터리 소모를 최소화하는 것이 가능하다.Through this, it is possible to minimize the battery consumption of the mobile robot.
도 2는 본 발명의 실시예에 따른 토폴리지 수준의 길 찾기의 예를 도시한다. 2 shows an example of a topology-level wayfinding according to an embodiment of the present invention.
입력부(110)는 길찾기 서비스 제공회사(구글, 네이버, 다음 등) 또는 자체적으로 개발한 길찾기 서비스로부터, 현재 위치에서 원하는 목적지로 가는 경로 정보를 수신한다. The
이 때, 경로 정보는 분기점(intersection) 및 블록(block) 수준으로 제공되며, 도 2 를 참조하면, "현 위치(①)에서 한 블록 직진 후(②) 우회전하여 한 블록 직진 후(③) 좌회전 하여 한 블록 이동하고(④), 우회전 후 한 블록 이동하고(⑤), 그리고 마지막으로 좌회전 하여 목적지 부근인 ending point(⑥)를 만날 때까지 직진하도록 경로가 형성된다. At this time, the path information is provided at the level of an intersection and a block, and referring to FIG. 2, "Go straight one block from the current position (①) and then turn right (②) and go straight one block (③) turn left. The path is formed to move one block (④), turn right and then move one block (⑤), and finally turn left and go straight until it meets the ending point (⑥) near the destination.
프로세서(130)는 입력부(110)를 통해 획득한 토폴로지 경로를 이용하고, 분기점과 일반 직진 도로를 구분하며, 분기점을 찾으면서 시작점에서 목적지까지 이동하도록 주행과 관련한 명령 신호를 전송한다. The
프로세서(130)는 획득된 이미지를 이용하여 분기점의 종류를 판단하고, 토폴로지 경로와 동일한지 여부에 대해 주기적으로 검사함으로써, 주행 안정성을 확보한다. The
도 3a 및 도 3b는 교차로의 종류 및 교차로 클래스를 도시한다. 3A and 3B show types of intersections and intersection classes.
도 3a는 분기점의 종류를 도시하며, 도 3b는 데이터 획득의 용이성 및 분류 성능 향상을 위해, 분기점을 7개의 클래스(class)로 정의함에 대해 도시한다. FIG. 3A illustrates the types of branch points, and FIG. 3B illustrates defining branch points as seven classes in order to facilitate data acquisition and improve classification performance.
데이터 획득 과정 및 학습 과정을 포함하는 개발 시간을 단축시키고, 성능을 향상시키기 위하여, 클래스를 7개보다 적은 개수로 구분할 수 있다. In order to shorten the development time including the data acquisition process and the learning process, and improve performance, classes can be divided into fewer than 7 classes.
본 발명의 실시예에 따르면, 분기점에서의 진행 방향 정보를 고려하여, 분기점의 종류를 7개의 클래스로 정의한다. According to an embodiment of the present invention, the type of the branch point is defined as seven classes in consideration of information on the direction of travel at the branch point.
도 4a 및 도 4b는 정면뷰 및 헤드다운(head down) 뷰의 화살표 개수를 도시한다. 4A and 4B show the number of arrows in the front view and the head down view.
분기점에 대한 인식 및 분류를 위해서는, 뉴럴 네트워크 학습을 위해 데이터 수집 과정에 많은 자원이 필요하다. In order to recognize and classify branch points, a lot of resources are required in the data collection process for neural network learning.
일반적으로 학습되어야 할 네트워크의 내부 파라미터(weight) 양보다 상대적으로 적은 양의 데이터로 학습을 할 경우, 오버피팅(overfitting)되거나, 낮은 분류 정확도를 가지게 되기 때문이다. In general, this is because when learning is performed with a relatively small amount of data than the amount of an internal parameter (weight) of the network to be learned, it is overfitting or has low classification accuracy.
따라서, 가능한 많은 양의 학습 데이터가 필요한데, 직진 도로의 영상보다 분기점(교차로) 영상의 획득을 중점적으로 수행한다. Therefore, as much of the learning data as possible is required, but rather than the image of the straight road, the acquisition of the branch point (intersection) image is focused.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공될 경우, 교차로 종류를 현재 뷰의 영상에 대한 진리값(ground truth)로 사용한다. In using a road view, when a parameter indicating the type of intersection is provided, the type of the intersection is used as a ground truth for the image of the current view.
이 때, 교차로 종류를 알려주는 파라미터에는 위도, 경도, 뷰 각도, 교차로 여부 정보가 포함된다. At this time, the parameters indicating the type of intersection include latitude, longitude, viewing angle, and information on whether or not the intersection is present.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공되지 않고, 뷰 영상 위에 오버레이(overlay)로 로드 뷰의 진행 방향(예: 화살표)이 표시되는 경우, 방향 표시의 개수 및 방향을 확인하여 진리값으로 사용한다. When using the Road view, if a parameter indicating the type of intersection is not provided and the direction of the road view (eg, arrow) is displayed as an overlay on the view image, the number of direction indications and Check the direction and use it as the truth value.
예컨대, 헤드 다운(head down) 뷰로 설정하면, 도 4b에 도시한 바와 같이 로드뷰의 진행 방향을 표시하는 화살표 아이콘이 생성되며, 이는 직진 경로일 경우 전후방 각 1개씩 총 2개가 표시되고, 3거리 일 경우 3개, 4거리일 경우 4개가 표시된다. For example, if the head down view is set, as shown in FIG. 4B, an arrow icon indicating the direction of the road view is generated. In the case of a straight path, a total of two are displayed, one for each of the front and rear, and three distances. In the case of, 3 are displayed, and in the case of 4-distance, 4 are displayed.
이 화살표의 개수를 SURF등의 특징 검출(feature detection) 기법을 이용하여 검출하고, 도 4a에 도시한 바와 같은 정면 뷰 영상의 교차로의 클래스에 대한 진리값으로 사용한다. The number of arrows is detected using a feature detection technique such as SURF, and is used as a truth value for the class of the intersection of the front view image as shown in FIG. 4A.
길찾기 서비스 제공회사의 지도 서비스에는 이와 유사한 표시 기능들이 포함되는데, 교차로 정보에 대한 메타 데이터(meta data)의 획득이 어려울 경우, 전술한 방식으로 표시 아이콘을 활용한다. Map services of a wayfinding service provider include similar display functions. When it is difficult to obtain meta data for intersection information, a display icon is used in the above-described manner.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공되지 않고, 뷰 영상 위에 진행 방향 정보 또한 표시되지 않는 경우, 관리자의 확인 또는 영상 처리를 통해 진리값을 생성한다. When using a road view, when a parameter indicating the type of an intersection is not provided, and information about the direction of travel is not displayed on the view image, a truth value is generated through the administrator's confirmation or image processing.
본 발명의 실시예에 따른 교차로 영상을 획득함에 있어서, 도로 주행 영상을 활용할 수 있다. In obtaining an intersection image according to an embodiment of the present invention, a road driving image may be used.
동영상의 경우 많은 프레임(frame)을 획득할 수 있는데, 차량 또는 로봇의 정상 주행에 대한 동영상을 확보한다. In the case of a video, many frames can be acquired, and a video of the normal driving of a vehicle or robot is secured.
동영상에서 주요 주행 방향의 모션 벡터(motion vector)를 추출하고, 이 값이 변화하여 0에 가깝게 될 경우, 촬영된 프레임에 대해 교차로 영상인 것으로 판단한다. A motion vector in the main driving direction is extracted from the video, and when this value changes and becomes close to 0, it is determined that the captured frame is an intersection image.
데이터 수집 과정이 완료되면, 분기점 분류기 네트워크의 학습이 필요하다. When the data collection process is completed, it is necessary to learn the branch point classifier network.
본 발명의 실시예에 따르면, 뉴럴 네트워크 또는 성능 향상 및 연산량 감소를 위해 구성된 네트워크(vggnet, AlexNet, LeNet)를 이용하여 분기점 분류기 학습을 수행한다. According to an embodiment of the present invention, branch point classifier training is performed using a neural network or a network (vggnet, AlexNet, LeNet) configured to improve performance and reduce computational load.
4거리 교차로, 3거리 교차로, 직진 도로 등의 영상 및 진리값을 활용하여, 선택된 네트워크를 학습한다. The selected network is learned by using images and truth values of 4-way intersection, 3-way intersection, and straight road.
실제 로봇이 촬영하는 영상이 교차로의 방향과 일치하지 않을 수 있으므로, 본 발명의 실시예에 따르면 수집된 영상에 대해 회전(rotation) 및 스케일(scale) 변화를 통해, 증대(augmentation) 과정을 수행하여 영상의 대표성을 향상시킨다. Since the image actually photographed by the robot may not coincide with the direction of the intersection, according to an embodiment of the present invention, an augmentation process is performed through rotation and scale change on the collected image. Improve the representativeness of the image.
이 때, 길에 주차된 차량, 행인, 주야간 밝기, 계절에 따른 날씨 변화 등에 강인하도록, 다양한 상황에서의 영상을 수집한다. At this time, images in various situations are collected to be robust to vehicles parked on the road, pedestrians, day and night brightness, and weather changes according to seasons.
도 5는 본 발명의 실시예에 따른 분기점 판별 방법을 도시한다. 5 shows a method for determining a branch point according to an embodiment of the present invention.
S510 단계는 로드 토폴로지 생성 단계로서, 현재 위치에서 원하는 목적지까지의 경로 정보를 수신하며, 이 때 경로 정보는 분기점 정보 및 블록 정보를 포함한다. In step S510, as a load topology generation step, path information from a current location to a desired destination is received, and the path information includes branch point information and block information.
S520 단계는 주기적으로 교차로를 검출하며, 교차로를 만날 때까지 다음 노드로 이동을 수행한다. In step S520, the intersection is periodically detected, and movement to the next node is performed until the intersection is encountered.
S520 단계에서, 이동 구간은 블록 단위로 분리되며, 다음 교차로가 나오는 블록까지 길 모양에 따라 주행을 수행한다. In step S520, the moving section is divided into blocks, and driving is performed according to the shape of the road to the block where the next intersection appears.
S530 단계에서, 현재 도달한 노드가 엔딩 노드인지 여부를 확인한다. In step S530, it is checked whether the currently reached node is an ending node.
S530 단계에서의 확인 결과, 엔딩 노드가 아닌 것으로 확인되면, S520 단계로 회귀하고, S530 단계에서의 확인 결과, 엔딩 노드인 것으로 확인되면, 엔딩 포인트로 이동을 수행한다(S540). If it is determined in step S530 that it is not an ending node, the process returns to step S520, and if it is determined in step S530 that it is an ending node, the movement to the ending point is performed (S540).
전술한 도 5의 S520 단계는 다음 목적지의 분기점이 검출될 때까지 주행을 수행하는 것으로, 분기점이 검출되면 해당 분기점으로 진입하고, 다음 분기점을 계산(process for next node)하는 과정을 통해, 다음 분기점으로 계속하여 주행을 수행한다. In step S520 of FIG. 5 described above, driving is performed until the branch point of the next destination is detected. When the branch point is detected, the next branch point is entered through a process of entering the branch point and calculating the next branch point (process for next node). Continue to drive.
도 6은 본 발명의 실시예에 따른 분기점 판별 방법의 학습 및 테스트 과정을 도시한다. 6 shows a learning and testing process of a method for determining a branch point according to an embodiment of the present invention.
S521 단계는 데이터를 획득하고, 학습 데이터 셋(train dataset)을 로드(load)한다. In step S521, data is acquired and a training dataset is loaded.
학습이 시작되면, S522 단계는 획득된 데이터를 이용하여 뉴럴 네트워크 학습을 수행한다. When learning starts, step S522 performs neural network learning using the acquired data.
S523 단계는 검증 데이터셋(validation dataset)을 이용하여 학습 네트워크(trained network)의 정확도(accuracy)를 계산하고 검증한다(calculate and validate). In step S523, the accuracy of the trained network is calculated and validated using the validation dataset.
S524 단계는 산출된 정확도가 기설정값보다 큰 지 여부를 확인하고, S524 단계에서 정확도가 기설정값 이하인 경우, S522 단계로 회귀한다. In step S524, it is checked whether the calculated accuracy is greater than the preset value, and if the accuracy is less than the preset value in step S524, the process returns to step S522.
S524 단계에서 정확도가 기설정값보다 큰 것으로 확인되면, 학습이 종료된다(train finished, S525). If it is confirmed that the accuracy is greater than the preset value in step S524, the training is finished (train finished, S525).
테스트가 시작되면, S526 단계는 이미지 데이터(image data)를 획득한다. When the test starts, step S526 acquires image data.
S527 단계는 S522 단계에서 학습된 뉴럴 네트워크를 이용하여, 교차로를 검출한다. In step S527, an intersection is detected by using the neural network learned in step S522.
S527 단계에서 교차로가 아닌 것으로 확인되면, 기존의 주행을 계속한다.If it is confirmed that it is not an intersection in step S527, the existing driving is continued.
S527 단계에서 교차로인 것으로 확인되면, 해당 교차로로 진입하여 토폴로지에 따라 주행 방향을 설정하고, 계산된 다음 분기점으로 계속 주행을 수행한다. If it is determined that it is an intersection in step S527, it enters the intersection, sets the driving direction according to the topology, and continues driving to the next branch point calculated.
한편, 본 발명의 실시예에 따른 분기점 판별 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method for determining a branch point according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the above-described components performs data communication through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 분기점 판별 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 분기점 판별 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 분기점 판별 방법을 수행할 수 있다.Accordingly, the method for determining a branch point according to an embodiment of the present invention may be implemented in a computer-executable method. When a method for determining a branch point according to an embodiment of the present invention is performed in a computer device, instructions readable by a computer may perform the method for determining a branch point according to the present invention.
한편, 상술한 본 발명에 따른 분기점 판별 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. Meanwhile, the method for determining a branch point according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed in a computer system connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.
Claims (15)
상기 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 분기점을 판별한 결과 및 상기 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것
을 특징으로 하는 분기점 판별 장치.
An input unit for receiving topology route information from a current location to a destination;
A memory storing a driving program using the topology path information; And
Includes a processor for executing the program,
The processor transmits a driving-related command using the result of determining the branch point and the topology path information.
Branch point determination device, characterized in that.
상기 토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함하는 것
인 분기점 판별 장치.
The method of claim 1,
The topology path information includes branch point information and block information
In branch point determination device.
상기 프로세서는 현재 위치가 분기점인지 여부를 판단하고, 상기 분기점에서 상기 토폴로지 경로에 따른 다음 블록을 결정하는 것
인 분기점 판별 장치.
The method of claim 1,
The processor determines whether the current position is a branch point, and determines the next block according to the topology path at the branch point.
In branch point determination device.
상기 프로세서는 이동 정보를 고려하여, 상기 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시키는 것
인 분기점 판별 장치.
The method of claim 3,
The processor operates the branch point determination logic from the point when it is expected to reach the next branch point in consideration of movement information.
In branch point determination device.
상기 프로세서는 분기점의 종류를 기설정된 개수의 클래스로 정의하는 것
인 분기점 판별 장치.
The method of claim 1,
The processor defines the type of branch point as a preset number of classes
In branch point determination device.
상기 프로세서는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 상기 파라미터를 이용하여 분기점 영상을 획득하는 것
인 분기점 판별 장치.
The method of claim 1,
When the load view information includes a parameter for a branch point type, the processor acquires a branch point image by using the parameter.
In branch point determination device.
상기 프로세서는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득하는 것
인 분기점 판별 장치.
The method of claim 1,
The processor acquires a branch point image by using progress direction indication information included in the road view information.
In branch point determination device.
상기 프로세서는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득하는 것
인 분기점 판별 장치.
The method of claim 1,
The processor acquires a branch point image in consideration of a change in a motion vector extracted from the road driving image.
In branch point determination device.
상기 프로세서는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행하는 것
인 분기점 판별 장치.
The method of claim 1,
The processor performs rotation and scale change on the acquired branch point image.
In branch point determination device.
(b) 상기 (a) 단계에서의 학습 결과를 이용하여, 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 이용한 주행 시, 분기점을 판별하는 단계; 및
(c) 상기 분기점에서 주행 방향을 결정하고, 주행 관련 명령을 전송하는 단계
를 포함하는 분기점 판별 방법.
(a) performing learning to determine a branch point;
(b) determining a branch point when driving using topology route information from a current location to a destination, using the learning result in step (a); And
(c) determining a driving direction at the fork, and transmitting a driving related command
Branch point determination method comprising a.
상기 (a) 단계는 로드 뷰 정보에 포함되는 교차로 종류와 관련되는 파라미터를 이용하거나, 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하거나, 도로 주행 영상에서 추출한 모션 벡터의 변화를 이용하여, 분기점 영상을 획득하는 것
인 분기점 판별 방법.
The method of claim 10,
In the step (a), using a parameter related to the type of intersection included in the road view information, using the driving direction indication information included in the road view information, or using a change in a motion vector extracted from the road driving image, the branch point Acquiring images
How to determine the branch point.
상기 (a) 단계는 상기 분기점 영상에 대해 회전 및 스케일 변화를 수행하는 것
인 분기점 판별 방법.
The method of claim 11,
The step (a) is to perform rotation and scale change on the branch point image.
How to determine the branch point.
상기 (b) 단계는 분기점 정보와 블록 정보를 포함하는 상기 토폴로지 경로 정보를 이용한 주행 시, 주기적으로 분기점인지 여부를 확인하는 것
인 분기점 판별 방법.
The method of claim 10,
In the step (b), when driving using the topology path information including branch point information and block information, periodically checking whether it is a branch point.
How to determine the branch point.
상기 (b) 단계는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시키는 것
인 분기점 판별 방법.
The method of claim 13,
Step (b) is to operate the branch point determination logic from the point when it is expected to reach the next branch point in consideration of the movement information.
How to determine the branch point.
상기 (c) 단계는 현재 위치가 상기 분기점에 해당하는 경우, 상기 토폴로지 경로 정보를 이용하여 다음 블록을 결정하는 것
인 분기점 판별 방법. The method of claim 10,
In the step (c), when the current location corresponds to the branch point, determining the next block using the topology path information
How to determine the branch point.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/993,047 US20210048819A1 (en) | 2019-08-14 | 2020-08-13 | Apparatus and method for determining junction |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190099932 | 2019-08-14 | ||
| KR20190099932 | 2019-08-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210020778A true KR20210020778A (en) | 2021-02-24 |
| KR102592628B1 KR102592628B1 (en) | 2023-10-23 |
Family
ID=74689313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200093396A KR102592628B1 (en) | 2019-08-14 | 2020-07-27 | Apparatus and method for determining branching point |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102592628B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040091788A (en) * | 2003-04-22 | 2004-11-02 | 현대자동차주식회사 | Self-control Traveling System For Expressway and Control Method Thereof |
| KR20070060954A (en) * | 2005-12-09 | 2007-06-13 | 한국전자통신연구원 | Method for mapping and navigating mobile robot by artificial landmark and local coordinate |
| JP2014106147A (en) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | Intersection detection method and intersection detection system |
-
2020
- 2020-07-27 KR KR1020200093396A patent/KR102592628B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040091788A (en) * | 2003-04-22 | 2004-11-02 | 현대자동차주식회사 | Self-control Traveling System For Expressway and Control Method Thereof |
| KR20070060954A (en) * | 2005-12-09 | 2007-06-13 | 한국전자통신연구원 | Method for mapping and navigating mobile robot by artificial landmark and local coordinate |
| JP2014106147A (en) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | Intersection detection method and intersection detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102592628B1 (en) | 2023-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10976410B1 (en) | Generating data using radar observation model based on machine learning | |
| US10579058B2 (en) | Apparatus and method for generating training data to train neural network determining information associated with road included in image | |
| CN110400490B (en) | Trajectory prediction method and apparatus | |
| JP6442993B2 (en) | Automatic driving support system, automatic driving support method, and computer program | |
| CN112212874B (en) | Vehicle track prediction method and device, electronic equipment and computer readable medium | |
| US20190213451A1 (en) | Map and environment based activation of neural networks for highly automated driving | |
| CN108073168A (en) | The evaluation system of decision-making is carried out to autonomous land vehicle | |
| CN103853155B (en) | Intelligent vehicle road junction passing method and system | |
| CN109937343A (en) | Appraisal framework for the prediction locus in automatic driving vehicle traffic forecast | |
| CN110377025A (en) | Sensor aggregation framework for automatic driving vehicle | |
| KR20190090393A (en) | Lane determining method, device and storage medium | |
| CN109429518A (en) | Automatic Pilot traffic forecast based on map image | |
| CN111582189B (en) | Traffic signal lamp identification method and device, vehicle-mounted control terminal and motor vehicle | |
| US20210403001A1 (en) | Systems and methods for generating lane data using vehicle trajectory sampling | |
| JP2006208223A (en) | Vehicle position recognition device and vehicle position recognition method | |
| CN110119138A (en) | For the method for self-locating of automatic driving vehicle, system and machine readable media | |
| JP2018501543A (en) | Method and apparatus for identifying the current driving situation | |
| CN104875740B (en) | For managing the method for following space, main vehicle and following space management unit | |
| US11875680B2 (en) | Systems and methods for augmenting perception data with supplemental information | |
| US11238735B2 (en) | Parking lot information management system, parking lot guidance system, parking lot information management program, and parking lot guidance program | |
| CN114518122A (en) | Driving navigation method, driving navigation device, computer equipment, storage medium and computer program product | |
| JP6224344B2 (en) | Information processing apparatus, information processing method, information processing system, and information processing program | |
| US20210048819A1 (en) | Apparatus and method for determining junction | |
| CN112444258A (en) | Method for judging drivable area, intelligent driving system and intelligent automobile | |
| Macfarlane et al. | Addressing the uncertainties in autonomous driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |