KR102374211B1 - 객체 인식 방법 및 이를 수행하는 객체 인식 장치 - Google Patents

객체 인식 방법 및 이를 수행하는 객체 인식 장치 Download PDF

Info

Publication number
KR102374211B1
KR102374211B1 KR1020190134227A KR20190134227A KR102374211B1 KR 102374211 B1 KR102374211 B1 KR 102374211B1 KR 1020190134227 A KR1020190134227 A KR 1020190134227A KR 20190134227 A KR20190134227 A KR 20190134227A KR 102374211 B1 KR102374211 B1 KR 102374211B1
Authority
KR
South Korea
Prior art keywords
data
interest
object recognition
region
neural network
Prior art date
Application number
KR1020190134227A
Other languages
English (en)
Other versions
KR20210050081A (ko
Inventor
이용이
장덕윤
장준환
Original Assignee
주식회사 에스오에스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스오에스랩 filed Critical 주식회사 에스오에스랩
Priority to KR1020190134227A priority Critical patent/KR102374211B1/ko
Priority to US16/685,827 priority patent/US11568654B2/en
Publication of KR20210050081A publication Critical patent/KR20210050081A/ko
Priority to KR1020220029558A priority patent/KR102565778B1/ko
Application granted granted Critical
Publication of KR102374211B1 publication Critical patent/KR102374211B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Abstract

본 발명은 관찰 영역(FoV: Field of View)에 대한 객체 인식을 수행하는 객체 인식 장치로, 관찰 영역에 레이저를 조사하여 반사광을 수신하는 센서로부터 관찰 영역에 대한 데이터를 획득하는 라이다 데이터 획득 모듈 및 인공 신경망을 이용하여 관찰 영역 내 관심 객체에 대한 객체 인식을 수행하는 제어 모듈을 포함하되, 제어 모듈은 관찰 영역에 대해 획득한 인텐시티(intensity) 데이터를 기초로 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 관심 영역 추출 모듈을 포함하고, 관심 영역 데이터에 기초하여 관심 객체에 대한 관심 데이터를 획득하며 인공 신경망을 이용하여 상기 관심 데이터로부터 객체 인식 데이터를 획득함으로써 상기 관찰 영역에 대한 상기 관심 객체를 인식하는 객체 인식 모듈을 포함하는 객체 인식 장치에 관한 발명이다.

Description

객체 인식 방법 및 이를 수행하는 객체 인식 장치 {OBJECT RECOGNITION METHOD AND OBJECT RECOGNITION DEVICE PERFORMING THE SAME}
본 발명은 객체 인식 방법 및 이를 수행하는 객체 인식 장치에 관한 것으로, 보다 상세하게는 관찰 영역에 빛을 조사하여 수신되는 광을 이용하여 관심 영역을 추출하고 관찰 영역 내 관심 객체를 인식하는 객체 인식 방법 및 이를 수행하는 객체 인식 장치에 관한 것이다.
객체 인식 기술 분야에서는 객체를 탐지하고 추적하는 데에 있어 지속적으로 정밀도가 보다 높아지는 것을 요구되는 한편, 객체를 인식하는 시간, 즉 데이터 연산량은 상대적으로 줄어드는 것이 요구되고 있다. 이러한 추세 속에서 객체를 인식하는 장치의 성능 향상과 함께 인공 신경망을 이용하여 장비에 의해 측정된 데이터를 처리하는 기술이 차세대 객체 인식 기술로 각광을 받고 있다.
객체 인식 기술 분야에서는 이미지 전체에 대해 객체 인식을 수행하는 대신, 이미지로부터 객체에 있는 것으로 추정되는 관심 영역을 설정한 뒤 관심 영역에 대해서 객체 인식을 수행하는 방식이 연산량 감소를 위한 방식 중 하나로 이용되고 있으며, 특히 라이다(LiDAR: Light Detection And Ranging or Laser Imaging, Detection And Ranging) 분야에서는 가시광 카메라에서 얻어진 이미지로 관심 영역을 추출한 뒤 해당 관심 영역에 대한 라이다 이미지로부터 객체를 인식하는 멀티 모달 형태의 기법이 주로 활용되고 있다.
그러나, 종래에 복수의 장치를 이용하는 멀티 모달 객체 인식의 경우 장치들 사이의 동기화(synchronization) 또는 캘리브레이션(calibration)이 필요하거나 특정 장치, 예를 들어 RGB 카메라의 경우 야간이나 악천후와 같이 객체의 조도가 낮은 환경에서는 성능이 저하되는 등 객체 인식 효율이나 성능이 어느 한 장치의 성능에 의존적이 되는 한계점을 가지고 있다.
본 발명이 해결하고자 하는 일 과제는, 빛을 이용하는 라이다 장치를 이용하여 관찰 영역에 대해 데이터를 추출하여 관심 객체를 인식하는 객체 인식 방법 및 이를 수행하는 객체 인식 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 단일 센서를 이용하여 관찰 영역에서 관심 영역 추출 및 관심 객체를 인식하는 객체 인식 방법 및 이를 수행하는 객체 인식 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 라이다 장치를 이용하여 관찰 영역에 대한 관심 영역을 설정하고 객체 인식을 수행하는 객체 인식 방법 및 이를 수행하는 객체 인식 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 일 과제는, 라이다 장치에서 측정된 데이터 중 관심 영역에 해당하는 데이터만 이용하여 객체 인식을 수행하는 객체 인식 방법 및 이를 수행하는 객체 인식 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서의 일 양상에 따르면, 관찰 영역(FoV: Field of View)에 대한 객체 인식을 수행하는 객체 인식 장치에 있어서, 상기 관찰 영역에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간 데이터 및 광량 데이터를 포함하는 상기 관찰 영역에 대한 데이터를 획득하는 라이다 데이터 획득 모듈 및 적어도 하나 이상의 인공 신경망을 이용하여 상기 관찰 영역 내 관심 객체에 대한 객체 인식을 수행하는 제어 모듈을 포함하되, 상기 제어 모듈은 상기 광량 데이터에 기초하여 상기 관찰 영역에 대한 인텐시티(intensity) 데이터를 획득하고, 제1 입력 데이터를 입력 받아 상기 제1 입력 데이터 중 미리 설정된 조건을 만족하는 데이터의 범위를 지시하는 데이터를 출력하도록 학습된 제1 인공 신경망을 이용하여 상기 인텐시티 데이터로부터 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 관심 영역 추출 모듈을 포함하고, 상기 비행시간 데이터에 기초하여 상기 관찰 영역에 대한 거리 데이터를 획득하고, 상기 관심 영역 데이터에 기초하여 상기 거리 데이터로부터 관심 데이터를 획득하며, 제2 입력 데이터를 입력 받아 상기 제2 입력 데이터에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망을 이용하여 상기 관심 데이터로부터 객체 인식 데이터를 획득함으로써 상기 관찰 영역에 대한 상기 관심 객체를 인식하는 객체 인식 모듈을 포함하는 객체 인식 장치가 제공될 수 있다.
본 명세서의 다른 양상에 따르면, 관찰 영역(FoV: Field of View)에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간(ToF: Time of Flight) 데이터 -상기 비행시간 데이터는 상기 레이저가 조사된 시점 및 반사광이 수신된 시점에 기초함- 를 획득하여 상기 관찰 영역 내에서 관심 객체를 인식하는 객체 인식 방법에 있어서, 상기 비행시간 데이터에 기초하여 상기 관찰 영역에 대응하는 거리 데이터를 획득하는 단계, 상기 반사광의 광량에 기초하여 상기 관찰 영역에 대한 인텐시티(intensity) 데이터를 획득하는 단계, 제1 입력 데이터를 입력 받아 상기 제1 입력 데이터 중 미리 설정된 조건을 만족하는 데이터의 범위를 지시하는 데이터를 출력하도록 학습된 제1 인공 신경망을 이용하여 상기 인텐시티 데이터로부터 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 단계 및 상기 관심 영역 데이터에 기초하여 상기 거리 데이터로부터 관심 데이터를 획득하고 제2 입력 데이터를 입력 받아 상기 제2 입력 데이터에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망을 이용하여 상기 관심 데이터로부터 객체 인식 데이터를 획득함으로써 상기 관찰 영역에 대한 상기 관심 객체를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면, 관찰 영역(FoV: Field of View)에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간(ToF: Time of Flight) 데이터 및 상기 반사광의 광량 데이터를 획득하여 상기 관찰 영역 내에서 관심 객체를 인식하는 객체 인식 방법에 있어서, 상기 관찰 영역에 분포하는 점들에 대응하며 상기 비행시간 데이터에 기초한 거리 데이터 및 상기 광량 데이터에 기초한 인텐시티 데이터를 포함하는 점 구름(point cloud) 데이터를 획득하는 단계, 상기 점 구름 데이터의 상기 인텐시티 데이터에 기초하여 상기 관찰 영역에 대한 인텐시티 이미지를 획득하는 단계, 제1 이미지를 입력 받아 상기 제1 이미지 중 관심 영역을 지시하는 데이터를 출력하도록 학습된 영역 제안 네트워크 형태의 제1 인공 신경망에 상기 인텐시티 이미지를 입력하여 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 단계 및 상기 관심 영역 데이터에 기초하여 상기 관심 영역 내 위치하는 점들의 거리 데이터에 기초하여 상기 관심 영역에 대응하는 이미지를 획득하고, 제2 이미지를 입력 받아 상기 제2 이미지에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망에 상기 관심 영역에 대응하는 이미지를 입력하여 상기 관찰 영역 내 상기 관심 객체를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 야간이나 악천후와 같이 관찰 영역의 조도가 낮은 환경에서도 관심 객체를 추출하고 객체 인식을 수행할 수 있다.
본 발명에 의하면, 단일 센서 또는 하나의 장치를 이용하는 객체 인식 시스템이 제공되므로, 복수의 센서 또는 복수의 장치를 이용하는 경우 보다 구성이 단순해져 비용이 절감될 수 있다.
단일 센서 또는 하나의 장치를 이용하는 객체 인식 시스템이 제공되므로, 복수의 센서 또는 복수의 장치를 이용하는 경우와 달리 특정 장치에 의한 성능 저하를 방지할 수 있다.
본 발명에 의하면, 하나의 장치를 이용하여 객체 인식을 수행하므로, 복수의 장치를 사용하는 경우와 달리 장치들 간의 캘리브레이션 또는 동기화 과정이 생략되어 객체 인식 속도가 향상될 수 있다.
본 발명에 의하면, 관찰 영역에 해당하는 데이터 중 관심 영역에 해당하는 데이터를 선별하여 선택된 관심 데이터에 대해서만 객체 인식을 수행하므로 전체 데이터에 대해 객체 인식을 수행하는 것보다 객체 인식에 소요되는 시간이 단축될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 명세서의 일 실시예에 따른 객체 인식 시스템을 도시한 도면이다.
도 2 및 도 3은 본 명세서의 일 실시예에 따른 라이다 유닛이 관찰 영역에 대한 데이터를 획득하는 방법에 관한 예시도이다.
도 4는 본 명세서의 일 실시예에 따른 객체 인식 방법에 관한 순서도이다.
도 5는 본 명세서의 일 실시예에 따른 관찰 영역 내 관심 영역을 추출하는 방법에 관한 순서도이다.
도 6 및 도 7은 본 명세서의 일 실시예에 따른 관찰 영역 내 관심 영역을 추출하는 방법에 관한 예시도이다.
도 8은 본 명세서의 일 실시예에 따른 관심 영역을 표시하는 방법에 관한 예시도이다.
도 9는 본 명세서의 일 실시예에 따른 관심 객체에 대한 객체 인식을 수행하는 방법에 관한 예시도이다.
도 10은 본 명세서의 일 실시예에 따른 차량에 탑재된 객체 인식 시스템에 관한 예시도이다.
도 11은 본 명세서의 일 실시예에 따른 관심 영역을 표시하는 방법에 관한 예시도이다.
도 12는 본 명세서의 일 실시예에 따른 차량 내 제스처 인식을 나타내는 예시도이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "유닛", "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서의 일 양상에 따르면, 관찰 영역(FoV: Field of View)에 대한 객체 인식을 수행하는 객체 인식 장치에 있어서, 상기 관찰 영역에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간 데이터 및 광량 데이터를 포함하는 상기 관찰 영역에 대한 데이터를 획득하는 라이다 데이터 획득 모듈 및 적어도 하나 이상의 인공 신경망을 이용하여 상기 관찰 영역 내 관심 객체에 대한 객체 인식을 수행하는 제어 모듈을 포함하되, 상기 제어 모듈은 상기 광량 데이터에 기초하여 상기 관찰 영역에 대한 인텐시티(intensity) 데이터를 획득하고, 제1 입력 데이터를 입력 받아 상기 제1 입력 데이터 중 미리 설정된 조건을 만족하는 데이터의 범위를 지시하는 데이터를 출력하도록 학습된 제1 인공 신경망을 이용하여 상기 인텐시티 데이터로부터 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 관심 영역 추출 모듈을 포함하고, 상기 비행시간 데이터에 기초하여 상기 관찰 영역에 대한 거리 데이터를 획득하고, 상기 관심 영역 데이터에 기초하여 상기 거리 데이터로부터 관심 데이터를 획득하며, 제2 입력 데이터를 입력 받아 상기 제2 입력 데이터에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망을 이용하여 상기 관심 데이터로부터 객체 인식 데이터를 획득함으로써 상기 관찰 영역에 대한 상기 관심 객체를 인식하는 객체 인식 모듈을 포함하는 객체 인식 장치가 제공될 수 있다.
여기서, 상기 제어 모듈은 상기 거리 데이터에 기초하여 상기 인텐시티 데이터를 가공하고, 상기 제1 인공 신경망에 상기 가공된 인텐시티 데이터를 입력하여 상기 관심 영역 데이터를 획득할 수 있다.
또 여기서, 상기 가공된 인텐시티 데이터는 상기 관찰 영역이 포함하는 객체의 반사계수(albedo)에 기초하여 가공될 수 있다.
또 여기서, 상기 제1 인공 신경망 및 제2 인공 신경망은 각각 DNN(Deep Neural Network), CNN(Convolution Neural Network), R-CNN(Regions with CNN), fast R-CNN, faster R-CNN, YOLO(You Only Look Once) 및 SSD(Single Shot Multi-box Detector) 중 적어도 하나를 포함할 수 있다.
또 여기서, 상기 제어 모듈은 상기 인텐시티 데이터에 대해 히스토그램 균일화 및 업샘플링을 수행할 수 있다.
또 여기서, 상기 관심 객체는 이동 수단, 보행자 및 건물을 포함하며, 상기 객체 인식 데이터는 상기 이동 수단, 보행자 및 건물 중 적어도 하나를 상기 관심 객체에 대응시킬 수 있다.
또 여기서, 상기 관찰 영역은 차량 내 적어도 일부를 포함하고, 상기 관심 객체는 상기 차량 내 사용자 신체의 적어도 일부를 포함하며, 상기 제어 모듈은 상기 사용자 신체의 적어도 일부를 인식하여 상기 차량 내 미리 설정된 기능을 수행할 수 있다.
또 여기서, 상기 관찰 영역에 대응하는 이미지를 표시하는 디스플레이를 포함하고, 상기 제어 모듈은 상기 관심 영역 데이터에 기초하여 상기 이미지에 상기 관심 영역이 표시된 이미지를 상기 디스플레이를 통해 출력할 수 있다.
본 명세서의 다른 양상에 따르면, 관찰 영역(FoV: Field of View)에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간(ToF: Time of Flight) 데이터 -상기 비행시간 데이터는 상기 레이저가 조사된 시점 및 반사광이 수신된 시점에 기초함- 를 획득하여 상기 관찰 영역 내에서 관심 객체를 인식하는 객체 인식 방법에 있어서, 상기 비행시간 데이터에 기초하여 상기 관찰 영역에 대응하는 거리 데이터를 획득하는 단계, 상기 반사광의 광량에 기초하여 상기 관찰 영역에 대한 인텐시티(intensity) 데이터를 획득하는 단계, 제1 입력 데이터를 입력 받아 상기 제1 입력 데이터 중 미리 설정된 조건을 만족하는 데이터의 범위를 지시하는 데이터를 출력하도록 학습된 제1 인공 신경망을 이용하여 상기 인텐시티 데이터로부터 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 단계 및 상기 관심 영역 데이터에 기초하여 상기 거리 데이터로부터 관심 데이터를 획득하고 제2 입력 데이터를 입력 받아 상기 제2 입력 데이터에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망을 이용하여 상기 관심 데이터로부터 객체 인식 데이터를 획득함으로써 상기 관찰 영역에 대한 상기 관심 객체를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 수 있다.
본 발명의 또 다른 양상에 따르면, 관찰 영역(FoV: Field of View)에 레이저를 조사하여 반사광을 수신하는 센서로부터 비행시간(ToF: Time of Flight) 데이터 및 상기 반사광의 광량 데이터를 획득하여 상기 관찰 영역 내에서 관심 객체를 인식하는 객체 인식 방법에 있어서, 상기 관찰 영역에 분포하는 점들에 대응하며 상기 비행시간 데이터에 기초한 거리 데이터 및 상기 광량 데이터에 기초한 인텐시티 데이터를 포함하는 점 구름(point cloud) 데이터를 획득하는 단계, 상기 점 구름 데이터의 상기 인텐시티 데이터에 기초하여 상기 관찰 영역에 대한 인텐시티 이미지를 획득하는 단계, 제1 이미지를 입력 받아 상기 제1 이미지 중 관심 영역을 지시하는 데이터를 출력하도록 학습된 영역 제안 네트워크 형태의 제1 인공 신경망에 상기 인텐시티 이미지를 입력하여 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 단계 및 상기 관심 영역 데이터에 기초하여 상기 관심 영역 내 위치하는 점들의 거리 데이터에 기초하여 상기 관심 영역에 대응하는 이미지를 획득하고, 제2 이미지를 입력 받아 상기 제2 이미지에 대한 객체 인식을 수행하도록 학습된 제2 인공 신경망에 상기 관심 영역에 대응하는 이미지를 입력하여 상기 관찰 영역 내 상기 관심 객체를 인식하는 단계를 포함하는 객체 인식 방법이 제공될 수 있다.
본 명세서는 객체 인식 방법 및 이를 수행하는 객체 인식 장치에 관한 것이다. 구체적으로, 본 명세서의 일 실시예에 따르면 라이다를 이용하여 관찰 영역 내 제안되는 관심 영역을 통해 관심 객체를 인식하는 객체 인식 방법 및 이를 수행하는 장치가 제공될 수 있다.
여기서, 라이다(LiDAR: Light Detection And Ranging 또는 Laser Imaging, Detection And Ranging)는 레이저를 관찰 영역(FoV: Field of View)에 조사하여 반사되는 광이 수신되기까지 걸리는 시간 및 강도 등을 측정하여 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성을 감지하는 기술이다.
여기서, 관찰 영역(FoV: Field of View)은 라이다 기술을 이용하여 데이터를 획득하고자 하는 대상 영역이며, 라이다 장치에서 레이저를 조사하는 가상 평면 또는 가상 공간을 의미할 수 있다.
여기서, 관심 영역(RoI: Region of Interest)은 이미지 분석 또는 영상 분석에 있어서 분석 대상을 축소시키기 위해 관찰 영역 내에서 선택되는 일부 영역을 의미할 수 있다.
여기서, 관심 객체(Object of Interest)는 관찰 영역 내에 존재하는 객체 인식의 대상을 의미할 수 있다. 다만, 관심 객체는 포괄적으로 관찰 영역 내에 존재하는 객체 인식 대상뿐만 아니라 라이다 기술을 이용하여 인식하고자 하는 대상 자체를 포함할 수도 있다.
여기서, 객체 인식(Object Recognition)은 대상 객체에 대한 이미지 또는 영상 데이터를 처리하는 것으로 객체 탐지, 객체 인지, 객체 감지, 객체 추적(Object Tracking), 객체 식별(Object classification), 객체 세그멘테이션(Object Segmentation) 또는 객체 분류(Object Identification) 등을 포괄하는 개념으로 본 명세서에서는 객체 인식의 목적에 따라 앞서 나열된 용어들 중 적어도 하나로 대체되거나 앞서 나열된 용어들 중 적어도 하나와 혼용하여 사용될 수 있다.
한편, 이하에서는 본 명세서의 일 실시예에 따른 객체 인식 시스템에 대해 서술하는 데에 있어 라이다 장치를 이용하는 방법을 주로 설명하지만 본 명세서의 발명의 사상이 이에 한정되는 것은 아니며, 라이다 장치를 대신하여 레이더(RaDAR: Radio Detection And Ranging) 장치 또는 RGB 카메라 등 객체 인식에 이용될 수 있는 장치들이 이용될 수 있음은 물론이다.
이하에서는 본 명세서의 일 실시예에 따른 객체 인식 시스템(100)에 관하여 도 1을 참조하여 설명한다.
도 1은 본 명세서의 일 실시예에 따른 객체 인식 시스템(100)을 도시한 도면이다.
도 1을 참조하면, 객체 인식 시스템(100)은 라이다 유닛(1200) 및 분석 유닛(1400)을 포함할 수 있다. 객체 인식 시스템(100)에서 라이다 유닛(1200)은 관찰 영역(200)에 레이저를 조사하여 수신된 반사광에 기초하여 데이터를 획득하고 분석 유닛(1400)이 라이다 유닛(1200)에서 획득된 데이터에 기초하여 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다.
라이다 유닛(1200)은 관찰 영역(200)에 레이저를 조사하고 반사되는 광을 수신할 수 있다. 이 때, 라이다 유닛(1200)은 조사하는 광, 반사되는 광 및 수신된 광의 반사강도에 기초하여 관찰 영역(200)에 대한 데이터를 생성할 수 있다.
구체적으로, 본 명세서의 일 실시예에 따르면, 라이다 유닛(1200)은 광조사 모듈(미도시)을 통해 광을 관찰 영역(200)에 조사하고 광수신 모듈(미도시)을 통해 반사되는 광을 수신하며, 라이다 제어 모듈(미도시) 및 라이다 통신 모듈(미도시)을 통해 수신된 반사광에 기초한 데이터를 분석 유닛(1400)에 제공할 수 있다.
여기서, 관찰 영역(200)에 대한 데이터는 비행시간(ToF: Time of Flight) 데이터, 거리 데이터, 깊이(depth) 데이터 및 반사강도(intensity) 데이터 등을 포함할 수 있다. 관찰 영역(200)에 대한 데이터에 대해서는 추후 구체적으로 서술하도록 한다.
라이다 유닛(1200)은 분석 유닛(1400)과 유/무선으로 통신할 수 있다. 라이다 유닛(1200)은 분석 유닛(1400)으로 관찰 영역(200)에 대한 데이터를 제공할 수 있다.
분석 유닛(1400)은 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다. 구체적으로 분석 유닛(1400)은 라이다 유닛(1200)으로부터 획득한 관찰 영역(200)에 대한 데이터에 기초하여 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다.
분석 유닛(1400)은 통신 모듈(미도시), 메모리(미도시), 입력 모듈(미도시), 출력 모듈(미도시) 및 제어 모듈(미도시)을 포함할 수 있다.
통신 모듈은 외부 기기와 통신을 수행할 수 있다. 분석 유닛(1400)은 통신 모듈을 통해 라이다 유닛(1200)이나 외부 서버와 데이터 송수신을 할 수 있다. 여기서, 통신 모듈은 유/무선 방식을 포함할 수 있다.
메모리는 각종 정보를 저장할 수 있다. 메모리에는 분석 유닛(1400)을 구동하기 위한 운용 프로그램이나 분석 유닛(1400)의 각 구성을 동작시키기 위한 프로그램을 비롯해 분석 유닛(1400)의 동작에 필요한 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 예를 들어, 메모리에는 관찰 영역(200)에 대한 데이터를 가공 및 처리하기 위한 프로그램 및 데이터 분석을 위한 인공 신경망이 저장될 수 있다. 메모리는 분석 유닛(1400)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다.
입력 모듈은 사용자로부터 사용자 입력을 수신할 수 있다. 사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어 질 수 있다. 입력 모듈은 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다.
출력 모듈은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다.
제어 모듈은 분석 유닛(1400)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 모듈은 메모리로부터 데이터 가공 및 분석을 위한 프로그램을 로딩하여 라이다 유닛(1200)으로부터 획득한 데이터를 가공 및 분석하고 그 결과를 출력 모듈을 통해 사용자에게 제공하도록 제어 신호를 생성할 수 있다.
분석 유닛(1400)은 별도의 전원부를 가지거나 유선 혹은 무선으로 외부로부터 전원을 공급받을 수 있으며 전원부를 제어하는 스위치를 별도로 가질 수 있다.
분석 유닛(1400)은 객체 인식을 수행하기 위해 빅데이터(big data), 기계 학습 모델(machine learning model), 인공 지능(artificial intelligence) 또는 인공 신경망(ANN: Artificial Neural Network) 등의 기술을 이용할 수 있다. 예를 들어, 분석 유닛(1400)은 기계 학습된 프로그램을 구동하여 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다. 분석 유닛(1400)에서 객체 인식이 수행되는 예들에 대한 보다 구체적인 설명은 후술하도록 한다.
이상에서 설명한 객체 인식 시스템(100)은 물리적으로 단일한 장치로 제공되거나 복수의 장치로 제공될 수 있다.
예를 들어, 라이다 유닛(1200)과 분석 유닛(1400)은 물리적으로 통합된 단일한 객체 인식 장치로 제공될 수 있다. 또 다른 예로, 라이다 유닛(1200)과 분석 유닛(1400)은 분리된 복수의 장치로 제공될 수 있다.
이 때, 관찰 영역(200)에 대한 데이터 생성, 가공 및 처리와 관찰 영역(200)에 대한 객체 인식은 라이다 유닛(1200) 및 분석 유닛(1400) 중 적어도 어느 하나에서 수행될 수 있다. 예를 들어, 라이다 유닛(1200)에서 관찰 영역(200)에 대한 데이터를 가공하여 관찰 영역(200)에 대한 이미지 또는 영상을 분석 유닛(1400)에 제공하고, 분석 유닛(1400)은 획득한 이미지 또는 영상 데이터를 이용하여 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다. 또 다른 예로, 라이다 유닛(1200)에서 관찰 영역(200)에 대한 데이터를 가공 및 이용하여 객체 인식을 수행할 수 있으며 분석 유닛(1400)을 통해 결과를 디스플레이할 수 있다.
한편, 객체 인식 장치는 분석 유닛(1400)으로 구성될 수 있다. 이 때, 객체 인식 장치는 라이다 데이터 획득 모듈, 관심 영역 추출 모듈 및 객체 인식 모듈을 포함하는 제어 모듈을 포함할 수 있다.
여기서, 라이다 데이터 획득 모듈은, 라이다 유닛(1200)으로부터 관찰 영역(200)에 대한 데이터를 획득하는 모듈이다. 라이다 데이터 획득 모듈은 예를 들어, 상술한 통신 모듈로 구현될 수 있다. 통신 모듈로 구현되는 라이다 획득 모듈은, 라이다 유닛(1200)로부터 라이다 데이터를 통신하여 획득할 수 있다. 다른 예를 들어, 라이다 데이터 획득 모듈은 라이다 유닛(1200)의 광 수신 모듈과 라이다 제어 모듈로 구현될 수 있다.
여기서, 관심 영역 추출 모듈과 객체 인식 모듈은 기능적으로 구분되는 구성 요소로서, 물리적으로는 단일한 하나의 제어 모듈로 제공되거나 또는 물리적으로 분리된 복수의 제어 모듈(CPU, 칩, 전자 회로)로 제공될 수 있다.
도 2 및 도 3은 본 명세서의 일 실시예에 따른 라이다 유닛(1200)이 관찰 영역(200)에 대한 데이터를 획득하는 방법에 관한 예시도이다.
도 2를 참조하면, 라이다 유닛(1200)은 관찰 영역(200)에 레이저를 조사하고 반사광을 수신함으로써 관찰 영역(200)에 대한 데이터를 획득할 수 있다. 구체적으로, 도 3과 같이 라이다 유닛(1200)은 관찰 영역(200)에 조사된 레이저의 반사광이 수신 되는 시점 정보 및 광량에 기초한 반사강도(intensity) 정보를 획득할 수 있다.
여기서, 관찰 영역(200)은 다양한 형상으로 형성될 수 있다. 예를 들어, 관찰 영역(200)은 라이다 유닛(1200)으로부터 일정 거리 이격된 가상 평면 또는 가상 곡면을 포함할 수 있다. 또 다른 예로, 관찰 영역(200)은 라이다 유닛(1200)으로부터 제1 거리 이격된 면과 제2 거리 이격된 면 사이의 가상 공간을 포함할 수 있다. 또 다른 예로, 관찰 영역(200)은 라이다 유닛(1200)으로부터 미리 설정된 수평 각도와 미리 설정된 수직 각도 및 이격 거리에 의해 정의되는 임의의 면 또는 공간을 포함할 수 있다.
한편, 다시 도 2를 참조하면 관찰 영역(200)은 객체(Obj)를 포함할 수 있다. 여기서, 객체(Obj)는 관찰 영역(200) 내 존재하는 물체로 라이다 유닛(1200)으로부터 조사된 광을 반사시킬 수 있다. 예를 들어, 객체(Obj)는 사람, 나무, 이동 수단, 건물 등의 가시적 물체뿐만 아니라 액체, 분자 단위의 기체 등 비가시적 물질 등을 포함할 수 있으며 객체 시스템(100)에서 수행되는 객체 인식의 대상을 포함할 수 있다.
이하에서는 라이다 유닛(1200)이 관찰 영역(200)에 대한 데이터를 획득하는 방법에 대해서 서술한다.
라이다 유닛(1200)은 관찰 영역(200)에 광을 조사하여 수신한 반사광을 기초로 광의 비행시간을 이용하여 거리 데이터를 획득할 수 있다. 구체적으로, 도 2 및 도 3을 참고하면 라이다 유닛(1200)에서 관찰 영역(200)에 광을 조사하는 경우 관찰 영역(200) 내에 위치하는 객체(Obj)에서 조사된 광이 반사하여 라이다 유닛(1200)으로 제공되고, 라이다 유닛(1200)은 광이 조사된 시점 및 반사광이 수신된 시점에 기초하여 광의 비행시간을 산출하여 비행시간 데이터를 생성할 수 있다. 여기서, 다시 도 3을 참조하면, 라이다 유닛(1200)은 수신된 반사광의 반사강도가 반사강도 임계값(Ith) 보다 커지는 경우 반사광이 수신된 것으로 인식하고 반사광의 반사강도가 반사강도 임계값(Ith) 보다 커지는 시점을 기초로 비행시간을 산출할 수 있다. 따라서, 라이다 유닛(1200)은 보다 정확한 반사광 수신 시점을 산출하기 위해 반사광 수신 시점을 측정된 시점보다 앞당겨 산출하거나, 라이다 유닛(1200)이 반사광이 수신된 것으로 인식하기 위한 반사강도 임계값(Ith)을 감소시킬 수 있다.
한편, 라이다 유닛(1200)은 주파수 변조(FMCW: Frequency Modulated Continuous Wave)) 방식 또는 위상 변이(phase shift) 방식으로도 거리 데이터를 획득할 수 있다. 여기서, 주파수 변조 방식은 라이다 유닛(1200)이 관찰 영역(200)에 조사하는 광의 주파수를 변화시키고 수신되는 반사광의 주파수 차이를 측정하여 거리 데이터를 획득하는 방식을 의미할 수 있다. 또 여기서, 위상 변이 방식은 라이다 유닛(1200)이 관찰 영역(200)에 미리 설정된 주파수를 갖는 광을 연속적으로 조사하고 수신되는 반사광의 위상 변화량을 측정하여 거리 데이터를 획득하는 방식을 의미할 수 있다.
라이다 유닛(1200)은 비행시간 데이터를 이용하여 관찰 영역(200)에 대한 거리 데이터 또는 깊이 데이터를 산출하거나 관찰 영역(200)에 대응하는 2D 이미지, 3D 이미지 또는 영상을 생성할 수 있다. 구체적으로, 라이다 유닛(1200)은 비행시간 데이터를 이용하여 관찰 영역(200)을 구성하는 점(point)들의 거리 또는 깊이를 나타내는 데이터들의 집합인 점 구름(point cloud) 이미지 또는 깊이 이미지(depth map)를 생성할 수 있다.
라이다 유닛(1200)은 반사광의 광량에 기초하여 반사강도 데이터를 획득할 수 있다. 구체적으로, 라이다 유닛(1200)은 객체(Obj)로부터 반사된 광의 수신 시점뿐만 아니라 반사광의 반사강도 데이터도 획득할 수 있다. 여기서, 반사강도 데이터는 객체(Obj)가 광을 반사하는 정도에 따라 같은 거리에 있더라도 다르게 측정될 수 있다. 예를 들어, 다시 도 2 및 도 3을 참조하면 제2 객체(Obj2) 및 제3 객체(Obj3)는 라이다 유닛(1200)으로부터 같은 거리만큼 이격되어 있으나 반사광의 반사강도는 제2 객체(Obj2)가 제3 객체(Obj3)보다 크게 측정될 수 있다. 또 다른 예로, 제1 객체(Obj1)는 제2 객체(Obj2) 보다 라이다 유닛(1200)으로부터 짧은 거리에 위치하고 있으나 반사율 차이로 인하여 제2 객체(Obj2)의 반사강도가 더 크게 측정될 수 있다.
한편, 라이다 유닛(1200)은 관찰 영역(200)에 대해 광을 조사하여 수신된 반사광에 기초한 데이터들을 가공하지 않고 분석 유닛(1400)에 제공하여 분석 유닛(1400)에서 필요에 따라 제공받은 데이터를 가공 및 처리하거나, 관찰 영역(200)에 대한 데이터들을 가공 및 처리하여 분석 유닛(1400)에 제공할 수도 있다.
이하에서는 도 4 내지 도 9를 참조하여 라이다 유닛(1200)에서 측정된 관찰 영역(200)에 대한 데이터에 기초하여 분석 유닛(1400)이 객체 인식을 수행하는 방법에 대해 서술한다.
도 4는 본 명세서의 일 실시예에 따른 객체 인식 방법에 관한 순서도이다. 본 명세서의 일 실시예에 따른 분석 유닛(1400)은 라이다 유닛(1200)으로부터 획득한 데이터를 이용하여 관찰 영역(200)에 대한 객체 인식을 수행할 수 있다.
도 4를 참조하면 객체 인식 방법은 분석 유닛(1400)이 라이다 유닛(1200)으로부터 관찰 영역(200)에 대한 데이터를 획득하는 단계(S1100), 관찰 영역(200)에 대한 데이터를 이용하여 거리 데이터를 획득하는 단계(S1200),
관심 영역 데이터를 이용하여 거리 데이터 중 관심 데이터를 획득하는 단계(S1300) 및 인공 신경망을 이용하여 객체 인식을 수행하는 단계(S1400)를 포함할 수 있다.
이하에서는 상술한 각 단계들에 대해서 보다 구체적으로 설명한다.
분석 유닛(1400)은 라이다 유닛(1200)으로부터 관찰 영역(200)에 대한 데이터를 획득할 수 있다(S1100). 여기서, 관찰 영역(200)에 대한 데이터는 라이다 유닛(1200)에서 관찰 영역(200)으로부터 수신한 반사광에 관한 데이터 또는 라이다 유닛(1200)에서 반사광에 관한 데이터를 가공 및 처리한 데이터를 포함할 수 있다. 예를 들면, 분석 유닛(1400)이 획득하는 관찰 영역(200)에 대한 데이터는 비행시간 데이터, 거리 데이터, 깊이 데이터, 반사강도 데이터 및 관찰 영역(200)에 대응하는 점 구름 데이터 또는 이미지 데이터 중 적어도 하나를 포함할 수 있다. 여기서, 점 구름 데이터는 관찰 영역(200)을 형성하는 점들 각각의 거리 데이터를 포함하는 데이터를 의미하거나 관찰 영역(200)을 형성하는 점들 각각의 거리 데이터 및 반사강도 데이터를 포함하는 데이터를 의미할 수도 있다.
분석 유닛(1400)은 관찰 영역(200)에 대한 데이터를 이용하여 거리 데이터를 획득할 수 있다(S1200). 여기서, 거리 데이터는 관찰 영역(200)에 대한 비행시간에 기초한 데이터로, 관찰 영역(200)에 대응하는 2D 또는 3D 이미지로 표시될 수 있다. 한편, 분석 유닛(1400)에서 객체 인식을 수행하기 위해 거리 데이터 외에 깊이 데이터 또는 관찰 영역(200) 내 객체에 대한 정보를 나타내는 데이터가 이용될 수도 있다. 또한, 라이다 유닛(1200)에서 관찰 영역(200)에 대해 측정한 데이터를 가공하여 거리 데이터를 생성하여 분석 유닛(1400)에 제공한 경우 본 단계는 생략될 수 있다.
분석 유닛(1400)은 관찰 영역(200)에 대한 데이터로부터 관심 영역 데이터를 획득할 수 있다(S1300).
여기서, 관심 영역 데이터는 관찰 영역(200) 중 관심 영역을 지시하는 데이터를 포함할 수 있다. 예를 들어, 관심 영역 데이터는 거리 데이터의 적어도 일부를 포함하도록 형성된 관찰 영역(200) 내 관심 영역을 지시하는 좌표값을 포함할 수 있다.
분석 유닛(1400)은 관심 영역 데이터를 획득함으로써 관찰 영역(200) 중 객체 인식을 수행할 영역을 제안할 수 있다. 관찰 영역(200)으로부터 관심 영역 데이터를 획득하는 방법에 대해서는 추후 구체적으로 서술하도록 한다.
분석 유닛(1400)은 관심 영역 데이터를 이용하여 거리 데이터 중 관심 데이터를 획득할 수 있다(S1400). 여기서, 관심 데이터는 객체 인식 시스템(100)에서 객체 인식을 수행하고자 하는 관심 영역에 대한 데이터를 의미할 수 있다. 또는, 관심 데이터는 추후 서술하는 객체 인식을 위한 인공 신경망의 입력 데이터로 이용되는 데이터를 의미할 수 있다. 예를 들어, 분석 유닛(1400)은 관찰 영역(200) 중 관심 영역 데이터가 지시하는 관심 영역에 속하는 거리 데이터를 객체 인식 대상 데이터로 선택할 수 있다.
분석 유닛(1400)은 인공 신경망을 이용하여 객체 인식을 수행할 수 있다(S1400). 구체적으로 인공 신경망의 대표적인 예로는 데이터를 입력받는 입력 레이어, 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에서 데이터를 처리하는 히든 레이어(hidden layer)를 포함하는 딥 러닝 계열의 인공 신경망이 있다. 인공 신경망의 세부적인 예시들로는, 합성곱 인공 신경망(Convolution Neural Network), 순환신경망(Recurrent Neural Network), 심층신경망(Deep Neural Network) 등이 있으며, 본 명세서에서 인공 신경망은 상술된 인공 신경망, 그 외의 다양한 형태의 인공 신경망 및 이들이 조합된 형태의 인공 신경망을 모두 포함하는 포괄적인 의미로 해석되어야 하며, 반드시 딥 러닝 계열이어야만 하는 것도 아니다.
일 예로, 분석 유닛(1400)은 입력 데이터를 입력 받아 입력 데이터에 대한 객체 인식을 수행하도록 학습된 인공 신경망을 이용하여 관심 데이터로부터 객체 인식 데이터를 획득함으로써 관찰 영역(200)에 대한 관심 객체 인식을 수행할 수 있다.
한편, 분석 유닛(1400)은 인공 신경망 모델 외에 최근접 이웃 알고리즘(KNN), 랜덤 포레스트(Random Forest), 서포트 벡터 머신(SVM), 주성 분분석법(PCA) 등이 포함될 수 있으며, 이상에서 언급된 기법들이 앙상블된 형태나 그 외에 다양한 방식으로 조합된 형태까지도 전부 포함할 수 있다. 한편, 인공 신경망을 중심으로 언급되는 실시예들에서 특별한 언급이 없는 한 인공 신경망이 다른 기계학습 모델로 대체될 수 있음을 미리 밝혀둔다.
도 5는 본 명세서의 일 실시예에 따른 관찰 영역(200) 내 관심 영역을 추출하는 방법에 관한 순서도이다.
도 5를 참조하면, 관심 영역 추출 방법은 분석 유닛(1400)이 라이다 유닛(1200)으로부터 반사강도 데이터를 획득하는 단계(S2100), 가상 평면에서 반사강도 이미지를 생성하는 단계(S2200), 전처리 과정을 통해 반사강도 이미지를 가공하는 단계(S2300) 및 인공 신경망을 이용하여 관심 영역 데이터를 획득하는 단계(S2400)를 포함할 수 있다.
이하에서는 상술한 각 단계들에 대해서 보다 구체적으로 설명한다.
분석 유닛(1400)은 라이다 유닛(1200)으로부터 반사강도 데이터를 획득할 수 있다(S2100). 반사강도 데이터는 라이다 유닛(1200)에서 수신한 관찰 영역(200)에 대한 반사광의 반사강도에 기초한 데이터를 의미할 수 있다. 반사강도 데이터는 관찰 영역(200) 내 객체(Obj)로부터 반사되는 광에 기초하므로 광이 반사된 위치 정보를 포함할 수 있다. 예를 들어, 반사강도 데이터는 관찰 영역(200) 내 광을 반사하는 객체(Obj)의 공간 좌표와 반사광의 세기값을 포함할 수 있다.
분석 유닛(1400)은 가상 평면에서 반사강도 이미지를 생성할 수 있다(S2200). 구체적으로, 분석 유닛(1400)은 반사강도 데이터에 기초하여 관찰 영역(200)에 대한 반사강도 이미지(intensity map)을 생성할 수 있다. 여기서, 반사강도 이미지는 2D 이미지 또는 3D 이미지로 표시될 수 있다. 예를 들어, 반사강도 이미지는 관찰 영역(200)에 대한 반사강도 데이터를 라이다 유닛(1200)으로부터 일정 거리 이격되어 있는 가상 평면에 투영하여 생성한 2D 이미지를 포함할 수 있다. 또 다른 예로, 반사강도 이미지는 관찰 영역(200)에 대한 반사강도 데이터를 이용하여 생성한 관찰 영역(200)에 대응되는 3D 이미지 또는 라이다 유닛(1200)으로부터 일정 거리 이격되어 있거나 이격되어 있지 않은 가상 공간에 대응되는 3D 이미지를 포함할 수 있다.
여기서, 반사강도 데이터 또는 반사강도 이미지는 객체(Obj)가 라이다 유닛(1200)으로부터 이격되어 있는 거리 및 객체(Obj)의 반사율 또는 알베도 등 객체(Obj)의 위치, 상태 및 특성 중 적어도 하나를 고려할 수 있다. 예를 들어, 반사강도 데이터는 객체(Obj)의 반사도를 포함할 수 있다. 본 명세서에서 반사강도 데이터는 일반적으로 수신광의 세기값을 직접 반영할 수도 있으나, 반드시 그러해야 하는 것은 아니다. 예를 들어, 반사강도 데이터로부터 관심 영역을 검출하기 위해 반사율이나 재질 등을 이용할 수도 있으며, 이때에는 수신광의 세기값을 거리 데이터에서 얻어진 거리값으로 보정한 결과를 반사강도 데이터로 이용할 수도 있다.
한편, 라이다 유닛(1200)에서 반사강도 데이터에 기초하여 반사강도 이미지를 생성하여 분석 유닛(1400)에 제공하는 경우 앞서 서술한 라이다 유닛(1200)으로부터 반사강도 데이터를 획득하는 단계(S2100) 및 가상 평면에서 반사강도 이미지를 생성하는 단계(S2200)는 생략될 수 있다.
분석 유닛(1400)은 전처리 과정을 통해 반사강도 이미지를 가공할 수 있다(S2300). 구체적으로, 분석 유닛(1400)은 반사강도 이미지의 명도, 채도, 대비, 해상도, 화질 등의 이미지 특성을 변경할 수 있다. 전처리 과정을 통해 가공된 반사강도 이미지는 추후 서술하는 인공 신경망에 의해 객체 인식이 보다 정확히 수행될 수 있다.
분석 유닛(1400)은 히스토그램 변형(histogram modification)을 통해 반사강도 이미지의 밝기, 명도 등을 변경할 수 있다. 여기서 히스토그램 변형은 이미지 각 픽셀값들의 분포를 변경하는 이미지 처리 기법으로, 히스토그램 균일화(histogram equalization) 기법을 포함할 수 있다. 한편, 분석 유닛(1400)은 히스토그램 변형 외에 그레이 스케일 변형(gray-scale modification) 또는 영상 대수(image algebra) 등의 이미지 처리 기법을 이용하여 반사강도 이미지의 밝기, 명도 등을 변경할 수 있다.
분석 유닛(1400)은 업샘플링(upsampling) 기법을 이용하여 반사강도 이미지의 해상도를 증가시켜 화질을 개선할 수 있다. 또는, 분석 유닛(1400)은 보간법(interpolation)을 이용하여 반사강도 이미지의 해상도를 증가시킬 수도 있다.
분석 유닛(1400)은 인공 신경망을 이용하여 관심 영역 데이터를 획득할 수 있다(S2400). 구체적인 예로, 분석 유닛(1400)은 CNN(Convolution Neural Network), R-CNN(Regions with CNN), fast R-CNN, faster R-CNN, YOLO(You Only Look Once) 알고리즘 및 SSD(Single Shot Multi-box Detector) 중 적어도 하나의 인공 신경망을 이용하여 관심 영역 데이터를 획득할 수 있다.
일 예로, 분석 유닛(1400)은 입력 데이터를 입력 받아 입력 데이터 중 미리 설정된 조건을 만족하는 데이터의 범위를 지시하는 데이터를 출력하도록 학습된 인공 신경망을 이용하여 반사강도 데이터 또는 반사강도 이미지로부터 관심 영역 데이터를 획득할 수 있다.
한편, 본 단계에서 이용되는 인공 신경망은 상술한 바와 같이 분석 유닛(1400)이 객체 인식을 수행하기 위해 이용하는 인공 신경망을 포함할 수도 있다.
이하에서는 도 6 내지 도 8을 참조하여 본 명세서의 일 실시예에 따른 분석 유닛(1400)이 관심 영역 데이터를 획득하는 방법에 대해서 서술한다.
도 6 및 도 7은 본 명세서의 일 실시예에 따른 관찰 영역 내 관심 영역을 추출하는 방법에 관한 예시도이다.
도 6을 참조하면, 분석 유닛(1400)은 경계 박스를 이용하여 반사강도 이미지(300)로부터 관심 영역을 추출할 수 있다. 구체적으로, 분석 유닛(1400)은 적어도 하나 이상의 경계 박스를 이용하여 반사강도 이미지(300)를 미리 설정된 방향으로 슬라이딩하여 스캔하고 반사강도 이미지(300)에 영역별 점수를 부여하여 미리 설정된 점수 이상이 되는 영역을 관심 영역으로 추출할 수 있다.
여기서, 반사강도 이미지(300)은 반사강도 데이터에 기초하여 생성된 2D 또는 3D 이미지이거나 전처리 과정을 거쳐 가공된 반사강도 이미지(300)를 포함할 수 있다. 또는, 분석 유닛(1400)은 반사강도 이미지(300)을 대신하여 CNN을 이용하여 반사강도 이미지(300)로부터 획득한 특징 맵(feature map)에 대해 적어도 하나 이상의 경계 박스를 이용하여 관심 영역을 추출할 수 있다.
또 여기서, 분석 유닛(1400)은 반사강도 이미지(300)에 대해 가로, 세로 또는 대각선 방향으로 경계 박스를 슬라이딩 시켜 영역별 점수를 획득할 수 있다.
분석 유닛(1400)이 관심 영역 데이터를 얻기 위해 이용하는 인공 신경망은 상술한 바와 같이 경계 박스를 이용하여 관심 영역을 추출하도록 학습된 인공 신경망을 포함할 수 있다.
도 7을 참조하면, 분석 유닛(1400)은 그리드 셀(310)을 이용하여 반사강도 이미지(300)에서 관심 영역을 추출할 수 있다. 구체적으로, 분석 유닛(1400)은 반사강도 이미지(300)를 적어도 하나 이상의 그리드 셀(310)로 나누고 각 그리드 셀(310)에서 적어도 하나 이상의 객체(Obj)가 있을 것으로 추정되는 경계 박스를 설정하고 점수를 부여한 후 미리 설정된 점수 이상의 점수를 갖는 경계 박스를 관심 영역으로 획득할 수 있다.
여기서, 반사강도 이미지(300)은 반사강도 데이터에 기초하여 생성된 2D 또는 3D 이미지이거나 전처리 과정을 거쳐 가공된 반사강도 이미지(300)를 포함할 수 있다. 또는, 분석 유닛(1400)은 반사강도 이미지(300)을 대신하여 CNN을 이용하여 반사강도 이미지(300)로부터 획득한 특징 맵(feature map)에 대해 적어도 하나 이상의 경계 박스를 이용하여 관심 영역을 추출할 수 있다.
보다 구체적으로, 다시 도 7을 참조하면 분석 유닛(1400)은 반사강도 이미지(300)를 mxn의 그리드 셀(310)로 나누고, 각 그리드 셀(310)에 제1 경계 박스(411) 및 제2 경계 박스(412)를 설정할 수 있다. 이 때, 그리드 셀(310)에 대한 데이터는 데이터 네트워크(311) 형태로 저장될 수 있다. 여기서, 데이터 네트워크(311)는 제1 경계 박스(411)에 대한 제1 경계 박스 데이터(311a), 제2 경계 박스(412)에 대한 제2 경계 박스 데이터(311b) 및 그리드 셀(310)에 대한 클래스(class) 데이터(311c) 등을 포함할 수 있다. 여기서, 경계 박스 데이터는 경계 박스에 대한 데이터로 각 경계 박스의 좌표 및 크기 정보를 포함할 수 있다. 또 여기서, 클래스 데이터(311c)는 그리드 셀(310)이 각 클레스에 해당될 수 있는 확률 정보를 포함할 수 있다.
분석 유닛(1400)은 상술한 바와 같이 각 그리드 셀(310)에서의 경계 박스들을 이용하여 반사강도 이미지(300) 내 관심 영역을 추출하거나 객체(Obj) 분류를 할 수 있다. 이 때, 분석 유닛(1400)이 관심 영역 데이터를 획득하기 위해 이용하는 인공 신경망은 상술한 바와 같이 반사강도 이미지(300)를 그리드 셀(310)로 나누어 관심 영역을 추출하도록 학습된 인공 신경망을 포함할 수 있다.
한편, 분석 유닛(1400)은 상술한 방법 외에 다른 영역 제안 네트워크를 이용하여 반사강도 이미지(300)로부터 관심 영역 데이터를 획득할 수 있음은 물론이다.
이하에서는 도 8 및 도 9를 참조하여 본 명세서의 일 실시예에 따른 관심 영역 데이터를 이용하는 객체 인식 방법에 대해 서술한다.
도 8은 본 명세서의 일 실시예에 따른 관심 영역(500)을 표시하는 방법에 관한 예시도이다.
분석 유닛(1400)은 반사강도 데이터를 이용하여 획득한 관심 영역 데이터를 이용하여 거리 데이터 중 관심 데이터를 선택할 수 있다. 구체적으로, 분석 유닛(1400)은 라이다 유닛(1200)으로부터 획득한 거리 데이터 중 관심 영역 데이터를 이용하여 관심 데이터를 선택할 수 있다. 도 8을 참조하면, 분석 유닛(1400)은 거리 데이터 및 선택된 관심 데이터를 표시하는 관심 영역(500)을 이미지로 출력할 수 있다.
여기서, 거리 데이터는 2D 이미지 또는 3D 이미지로 표시될 수 있다.
또 여기서, 관심 영역(500)은 관심 영역 데이터에 기초하여 관찰 영역(200) 내 관심 객체를 지시하는 영역을 포함하며 관찰 영역(200)에 대한 이미지에서 경계 박스 등으로 표시될 수 있다.
여기서, 관찰 영역(200)에 대한 이미지는 점 구름 이미지, 깊이 이미지, 거리 이미지 등을 포함할 수 있다.
도 8을 참조하면, 관찰 영역(200) 내 관심 객체는 자동차, 보행자 등을 포함하고, 제1 내지 제3 관심 영역(510, 520, 530)이 각각의 관심 객체을 지시하도록 표시될 수 있다.
한편, 본 명세서에 따른 일 예로 관심 영역(500)은 반사강도 데이터로부터 획득된 관심 영역 데이터 외에 RGB 카메라에 의한 이미지 데이터 또는 라이다 유닛(1200) 외의 다른 장비에 의해 측정되어 획득된 관심 영역 데이터에 기초하여 산출될 수도 있다. 이러한 멀티 모달 방식의 경우 거리 데이터와 관심 영역 데이터는 서로 다른 관찰 영역(200)에 대한 정보를 포함할 수 있으므로 관심 데이터를 추출하는 데에 있어서 캘리브레이션(calibration)이 필요할 수 있다. 구체적으로, 거리 데이터 및 관심 영역 데이터가 서로 다른 장비에서 측정된 데이터로부터 획득된 경우 각 데이터의 형식(format), 예를 들어 공간 좌표 등을 일치시킬 필요가 있다. 따라서, 분석 유닛(1400)은 객체 인식을 수행하는 데에 있어서 서로 다른 장비를 이용하는 경우 각 장비가 상호 호환되도록 데이터 형식을 일치시킨 후 관심 데이터를 획득할 수 있다.
다른 예로, 같은 장비를 이용하여 객체 인식을 수행하는 경우, 즉 싱글 모달 방식은 상술한 캘리브레이션 작업은 생략될 수 있다. 예를 들어, 분석 유닛(1400)이 라이다 유닛(1200)으로부터 같은 관찰 영역(200)에 대해 획득한 거리 데이터 및 반사강도 데이터 등을 이용하여 객체 인식을 수행하는 경우 분석 유닛(1400)은 관찰 영역(200)에 대한 반사강도 데이터로부터 획득한 관심 영역 데이터를 이용하여 같은 관찰 영역(200)에 대한 거리 데이터 중 관심 데이터를 선택할 수 있다. 이 때, 객체 인식 시스템(100)의 구성이 단순해짐에 따라 캘리브레이션 작업이 생략됨으로써 객체 인식 시스템(100)의 구조 또는 프로세스 알고리즘이 간소해질 수 있다. 결과적으로, 객체 인식 시스템(100)을 구현하는 데에 소모되는 비용이 절감될 수 있고 객체 인식을 수행하는데 소요되는 시간이 감소할 수 있다.
또 다른 예로, 같은 장비를 이용하는 싱글 모달 객체 인식의 경우 분석 유닛(1400)은 라이다 유닛(1200)으로부터 관찰 영역(200)에 대한 비행시간 데이터에 기초하여 관찰 영역(200)에 대응되는 2D 또는 3D 이미지를 생성하고, 반사강도 데이터에 기초하여 반사강도 이미지(300)를 생성하며, 반사강도 이미지(300)로부터 관심 영역(500)을 추출하되, 상술한 2D 또는 3D 이미지 중 추출된 관심 영역(500)에 대응되는 영역에 대해 객체 인식을 수행할 수 있다.
도 9는 본 명세서의 일 실시예에 따른 관심 객체에 대한 객체 인식을 수행하는 방법에 관한 예시도이다.
도 9를 참조하면, 인공 신경망은 관심 영역(500)에 의해 선택된 관심 데이터를 입력받는 입력 레이어, 객체 인식 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에 배치되는 적어도 하나의 히든 레이어를 포함할 수 있다.
입력 레이어에는 관심 데이터가 입력될 수 있다. 입력 레이어는 복수의 입력 노드를 포함할 수 있다. 입력 노드 각각에는 관심 데이터의 좌표 정보 및 거리 정보 등이 입력될 수 있다.
출력 레이어는 객체 인식 결과를 출력할 수 있다.
예를 들어, 인공 신경망이 이진 분류기(binary classification) 형태로 객체 인식 결과를 출력하는 경우에는 출력 레이어에 하나 또는 두 개의 출력 노드가 포함될 수 있다. 이진 분류기 형태로 결과값을 출력하는 인공 신경망은 주로 관심 객체가 특정 종류의 객체에 해당하는지 여부를 판단할 수 있다.
또 다른 예를 들어, 인공 신경망이 다중 분류기(multi classification) 형태로 객체 인식 결과를 출력하는 경우에는 출력 레이어는 복수 개의 출력 노드를 포함할 수 있다. 다중 분류기 형태로 결과값을 출력하는 인공 신경망은 주로 관심 객체가 복수의 종류의 객체에 해당하는지 여부를 판단할 수 있다.
또 다른 예를 들어, 인공 신경망이 회귀분석(regression) 형태로 진단 결과를 출력하는 경우에는 출력 레이어에는 적어도 하나의 출력 노드가 포함될 수 있다.
인공 신경망은 기 확인된 객체 인식 결과값과 관심 데이터가 서로 태그된 라벨링 데이터를 학습용 데이터셋으로 이용하여 학습될 수 있다. 이에 따라, 충분히 학습된 인공 신경망은 관심 데이터가 입력되면 객체 인식 결과를 출력할 수 있다.
분석 유닛(1400)은 상술한 인공 신경망을 이용하여 관심 영역(500)에 대한 객체 인식을 수행할 수 있다. 구체적으로, 다시 도 9를 참조하면 분석 유닛(1400)은 제1 관심 영역(510)에 의해 선택된 관심 데이터를 인공 신경망의 입력 레이어에 입력하고, 인공 신경망의 히든 레이어 및 출력 레이어를 통해 제1 관심 영역(510)에 의해 선택된 관심 객체가 각 클래스에 해당할 확률값을 획득하여 결과적으로 관심 객체가 사람임을 판단할 수 있다.
이상에서 서술한 객체 인식 시스템(100)은 현대 산업의 다양한 기술 분야에서 활용될 수 있다. 특히, 촬영된 이미지 또는 영상에 포함된 객체에 관한 정보가 필요한 경우 본 명세서의 일 실시예에 따른 객체 인식 시스템(100)이 이용될 수 있다.
이처럼, 관찰 영역(200)에 대한 객체 인식을 수행하여 획득한 관찰 영역(200) 내 존재하는 객체의 정보를 이용하는 대표적인 기술 분야로 자율 주행 기술이 있다.
본 명세서의 일 실시예에 따른 객체 인식 시스템(100)은 차량에 장착되어 차량에 자율 주행에 필요한 정보를 제공할 수 있다. 예를 들어, 객체 인식 시스템(100)은 차량으로부터 미리 설정된 범위를 관찰 영역(200)으로 하고, 관찰 영역(200)에 대한 객체 인식을 수행하고 그로부터 획득한 객체 인식 결과를 차량에 제공하며 차량은 객체 인식 시스템(100)으로부터 객체 인식 결과를 획득하고 이를 이용하여 자율 주행을 수행할 수 있다. 구체적으로, 차량 외부에 탑재된 라이다 유닛(1200)은 차량의 주변에 광을 조사하고 반사광을 수신하여 획득한 관찰 영역(200)에 대한 데이터를 분석 유닛(1400)에 제공하고, 분석 유닛(1400)은 객체 인식을 수행하여 차량 주변에 보행자의 위치, 다른 차량의 위치, 차선 정보, 교통 신호 정보 등 차량의 주행을 위한 정보를 획득하여 차량에 제공할 수 있다.
한편, 객체 인식 시스템(100)의 활용이 상술한 경우에 한정되는 것은 아니며, 이미지 또는 영상 분석이 요구되는 기술 분야에 활용될 수 있음은 물론이다. 예를 들어, 후술하는 바와 같이 객체 인식 시스템(100)은 차량 내부에서 운전자 등의 제스처를 인식하는 데에도 이용될 수 있다.
이하에서는 도 10 내지 도 12를 참조하여 상술한 객체 인식 시스템(100)이 활용되는 경우에 대해 예시적으로 서술한다.
도 10은 본 명세서의 일 실시예에 따른 차량에 탑재된 객체 인식 시스템에 관한 예시도이다. 도 10을 참조하면, 객체 인식 시스템(100)은 차량에 탑재되어 차량 내부에 대한 객체 인식을 수행할 수 있다.
라이다 유닛(1200)은 차량 내부에 탑재되어 관찰 영역(200)에 광을 조사할 수 있다. 구체적으로, 라이다 유닛(1200)은 차량 천장 또는 차량 내 리어 뷰 미러(rear view mirror)에 탑재되어 차량 내부를 관찰 영역(200)으로 하여 객체 인식을 위한 데이터를 획득할 수 있다.
차량 내에서 관찰 영역(200)은 다양하게 설정될 수 있다. 예를 들어, 관찰 영역(200)은 차량 내 탑승자의 제스처를 인식하기 위해 기어를 중심으로 형성되거나 차량 내 운전석과 조수석 사이 공간에 형성될 수 있다. 또 다른 예를 들어, 관찰 영역(200)은 차량 내 각 좌석을 중심으로 형성되거나 차량 내부 전체에 대해 형성될 수도 있다.
라이다 유닛(1200)은 차량 내 관찰 영역(200)에 광을 조사하고 반사광을 수신하여 획득한 관찰 영역(200)에 대한 데이터를 분석 유닛(1400)에 제공할 수 있다.
분석 유닛(1400)은 차량 내 탑재될 수도 있으나 차량 외부의 서버에서 객체 인식을 수행하는 경우 생략될 수 있다. 이 때, 라이다 유닛(1200)은 서버에 관찰 영역(200)에 대한 데이터를 제공하고, 서버는 라이다 유닛(1200)으로부터 획득한 데이터에 기초하여 객체 인식을 수행하고 결과 데이터를 차량에 제공할 수 있다.
도 11은 본 명세서의 일 실시예에 따른 관심 영역을 표시하는 방법에 관한 예시도이다.
도 11을 참조하면, 차량 내 제스처 인식을 수행하기 위해 객체 인식 시스템(100)이 동작할 수 있다. 여기서, 관찰 영역(200)은 운전석과 조수석 사이를 중심으로 형성되고 관심 객체는 운전석 및 보조석에 탑승한 사람의 손을 포함할 수 있다.
분석 유닛(1400)은 라이다 유닛(1200)으로부터 차량 내 관찰 영역(200)에 대한 데이터를 획득하여 객체 인식을 수행할 수 있다. 다시 도 11을 참조하면, 분석 유닛(1400)은 관찰 영역(200)에 대한 데이터에 기초하여 획득한 관심 영역 데이터를 이용하여 차량 내 관찰 영역(200)에 대응하는 이미지에 운전석 및 보조석에 탑승한 사람의 손을 각각 지시하는 제5 및 제6 관심 영역(550, 560)을 표시할 수 있다.
도 12는 본 명세서의 일 실시예에 따른 차량 내 제스처 인식을 나타내는 예시도이다.
분석 유닛(1400)은 관심 객체를 지시하는 관심 영역(500)에 대한 객체 인식을 수행할 수 있다. 구체적으로, 도 12를 참조하면, 분석 유닛(1400)은 라이다 유닛(1200)으로부터 획득한 차량 내 관찰 영역(200)에 대한 거리 데이터 중 제6 관심 영역(560)을 입력 데이터로 인공 신경망에 입력하여 결과 값을 획득할 수 있다.
여기서, 차량 내 제스처 인식에서 분석 유닛(1400)이 획득하는 결과값은 관심 객체 종류 및 관심 객체의 제스처 종류에 관한 값을 포함할 수 있다. 구체적으로, 다시 도 12를 참조하면, 분석 유닛(1400)은 제6 관심 영역(560)에 대해 객체 인식 수행에 따른 결과값을 기초로 관심 객체가 '보조석', '숫자 2'를 의미하는 것으로 판단할 수 있다. 또는 분석 유닛(1400)은 객체 인식 수행으로 획득한 결과값 또는 객체 인식 데이터를 차량을 제어하는 차량 제어 모듈에 제공하고, 차량 제어 모듈은 획득한 객체 인식 데이터를 이용하여 차량 내 적어도 하나의 기능을 제어할 수 있다.
한편, 본 명세서의 일 실시예에 따른 객체 인식 시스템(100)은 차량 내 제스처 인식에 활용되는 것으로 한정되는 것은 아니며, 차량 내/외부뿐만 아니라 이미지 프로세싱이 요구되는 다양한 분야에서 활용될 수 있음은 물론이다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 객체 인식 시스템 200: 관찰 영역
1200: 라이다 유닛 1400: 분석 유닛

Claims (10)

  1. 관찰 영역(FoV: Field of View)에 대한 객체 인식을 수행하는 객체 인식 장치에 있어서,
    상기 관찰 영역에 레이저를 조사하고 수신되는 반사광에 기초하여 상기 관찰 영역에 포함되는 복수의 포인트에 대응하는 포인트 클라우드 데이터 및 인텐시티 데이터를 획득하는 라이다(LiDAR: Light Detection and Ranging) 유닛; 및
    상기 인텐시티 데이터를 이용하여 상기 관찰 영역에서 관심 영역을 구분하는 관심 영역 추출 모듈 및 상기 포인트 클라우드 데이터의 적어도 일부를 이용하여 상기 관심 영역 내 관심 객체를 인식하는 객체 인식 모듈을 포함하는 분석 유닛;을 포함하되,
    상기 관심 영역 추출 모듈은 상기 인텐시티 데이터를 기초로 제1 인공 신경망을 이용하여 상기 관찰 영역 내 상기 관심 영역을 지시하는 관심 영역 데이터를 획득하고,
    상기 객체 인식 모듈은 상기 관심 영역 데이터를 이용하여 상기 복수의 포인트에 대응하는 상기 포인트 클라우드 데이터 중 상기 관심 영역에 대응하는 관심 포인트 클라우드 데이터를 관심 데이터로 획득하고, 상기 관심 데이터를 기초로 제2 인공 신경망을 이용하여 객체 인식 데이터를 획득하는,
    객체 인식 장치.
  2. 제1 항에 있어서,
    상기 관심 영역 추출 모듈은 상기 포인트 클라우드 데이터에 기초하여 상기 인텐시티 데이터를 보정하고, 상기 제1 인공 신경망에 상기 보정된 인텐시티 데이터를 입력하여 상기 관심 영역 데이터를 획득하는,
    객체 인식 장치.
  3. 제2 항에 있어서,
    상기 보정된 인텐시티 데이터는 미리 정해진 객체의 반사계수(albedo)에 기초하여 보정되는
    객체 인식 장치.
  4. 제1 항에 있어서,
    상기 제1 인공 신경망 및 제2 인공 신경망은 각각 DNN(Deep Neural Network), CNN(Convolution Neural Network), R-CNN(Regions with CNN), fast R-CNN, faster R-CNN, YOLO(You Only Look Once) 및 SSD(Single Shot Multi-box Detector) 중 적어도 하나를 포함하는
    객체 인식 장치.
  5. 제1 항에 있어서,
    상기 관심 영역 추출 모듈은 상기 인텐시티 데이터에 대해 히스토그램 균일화 및 업샘플링을 수행하는,
    객체 인식 장치.
  6. 제1 항에 있어서,
    상기 객체 인식 데이터는 이동 수단, 보행자 및 건물 중 상기 관심 객체에 대응하는 객체를 지시하는,
    객체 인식 장치.
  7. 제1 항에 있어서,
    상기 관찰 영역은 차량 내 적어도 일부 영역을 포함하고,
    상기 관심 객체는 상기 차량 내 사용자 신체의 적어도 일부를 포함하며,
    상기 분석 유닛은 상기 사용자 신체의 적어도 일부를 인식하여 상기 차량 내 미리 설정된 기능을 수행하는,
    객체 인식 장치.
  8. 제1 항에 있어서,
    상기 관찰 영역에 대응하는 이미지를 표시하는 디스플레이를 포함하고,
    상기 분석 유닛은 상기 관심 영역 데이터에 기초하여 상기 이미지에 상기 관심 영역이 표시된 이미지를 상기 디스플레이를 통해 출력하는,
    객체 인식 장치.
  9. 제1 항에 있어서,
    상기 제1 인공 신경망은 상기 인텐시티 데이터에 기초한 인텐시티 이미지를 입력 받아 상기 인텐시티 이미지 중 적어도 일부 영역을 지시하는 상기 관심 영역 데이터를 출력하고,
    상기 제2 인공 신경망은 상기 관심 포인트 클라우드 데이터에 기초한 깊이 이미지를 입력 받아 상기 깊이 이미지에서 상기 관심 객체를 지시하는 상기 객체 인식 데이터를 출력하는,
    객체 인식 장치.
  10. 라이다(LiDAR: Light Detection and Ranging) 유닛을 이용하여 관찰 영역(FoV: Field of View)에 대한 객체 인식을 수행하는 객체 인식 방법에 있어서,
    상기 관찰 영역에 레이저를 조사하고 반사광을 수신하고, 상기 반사광에 기초하여 상기 관찰 영역에 포함되는 복수의 포인트에 대응하는 포인트 클라우드 데이터 및 인텐시티 데이터를 획득하는 단계;
    상기 인텐시티 데이터를 기초로 제1 인공 신경망을 이용하여 상기 관찰 영역 내 관심 영역을 지시하는 관심 영역 데이터를 획득하는 단계;
    상기 관심 영역 데이터를 이용하여 상기 복수의 포인트에 대응하는 상기 포인트 클라우드 데이터 중 상기 관심 영역에 대응하는 관심 포인트 클라우드 데이터를 관심 데이터로 획득하는 단계; 및
    상기 관심 데이터를 기초로 제2 인공 신경망을 이용하여 객체 인식 데이터를 획득하는 단계;를 포함하는
    객체 인식 방법.
KR1020190134227A 2019-10-28 2019-10-28 객체 인식 방법 및 이를 수행하는 객체 인식 장치 KR102374211B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190134227A KR102374211B1 (ko) 2019-10-28 2019-10-28 객체 인식 방법 및 이를 수행하는 객체 인식 장치
US16/685,827 US11568654B2 (en) 2019-10-28 2019-11-15 Object recognition method and object recognition device performing the same
KR1020220029558A KR102565778B1 (ko) 2019-10-28 2022-03-08 객체 인식 방법 및 이를 수행하는 객체 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134227A KR102374211B1 (ko) 2019-10-28 2019-10-28 객체 인식 방법 및 이를 수행하는 객체 인식 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220029558A Division KR102565778B1 (ko) 2019-10-28 2022-03-08 객체 인식 방법 및 이를 수행하는 객체 인식 장치

Publications (2)

Publication Number Publication Date
KR20210050081A KR20210050081A (ko) 2021-05-07
KR102374211B1 true KR102374211B1 (ko) 2022-03-15

Family

ID=75586826

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190134227A KR102374211B1 (ko) 2019-10-28 2019-10-28 객체 인식 방법 및 이를 수행하는 객체 인식 장치
KR1020220029558A KR102565778B1 (ko) 2019-10-28 2022-03-08 객체 인식 방법 및 이를 수행하는 객체 인식 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220029558A KR102565778B1 (ko) 2019-10-28 2022-03-08 객체 인식 방법 및 이를 수행하는 객체 인식 장치

Country Status (2)

Country Link
US (1) US11568654B2 (ko)
KR (2) KR102374211B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
KR102364531B1 (ko) 2017-11-15 2022-02-23 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
AU2018432369A1 (en) * 2018-07-17 2021-02-25 Photonic Detection Systems Pty Ltd A detection system for detecting matter and distinguishing specific matter from other matter
CN113705584A (zh) * 2021-08-24 2021-11-26 上海名图软件有限公司 物品差异光变检测系统、检测方法及其应用
US20230266450A1 (en) * 2022-02-21 2023-08-24 OPSYS Tech Ltd. System and Method for Solid-State LiDAR with Adaptive Blooming Correction
KR102596848B1 (ko) * 2022-12-29 2023-11-01 가천대학교 산학협력단 인공지능 기반 재실인원에 따른 에너지 소비량 추정방법, 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
KR101980697B1 (ko) * 2018-05-09 2019-05-22 주식회사 에스오에스랩 객체 정보 획득 장치 및 방법
JP2019100985A (ja) * 2017-12-07 2019-06-24 コニカミノルタ株式会社 ３次元情報取得システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10305861A1 (de) * 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
KR20150112325A (ko) * 2014-03-27 2015-10-07 영남대학교 산학협력단 레이저 스캐너의 신호세기 기반 장애물 인식 장치 및 그 방법
CN109690247A (zh) * 2016-02-17 2019-04-26 赫普塔冈微光有限公司 光电子系统
CN110402399B (zh) * 2017-01-03 2023-07-18 应诺维思科技有限公司 用于检测和分类物体的激光雷达系统和方法
CN107133627A (zh) * 2017-04-01 2017-09-05 深圳市欢创科技有限公司 红外光斑中心点提取方法及装置
WO2018223104A1 (en) * 2017-06-03 2018-12-06 Flir Systems, Inc. Extensible architecture for surveillance and targeting imaging systems and methods
US10390001B2 (en) * 2017-06-27 2019-08-20 He Li ZHOU Rear view vision system for a vehicle
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치
GB2566280B (en) * 2017-09-06 2020-07-29 Fovo Tech Limited A method of modifying an image on a computational device
US10445944B2 (en) * 2017-11-13 2019-10-15 Rockwell Automation Technologies, Inc. Augmented reality safety automation zone system and method
US10671077B2 (en) * 2018-04-17 2020-06-02 Toyota Research Institute, Inc. System and method for full-stack verification of autonomous agents
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
US10755128B2 (en) * 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
US11100347B2 (en) * 2019-03-12 2021-08-24 Ford Global Technologies, Llc Photometric stereo object detection for articles left in an autonomous vehicle
US11828881B2 (en) * 2019-05-30 2023-11-28 Microvision, Inc. Steered LIDAR system with arrayed receiver
US11754682B2 (en) * 2019-05-30 2023-09-12 Microvision, Inc. LIDAR system with spatial beam combining
WO2021014214A2 (en) * 2019-07-19 2021-01-28 Innoviz Technologies Ltd. Antireflective sticker for lidar window
US11076088B2 (en) * 2019-09-24 2021-07-27 Sony Corporation Artificial intelligence (AI)-based control of imaging parameters of image-capture apparatus
US20210114627A1 (en) * 2019-10-17 2021-04-22 Perceptive Automata, Inc. Neural networks for navigation of autonomous vehicles based upon predicted human intents
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
JP2019100985A (ja) * 2017-12-07 2019-06-24 コニカミノルタ株式会社 ３次元情報取得システム
KR101980697B1 (ko) * 2018-05-09 2019-05-22 주식회사 에스오에스랩 객체 정보 획득 장치 및 방법

Also Published As

Publication number Publication date
US20210124960A1 (en) 2021-04-29
KR20210050081A (ko) 2021-05-07
KR102565778B1 (ko) 2023-08-11
US11568654B2 (en) 2023-01-31
KR20220035894A (ko) 2022-03-22

Similar Documents

Publication Publication Date Title
KR102374211B1 (ko) 객체 인식 방법 및 이를 수행하는 객체 인식 장치
US10491885B1 (en) Post-processing by lidar system guided by camera information
US10345447B1 (en) Dynamic vision sensor to direct lidar scanning
US10627512B1 (en) Early fusion of lidar return data with camera information
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US10809081B1 (en) User interface and augmented reality for identifying vehicles and persons
US10837788B1 (en) Techniques for identifying vehicles and persons
US11747444B2 (en) LiDAR-based object detection and classification
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US11783568B2 (en) Object classification using extra-regional context
US20200116841A1 (en) Distance sensor, and calibration method performed by device and system including the distance sensor
US11255958B2 (en) Recognizing radar reflections using velocity information
US11740352B2 (en) Obstacle recognition device, vehicle system including the same, and method thereof
US11965956B2 (en) Recognizing radar reflections using position information
JP2011048485A (ja) 物標検出装置および物標検出方法
CN116710961A (zh) 使用图形切割进行地面分割的方法和系统
US11256013B2 (en) Dynamic matrix filter for vehicle image sensor
JP4753053B2 (ja) 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム
US20200086857A1 (en) Information processing device, vehicle control device, and mobile object control method
EP3931593A1 (en) Recognizing radar reflections using velocity and position information
WO2023009180A1 (en) Lidar-based object tracking
US20210383134A1 (en) Advanced driver assist system and method of detecting object in the same
US11846514B1 (en) User interface and augmented reality for representing vehicles and persons
JP2021021967A (ja) 認識システム、車両制御システム、認識方法、およびプログラム

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant