KR102306083B1 - 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법 - Google Patents

영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법 Download PDF

Info

Publication number
KR102306083B1
KR102306083B1 KR1020210015700A KR20210015700A KR102306083B1 KR 102306083 B1 KR102306083 B1 KR 102306083B1 KR 1020210015700 A KR1020210015700 A KR 1020210015700A KR 20210015700 A KR20210015700 A KR 20210015700A KR 102306083 B1 KR102306083 B1 KR 102306083B1
Authority
KR
South Korea
Prior art keywords
identification target
target image
image
algorithm
area
Prior art date
Application number
KR1020210015700A
Other languages
English (en)
Inventor
박지훈
유현성
왕유승
이상호
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210015700A priority Critical patent/KR102306083B1/ko
Application granted granted Critical
Publication of KR102306083B1 publication Critical patent/KR102306083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법은, 상기 카메라를 통해 상기 차량의 주변 영상을 획득하고, 상기 라이다 센서를 통해 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득하는 단계, 상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계, 상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계 및 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함할 수 있다.

Description

영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법{METHOD AND APPARATUS FOR IDENTIFYING DRIVING AREA OF VEHICLE USING IMAGE AND LIDAR}
본 발명은 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 차량의 자율 주행을 위해, 영상 및 라이다 센서를 이용해 각각 획득한 데이터를 기초로 차량의 주행 가능 영역을 식별할 수 있는 장치 및 방법에 관한 것이다.
최근 차량 관련 기술이 발전함에 따라, 차량이 사람의 조작 없이 자동으로 주행할 수 있는 자율 주행 기술이 주목을 받고 있다. 자율 주행 차량의 주행 시에는 사람의 별도 조작이 입력되지 않으므로, 차량 스스로 주행 가능 영역을 식별할 필요가 있다.
기존에는 자율 주행 차량의 도심지에서의 주행만을 주로 고려하였으며, 구체적으로 도심지에서 차량의 주행 가능 영역을 식별하기 위해, 숲 이나 인도 등 주행이 불가능한 영역을 제외하고 실제 차량이 주행할 수 있는 도로를 식별하는 연구가 진행되어왔다.
한편, 도심지에서의 차량의 주행 가능 영역 식별에는, 신경망을 이용한 영상 분할(Image Segmentation) 및 라이다 분할(Lidar Segmentation) 등의 방법이 각각 이용되고 있으나, 영상 분할의 경우, 날씨에 따른 조도의 변화 및 지면의 색상 변화 등으로 인해 성능 저하가 발생할 수 있으며, 라이다 분할의 경우에도, 지표면의 상태에 따른 반사율 변화 등의 성능 저하 발생이 가능한 단점이 있다.
따라서, 차량의 주행 가능 영역을 식별하기 위해 사용 가능한 영상 분할 및 라이다 분할 각각의 단점을 상호 보완할 수 있고, 도로와 비도로의 구별이 상대적으로 어려운 탓으로 날씨 등에 따른 성능 저하가 더 쉽게 발생할 수 있는 야지 등에서도 이용 가능한 주행 가능 영역 식별 방법 및 장치가 필요한 실정이다.
한국공개특허공보, 10-2020-0017607호 (2020.02.19. 공개)
본 발명이 해결하고자 하는 과제는 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 영상 분할 및 라이다 포인트 클라우드를 모두 이용하여, 도심지가 아닌 야지에서도 주행 가능 영역 식별이 가능한 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 점으로 이루어진 라이다 포인트 클라우드(point cloud)를 면으로 변환하여 차량의 주행 가능 영역을 식별할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법은, 상기 카메라를 통해 상기 차량의 주변 영상을 획득하고, 상기 라이다 센서를 통해 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득하는 단계, 상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계, 상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계 및 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함할 수 있다.
상기 방법에 있어서, 상기 제1 알고리즘은, 참조 영상 및 참조 객체를 입력하면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된 것일 수 있다.
상기 방법에 있어서, 상기 주행 가능 영역을 식별하는 단계는, 상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하는 단계, 상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계 및 상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계를 포함할 수 있다.
상기 방법에 있어서, 상기 제2 알고리즘은, 복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된 것일 수 있다.
상기 방법에 있어서, 상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계는, 영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하는 단계 및 포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성하는 단계를 포함할 수 있다.
상기 방법에 있어서, 상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계는, 상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력하는 단계를 포함할 수 있다.
상기 방법에 있어서, 상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계는, 상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계를 더 포함할 수 있다.
상기 방법에 있어서, 상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계는, 상기 시간별로 누적된 횟수를 카운트(count)하는 단계 및 상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 장치는, 상기 카메라로부터 상기 차량의 주변 영상을 획득하고, 상기 라이다 센서를 통해 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득하는 통신부 및 프로세서를 포함하고, 상기 프로세서는, 상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하고, 상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하고, 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별할 수 있다.
상기 장치에 있어서, 상기 제1 알고리즘은, 참조 영상 및 참조 객체를 입력하면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된 것일 수 있다.
상기 장치에 있어서, 상기 프로세서는, 상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하고, 상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하고, 상기 면 내부의 영역을 상기 주행 가능 영역으로 결정할 수 있다.
상기 장치에 있어서, 상기 제2 알고리즘은, 복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된 것일 수 있다.
상기 장치에 있어서, 상기 프로세서는, 영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하고, 포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성할 수 있다.
상기 장치에 있어서, 상기 프로세서는, 상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력할 수 있다.
상기 장치에 있어서, 상기 프로세서는, 상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력할 수 있다.
상기 장치에 있어서, 상기 프로세서는, 상기 시간별로 누적된 횟수를 카운트(count)하고, 상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 상기 카메라로부터 획득한 상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계, 상기 복수의 객체에 상기 라이다 센서로부터 획득한 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계 및 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서, 상기 컴퓨터 프로그램은, 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고, 상기 방법은, 상기 카메라로부터 획득한 상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계, 상기 복수의 객체에 상기 라이다 센서로부터 획득한 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계 및 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법이 제공될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 영상 분할 및 라이다 포인트 클라우드를 모두 이용하여, 도심지가 아닌 야지에서도 주행 가능 영역 식별이 가능한 장치 및 방법이 제공될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 점으로 이루어진 라이다 포인트 클라우드(point cloud)를 면으로 변환하여 차량의 주행 가능 영역을 식별할 수 있는 장치 및 방법이 제공될 수 있다.
본 발명의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 분할(Image Segmentation) 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 획득 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 분할 결과 및 라이다 포인트 클라우드의 맵핑을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 식별 대상 영상에 alpha shape 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 주행 가능 영역 식별 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 주행 가능 영역 식별 장치를 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 사용되는 '…부', '…기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 분할(Image Segmentation) 방법을 설명하기 위한 도면이다.
도 1(a)는 차량에 부착된 카메라를 통해 촬영한 차량의 전방 영상을 도시하고, 도 1(b)는 상기 전방 영상에 일 실시예에 따른 영상 분할을 적용한 결과를 도시한다.
영상 분할은 인공 신경망을 활용하여, 입력 영상에 의미적 분할(Semantic Segmentation)을 수행하고, 영상 내에 포함된 적어도 하나 이상의 객체를 의미적 분류(Semantic Classification)하는 알고리즘을 의미할 수 있다. 이때, 상기 인공 신경망은 예를 들어 CNN(Convolutional Neural Network)일 수 있다.
의미적 분할은, 입력된 영상 내에서 의미를 갖는 객체를 적어도 하나 이상 찾아내어 분할하는 작업을 의미할 수 있으며, 의미적 분류는, 분할된 객체들을 이용하여, 유사한 의미를 갖는 적어도 하나 이상의 객체 집단으로 분류하는 작업을 의미할 수 있다.
즉, 영상 분할은, 참조 영상 및 참조 객체가 입력될 경우, 상기 참조 영상 내에 포함된 적어도 하나 이상의 객체가 분류되어 출력되도록 기 학습된 알고리즘을 의미할 수 있다.
도 1(a)를 참조하면, 차량이 도로를 주행하면서 차량에 부착된 카메라를 통해 촬영된 전방 영상이 도시되어 있는데, 이러한 전방 영상이 영상 분할 알고리즘에 입력될 수 있다. 그 결과, 도 1(b)에 도시된 바와 같이, 적어도 하나 이상의 객체(Semantic Class)가 출력될 수 있다. 예를 들어, 도 1(b)를 참조하면, 각 객체는 도로, 전봇대 및 산일 수 있다.
한편, 상기 전방 영상의 촬영을 위한 차량에 부착된 카메라는 CCD(Charge-Coupled Device)카메라일 수 있으나, 반드시 이에 제한되는 것은 아니다. 또한, 일 실시예에 따른 영상 분할은 차량의 전방 영상뿐 아니라 후방 및 측방 영상에도 동일하게 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 포인트 클라우드 획득 방법을 설명하기 위한 도면이다.
도 2(a) 및 도 2(b)에는 라이다 센서를 통해 획득한 차량 주변의 적어도 하나 이상의 포인트 클라우드가 도시되어 있다.
라이다(Lidar) 센서는 레이저를 방사하여, 주변 대상 물체에 레이저가 반사되어 돌아오는 것을 받아 주변 물체까지의 거리 등을 측정함으로써 주변의 모습을 정밀하게 그려낼 수 있는 장치이다.
도 2(a) 및 도 2(b)를 참조하면, 차량 주변의 물체(예: 산, 나무, 도로 등)에 발사된 레이저가 반사되어 획득된 적어도 하나 이상의 포인트 클라우드가 도시되어 있는데, 각 포인트 클라우드는 차량에 탑재된 라이다 센서로부터 거리가 가까운 순서대로 각각 노란색, 초록색 및 파란색으로 표시되어 있다.
도 3은 본 발명의 일 실시예에 따른 영상 분할 결과 및 라이다 포인트 클라우드의 맵핑을 설명하기 위한 도면이다.
도 3(a)를 참조하면, 차량의 전방 영상에 의미적 분할이 수행되어, 적어도 하나 이상의 객체로 분류된 전방 영상에, 라이다 포인트 클라우드가 맵핑되어 있다. 라이다 포인트 클라우드는, 포인트로 구성되어 있으므로, 각 점의 위치가 포인트 좌표계 (x, y, z)로 표현될 수 있어, 위치를 알기 용이한 장점이 있다.
한편, 도 3(a)에 도시된 바와 같이, 적어도 하나 이상의 객체를 포함하는 전방 영상에 라이다 포인트 클라우드가 맵핑됨으로 인해, 각 객체(영역)를 구성하는 복수개의 포인트의 좌표를 알 수 있는 효과가 존재한다. 구체적으로, 도 3(a)에는, 차량이 주행 가능한 영역으로 판단된 도로가 파란색으로, 그 외의 주행이 불가능한 영역은 각각 연두색, 초록색 및 보라색 등으로 도시되어 있음을 알 수 있다. 이때, 각 라이다 포인트 클라우드가 각 영역에 맵핑되어 있으므로, 각 영역의 (x, y, z) 좌표를 알 수 있다. 이때, 본 명세서에서 상기 포인트 클라우드가 전방 영상에 맵핑된 영상은 식별 대상 영상으로 불릴 수 있다.
영상 분할이 적용된 적어도 하나 이상의 객체를 포함하는 차량의 주변 영상은 영상 좌표계로 표현되어 있으므로, 포인트 클라우드가 상기 주변 영상에 맵핑되기 위해서는, 좌표계 변환이 필요한데, 이 때, 좌표계를 변환하는 과정은 캘리브레이션(calibration)으로 불릴 수 있다. 즉, 적어도 하나 이상의 객체를 포함하는 전방 영상에 라이다 포인트 클라우드를 맵핑하기 위해, 영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하고, 포인트 좌표계로 표현된 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 포인트로 구성된 식별 대상 영상이 생성될 수 있다.
그리고, 객체를 구성하는 각 포인트의 좌표 (x, y, z) 중, z 좌표를 제외하고 (x, y) 좌표만을 이용할 경우, 도 3(b)에 도시된 바와 같은 BEV(Bird Eye View) 영상이 획득될 수 있다. BEV 영상은, 전방 영상이 하늘에서 쳐다본 각도의 영상으로 변환된 영상을 의미할 수 있다.
도 3(b)에 도시된 BEV 영상을 참조하면, 주행 가능 영역은 적어도 하나 이상의 포인트로 구성된 하얀색으로, 그 외에 주행 불가능 영역은 검은색으로 도시되어 있다.
즉, 상술한 바와 같이, 일 실시예에 의할 경우, 영상 분할 방법에 라이다 포인트 클라우드가 맵핑됨으로써 차량의 카메라로부터 획득된 차량의 주변 영상(예: 전방 영상)에 존재하는 각 객체의 위치가 (x, y, z) 좌표로 표현될 수 있으며, 그에 따라 BEV 영상이 획득될 수 있어 차량의 주행 가능 영역 식별이 보다 용이할 수 있다.
한편, 도시하지는 않았으나, 상술한 실시예의 변형예로, 주행 가능 영역의 식별을 위해 상기 영상 분할 방법에 라이다 포인트 클라우드를 맵핑하지 않고, 라이다 센서만을 통해 라이다 분할(Lidar Segmentation)을 수행할 수도 있다.
라이다 분할은 인공 신경망을 활용하여, 포인트 클라우드에 의미적 분할(Semantic Segmentation)을 수행하고, 각 포인트 클라우드 내에 포함된 적어도 하나 이상의 객체를 의미적 분류(Semantic Classification)하는 알고리즘을 의미할 수 있다.
의미적 분할은, 입력된 포인트 클라우드 내에서 의미를 갖는 객체를 적어도 하나 이상 찾아내어 분할하는 작업을 의미할 수 있으며, 의미적 분류는, 분할된 객체들을 이용하여, 유사한 의미를 갖는 적어도 하나 이상의 객체 집단으로 분류하는 작업을 의미할 수 있다.
이때, 상기 인공 신경망은 예를 들어 CNN(Convolutional Neural Network)일 수 있다. 한편, 라이다 분할은 반사되는 레이저를 통해 구현 가능하므로, 상술한 영상 분할과는 달리, 레이저를 통해 반사되지 않는 하늘은 객체로 분류될 수 없다.
즉, 라이다 분할은, 참조 포인트 클라우드 및 참조 객체가 입력될 경우, 상기 참조 포인트 클라우드 내에 포함된 적어도 하나 이상의 객체가 분류되어 출력되도록 기 학습된 알고리즘을 의미할 수 있어, 각 포인트 클라우드가 주행 가능 영역인지 식별할 수 있다. 라이다 포인트 클라우드는 그 자체로 (x, y, z) 좌표를 가지므로, 상술한 실시예와 동일한 형태의 BEV 영상의 획득이 가능한 장점이 있다. 그러나, 라이다 센서만을 활용하게 되므로, 지표면의 상태에 따른 반사율이 변화할 경우, 카메라와 함께 주행 가능 영역을 식별하는 상술한 실시예보다 성능이 저하될 수 있다.
한편, 상기 변형예에서 속도 개선을 위해, 일부 포인트 클라우드만을 라이다 분할 알고리즘에 입력할 수 있다. 예를 들어, 관심 영역(ROI, Region Of Interest)를 별도로 지정하여, 차량의 위치를 기준으로 좌우 15m, 전방 30m 내에 위치하는 포인트 클라우드만을 라이다 분할 알고리즘에 입력할 수 있다. 상술한 일 실시예에 따른 라이다 분할을 통해 생성된 영상 또한 식별 대상 영상으로 불릴 수 있다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 식별 대상 영상에 alpha shape 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.
일 실시예에 따르면, 소정의 알고리즘을 통해 영상 분할 또는 라이다 분할을 통해 식별된 주행 가능 영역에 대해, 각 포인트를 포함하는 면으로 식별된 영역으로 변환할 수 있다. 예를 들어, 상기 소정의 알고리즘은 alpha shape 알고리즘일 수 있다.
alpha shape 알고리즘은, 주어진 임의의 점들에 대해, 해당 점들을 둘러싸는 도형을 도출하는 알고리즘일 수 있다. 즉, 일 실시예에 의할 경우, 복수 개의 참조 포인트 클라우드가 입력될 경우, 상기 참조 포인트 클라우드를 둘러싸는 도형을 출력하도록 기 학습된 알고리즘일 수 있다.
구체적으로, alpha shape 알고리즘은 α 파라미터를 이용하는데, 소정의 두 점 사이에 1/α 크기의 반지름을 갖는 임의의 원을 그렸을 때, 상기 원에 다른 점이 포함되지 않는 경우에 상기 두 점을 잇는 선분이 출력되어, 기 생성된 도형에 포함됨으로써 새로운 도형이 출력될 수 있다.
도 4(a)를 참조하면, 상술한 영상 분할 또는 라이다 분할을 통해 생성된 식별 대상 영상이 BEV로 변환된 영상이 도시되어 있다. 이때, 주행 가능 영역은 하얀색 포인트 클라우드로 구성되어 있으며, 주행 불가능 영역은 검은색 포인트 클라우드로, 주행 가능 여부를 알 수 없는 영역은 회색 포인트 클라우드로 구성되어 있다.
이때, 상기 하얀색 포인트 클라우드로 구성된 주행 가능 영역은 일 실시예에 따른 alpha shape 알고리즘에 입력되어, 도 4(b)와 같이, 상기 포인트 클라우드를 포함하는 도형(면)이 출력될 수 있다. 일 실시예에 의할 경우, 상기 출력된 면 내부의 영역이 최종적으로 차량의 주행 가능 영역으로 결정될 수 있다.
일 실시예에 따른 주행 가능 영역의 결정은, alpha shape 알고리즘을 통해 생성된 면을 포함하는 영상에 일정 수치가 부여됨으로써 수행될 수 있다. 예를 들어, 상기 영상에 0에서 255까지의 수치가 부여되어 주행 가능 영역인지 여부가 256가지의 scale로 표현될 수 있다. 또는 다른 예로, 보다 간단하게 0, 0.5, 1의 세가지 수치가 부여되어 주행 가능 영역에는 1이 부여되고, 주행 불가능 영역에는 0이 부여되고, 주행 가능 여부를 알 수 없는 영역에는 0.5가 부여될 수 있다.
일 실시예에 따라 alpha shape 알고리즘을 적용할 때, 알고리즘 수행 속도를 향상시키기 위해 주행 가능 영역에 해당하는 하얀색 포인트 클라우드 중 일부만을 임의로 알고리즘에 입력할 수 있다. 예를 들어, 차량 진행 방향에서 가장 가까운 곳부터 소정의 거리만큼 떨어진 영역까지만이 상기 알고리즘에 입력될 수 있다. 도 4(a) 및 도 4(b)의 경우, 도면의 하단부분이 차량이 위치하는 곳일 수 있으며, 차량은 하얀색 포인트 클라우드가 도시된 방향으로 진행하는 것일 수 있다. 한편, 상기 포인트 클라우드 중 일부만을 알고리즘에 입력하는 예시는, 상술한 바에 한정되지 않는다.
상기 일부만을 임의로 알고리즘에 입력할 경우, 입력된 일부 포인트 클라우드에 해당하는 부분만 면으로 변환되어 출력되므로, 전체적인 알고리즘 수행 속도가 향상될 수 있다.
그러나, 상술한 바와 같이 일부 포인트 클라우드만이 알고리즘에 입력될 경우, 알고리즘의 수행 속도는 빠를 수 있으나, 주행 가능 영역의 일부 영역이 제대로 포함되지 않을 수 있으므로, 이를 시간에 따라 누적함으로써 정확도를 높이는 방법이 요구된다. 이하, 도 5에서 구체적으로 설명한다.
도 5에는 일 실시예에 따라 주행 가능 영역에 해당하는 하얀색 포인트 클라우드 중 일부만이 임의로 alpha shape 알고리즘에 입력될 때, 식별된 주행 영역에 대하여 시간에 따라 누적하여 면을 출력하는 일 예시가 도시되어 있다.
구체적으로, 도 5(a) 내지 (d)는, 각각 차량이 진행함에 따라 새롭게 생성되는 식별 대상 영상일 수 있는데, 상기 도 5 (a) 내지 (d)에 해당하는 식별 대상 영상이 시간에 따라 누적되어 도 5(e)에 도시된 바와 같이 출력될 수 있다. 각 포인트 클라우드에는 위치별 좌표가 존재할 수 있으므로, 이를 이전 시간에 생성된 식별 대상 영상과 누적하여, 매 시간 별 결과를 전체적으로 누적하는 global map이 생성될 수 있다. 한편, 상기 global map은, 일 실시예에 따른 주행 가능 영역 식별 장치에 저장될 수 있다.
일 실시예에 따라 면으로 구성된 식별 대상 영상을 통해 주행 가능 영역을 식별할 경우, 상술한 바와 같이 시간별로 식별 대상 영상을 누적하여 주행 가능 영역을 식별할 수 있으며, 이때, 시간 향상 및 정확도 향상을 위해, 별도로 주행 가능 영역 식별 장치 내에 식별 대상 영상의 픽셀 별 입력 횟수를 저장해두어 재귀적으로 주행 가능 영역을 식별할 수 있다.
구체적으로, 주행 영역 전체에 대해 각 시간별 데이터를 모두 메모리에 저장하고, 이를 매번 평균하여 주행 가능 영역을 식별하는 것은, 계산량의 오버헤드가 발생할 확률이 높다. 따라서, 모든 주행 영역, 즉, 식별 대상 영상에 대하여 각 픽셀 별로 정보가 들어온 횟수를 카운트(count)하고, 기존에 계산된 데이터(old_acc_date) 및 상기 카운트를 활용하여, 새로 들어온 데이터를 계산하는 방법이 이용될 수 있다. 상기 방법은 아래와 같은 수학식 1로 표현될 수 있다.
[수학식 1]
Figure 112021014252416-pat00001
상기 수식에서, count는 식별 대상 영상에 대해 각 픽셀 별로 정보가 들어온 횟수를 의미하고, old_acc_data는 기존에 계산된 데이터를, new_data는 새롭게 입력된 데이터를 의미할 수 있다. 그리고, new_acc_data는, 새롭게 입력된 데이터가 기존에 계산된 데이터에 반영되어 새롭게 누적된 데이터를 의미할 수 있다.
한편, 상기 데이터는 상술한 바와 같이, 예를 들어 0에서 255의 256개의 scale을 갖는 수치일 수 있으며, 보다 간단하게는 0, 0.5, 1 세 개의 scale을 갖는 수치일 수 있으나, 반드시 이에 제한되는 것은 아니다.
상기 수식과 같이 재귀적으로 데이터를 계산할 경우, 속도가 개선되고, 정확도가 높아질 수 있으므로, 실시간 차량의 주행에 활용 가능한 장점이 있다. 이하, 본 발명의 일 실시예에 따른 주행 가능 영역 식별 방법 및 장치에 대해 자세히 설명한다.
도 6은 본 발명의 일 실시예에 따른 주행 가능 영역 식별 방법을 설명하기 위한 흐름도이다.
도 6에 도시된 주행 가능 영역 식별 방법은, 후술할 주행 가능 영역 식별 장치에 의해 수행될 수 있으며, 도 1 내지 도 5에서 설명한 내용은 도 6과 관련된 설명에도 동일하게 적용될 수 있다.
도 6을 참조하면, 주행 가능 영역 식별 장치는, 카메라를 통해 차량의 주변 영상을 획득하고, 라이다 센서를 통해 차량 주변의 복수의 포인트 클라우드를 획득할 수 있다(S601). 이때, 주변 영상은 차량의 전방 영상일 수 있으나, 반드시 이에 제한되는 것은 아니다.
또한, 주행 가능 영역 식별 장치는, 주변 영상을 영상 분할 알고리즘에 입력하여, 복수의 객체로 분할된 주변 영상을 출력할 수 있다(S602). 영상 분할 알고리즘은, CNN(Convolutional Neural Network)를 포함할 수 있으며, 참조 영상 및 참조 객체가 입력되면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된 알고리즘일 수 있다.
또한, 주행 가능 영역 식별 장치는, 복수의 객체에 복수의 포인트 클라우드를 맵핑하여, 포인트로 구성된 식별 대상 영상을 생성할 수 있다(S603).
상기 맵핑을 수행하기 위해, 주행 가능 영역 식별 장치는, 영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환할 수 있다. 또한, 주행 가능 영역 식별 장치는, 포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성할 수 있다.
또한, 주행 가능 영역 식별 장치는, 식별 대상 영상에서 주행 가능 영역을 식별할 수 있다(S604).
상기 주행 가능 영역을 식별할 때, 주행 가능 영역 식별 장치는, 식별 대상 영상을 BEV(Bird Eye View)로 변환하고, 상기 변환된 식별 대상 영상을 소정의 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력할 수 있다. 또한, 상기 면 내부의 영역을 상기 주행 가능 영역으로 식별 및 결정할 수 있다. 이때, 상기 소정의 알고리즘은 복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된 alpha shape 알고리즘일 수 있다.
이때, 상기 주행 가능 영역 식별 장치는, 상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 alpha shape 알고리즘에 입력할 수 있다.
또한, 상기 주행 가능 영역 식별 장치는, 상기 alpha shape 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력할 수 있다.
그리고, 상기 주행 가능 영역 식별 장치는, 상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하기 위해, 상기 시간별로 누적된 횟수를 카운트(count)하고, 상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 주행 가능 영역 식별 장치를 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에 따른 주행 가능 영역 식별 장치(700)는, 통신부(710) 및 프로세서(720)를 포함할 수 있으나, 반드시 이에 제한되는 것은 아니고, 차량의 주행 가능 영역을 식별하기 위해 필요한 모듈을 더 포함할 수 있다.
한편, 카메라 및 라이다 센서는, 차량에 탑재되어 상기 통신부(710)가 상기 카메라 및 상기 라이다 센서로부터 정보를 수신하여 이용할 수 있다. 또는, 상기 카메라 및 상기 라이다 센서가 상기 주행 가능 영역 식별 장치(700)에 포함될 수도 있다.
통신부(710)는, 차량에 탑재된 카메라로부터 상기 차량의 주변 영상을 획득하고, 차량에 탑재된 라이다 센서로부터 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득할 수 있다.
프로세서(720)는, 상기 주변 영상을 영상 분할 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하고, 상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하고, 상기 식별 대상 영상에서 상기 주행 가능 영역을 식별할 수 있다. 상기 영상 분할 알고리즘은, CNN(Convolutional Neural Network)를 포함할 수 있으며, 참조 영상 및 참조 객체를 입력하면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된 것일 수 있다.
한편, 프로세서(720)는, 상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하고, 상기 변환된 식별 대상 영상을 소정의 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하고, 상기 면 내부의 영역을 상기 주행 가능 영역으로 결정할 수 있다. 이때, 상기 소정의 알고리즘은 복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된 것으로, 예를 들어 alpha shape 알고리즘일 수 있다.
그리고, 프로세서(720)는, 영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하고, 포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성할 수 있다. 이때, 프로세서(720)는, 상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 소정의 알고리즘에 입력할 수 있다.
또한, 프로세서(720)는, 상기 소정의 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력할 수 있다.
그리고, 프로세서(720)는, 상기 시간별로 누적된 횟수를 카운트(count)하고, 상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정할 수 있다.
한편, 전술한 다양한 실시예들에 따른 주행 가능 영역 식별 방법은 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현 가능하고, 또한 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태로 구현될 수도 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
700: 주행 가능 영역 식별 장치
710: 통신부
720: 프로세서

Claims (18)

  1. 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법에 있어서,
    상기 카메라를 통해 상기 차량의 주변 영상을 획득하고, 상기 라이다 센서를 통해 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득하는 단계;
    상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계;
    상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계; 및
    상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함하고,
    상기 주행 가능 영역을 식별하는 단계는,
    상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하는 단계;
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계; 및
    상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계를 포함하고,
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계는,
    상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력하는 단계; 및
    상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계를 포함하는
    주행 가능 영역 식별 방법.
  2. 제1항에 있어서,
    상기 제1 알고리즘은,
    참조 영상 및 참조 객체를 입력하면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된
    주행 가능 영역 식별 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 알고리즘은,
    복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된
    주행 가능 영역 식별 방법.
  5. 제1항에 있어서,
    상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계는,
    영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하는 단계; 및
    포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성하는 단계를 포함하는
    주행 가능 영역 식별 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계는,
    상기 시간별로 누적된 횟수를 카운트(count)하는 단계; 및
    상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정하는 단계를 포함하는
    주행 가능 영역 식별 방법.
  9. 카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 장치에 있어서,
    상기 카메라로부터 상기 차량의 주변 영상을 획득하고, 상기 라이다 센서를 통해 상기 차량 주변의 복수의 포인트 클라우드(point cloud)를 획득하는 통신부; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하고,
    상기 복수의 객체에 상기 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하고,
    상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하고,
    상기 프로세서는,
    상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하고,
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하고,
    상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하고,
    상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력하고,
    상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는
    주행 가능 영역 식별 장치.
  10. 제9항에 있어서,
    상기 제1 알고리즘은,
    참조 영상 및 참조 객체를 입력하면, 복수의 객체로 분할된 상기 참조 영상이 출력되도록 기 학습된
    주행 가능 영역 식별 장치.
  11. 삭제
  12. 제9항에 있어서,
    상기 제2 알고리즘은,
    복수 개의 참조 포인트를 입력하면, 상기 참조 포인트를 둘러싸는 면을 출력하도록 기 학습된
    주행 가능 영역 식별 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    영상 좌표계로 표현된 상기 객체의 좌표계를 포인트 좌표계로 변환하고,
    포인트 좌표계로 표현된 상기 복수의 포인트 클라우드를 상기 포인트 좌표계로 변환된 객체에 맵핑하여, 상기 포인트로 구성된 식별 대상 영상을 생성하는
    주행 가능 영역 식별 장치.
  14. 삭제
  15. 삭제
  16. 제9항에 있어서,
    상기 프로세서는,
    상기 시간별로 누적된 횟수를 카운트(count)하고,
    상기 면 내부의 영역을 기 출력된 상기 변환된 식별 대상 영상 및 상기 카운트 결과에 기초하여 재귀적으로 계산하여 상기 주행 가능 영역으로 결정하는
    주행 가능 영역 식별 장치.
  17. 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    상기 카메라로부터 획득한 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계;
    상기 복수의 객체에 상기 라이다 센서로부터 획득한 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계; 및
    상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함하고,
    상기 주행 가능 영역을 식별하는 단계는,
    상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하는 단계;
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계; 및
    상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계를 포함하고,
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계는,
    상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력하는 단계; 및
    상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계를 포함하는
    컴퓨터 프로그램.
  18. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능한 기록 매체로서,
    상기 컴퓨터 프로그램은,
    카메라 및 라이다 센서가 탑재된 차량의 주행 가능 영역을 식별하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하고,
    상기 방법은,
    상기 카메라로부터 획득한 주변 영상을 제1 알고리즘에 입력하여, 복수의 객체로 분할된 상기 주변 영상을 출력하는 단계;
    상기 복수의 객체에 상기 라이다 센서로부터 획득한 복수의 포인트 클라우드를 맵핑(mapping)하여, 포인트로 구성된 식별 대상 영상을 생성하는 단계; 및
    상기 식별 대상 영상에서 상기 주행 가능 영역을 식별하는 단계를 포함하고,
    상기 주행 가능 영역을 식별하는 단계는,
    상기 식별 대상 영상을 BEV(Bird Eye View)로 변환하는 단계;
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계; 및
    상기 면 내부의 영역을 상기 주행 가능 영역으로 결정하는 단계를 포함하고,
    상기 변환된 식별 대상 영상을 제2 알고리즘에 입력하여, 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계는,
    상기 변환된 식별 대상 영상 중 상기 차량으로부터 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상만을 상기 제2 알고리즘에 입력하는 단계; 및
    상기 제2 알고리즘에 입력된 상기 소정 거리 미만에 위치하는 상기 포인트로 구성된 식별 대상 영상을 상기 차량이 주행함에 따라 시간별로 누적하여 상기 면으로 구성된 상기 변환된 식별 대상 영상을 출력하는 단계를 포함하는
    컴퓨터 판독 가능한 기록 매체.
KR1020210015700A 2021-02-03 2021-02-03 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법 KR102306083B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210015700A KR102306083B1 (ko) 2021-02-03 2021-02-03 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210015700A KR102306083B1 (ko) 2021-02-03 2021-02-03 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102306083B1 true KR102306083B1 (ko) 2021-09-29

Family

ID=77924615

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210015700A KR102306083B1 (ko) 2021-02-03 2021-02-03 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102306083B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842450A (zh) * 2022-05-11 2022-08-02 合众新能源汽车有限公司 一种可行驶区域检测方法、装置及设备
KR102481367B1 (ko) * 2022-05-27 2023-01-03 주식회사 라이드플럭스 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램
WO2024002392A3 (zh) * 2022-06-30 2024-02-29 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017607A (ko) 2018-08-03 2020-02-19 한국과학기술원 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
KR102167835B1 (ko) * 2019-05-08 2020-10-20 주식회사 카카오 영상 처리 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017607A (ko) 2018-08-03 2020-02-19 한국과학기술원 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
KR102167835B1 (ko) * 2019-05-08 2020-10-20 주식회사 카카오 영상 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Liat Sless외 3인, "Road Scene Understanding by Occupancy Grid Learning from Sparse Radar Clusters using Semantic Segmentation", ICCV 2019,(2019.11.02.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842450A (zh) * 2022-05-11 2022-08-02 合众新能源汽车有限公司 一种可行驶区域检测方法、装置及设备
WO2023216470A1 (zh) * 2022-05-11 2023-11-16 合众新能源汽车股份有限公司 一种可行驶区域检测方法、装置及设备
KR102481367B1 (ko) * 2022-05-27 2023-01-03 주식회사 라이드플럭스 포인트 클라우드 데이터로부터 지표면 데이터를 생성하기 위한 인공지능 모델의 학습 방법, 장치 및 컴퓨터프로그램
WO2024002392A3 (zh) * 2022-06-30 2024-02-29 比亚迪股份有限公司 车辆的检测方法、控制器、程序和存储介质

Similar Documents

Publication Publication Date Title
KR102306083B1 (ko) 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법
US11580328B1 (en) Semantic labeling of point clouds using images
US11798173B1 (en) Moving point detection
CN108229366B (zh) 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN110147706B (zh) 障碍物的识别方法和装置、存储介质、电子装置
US10671860B2 (en) Providing information-rich map semantics to navigation metric map
US11600075B2 (en) Nighttime sensing
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
Felisa et al. Robust monocular lane detection in urban environments
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN111507210A (zh) 交通信号灯的识别方法、系统、计算设备和智能车
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
US11676403B2 (en) Combining visible light camera and thermal camera information
CN116830164A (zh) LiDAR去相关对象检测系统与方法
US20230099521A1 (en) 3d map and method for generating a 3d map via temporal and unified panoptic segmentation
Maalej et al. Vanets meet autonomous vehicles: A multimodal 3d environment learning approach
WO2022230319A1 (en) Data driven dynamically reconfigured disparity map
JP2022142790A (ja) マルチタスクネットワークのための評価プロセス
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN112946603B (zh) 一种基于激光雷达的道路养护检测系统及其检测方法
EP4078087B1 (en) Method and mobile entity for detecting feature points in an image
CN111695403B (zh) 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法
Sajjad et al. A Comparative Analysis of Camera, LiDAR and Fusion Based Deep Neural Networks for Vehicle Detection
CN112926476A (zh) 车辆识别方法、装置及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant