KR20220123864A - 학습모델 융합 기반 객체검출 장치 및 그 방법 - Google Patents

학습모델 융합 기반 객체검출 장치 및 그 방법 Download PDF

Info

Publication number
KR20220123864A
KR20220123864A KR1020210027328A KR20210027328A KR20220123864A KR 20220123864 A KR20220123864 A KR 20220123864A KR 1020210027328 A KR1020210027328 A KR 1020210027328A KR 20210027328 A KR20210027328 A KR 20210027328A KR 20220123864 A KR20220123864 A KR 20220123864A
Authority
KR
South Korea
Prior art keywords
object detection
model
learning model
semantic segmentation
control unit
Prior art date
Application number
KR1020210027328A
Other languages
English (en)
Inventor
에스.비누차크라바티
아와스치 아르피트
쿠머 신프 지테쉬
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210027328A priority Critical patent/KR20220123864A/ko
Publication of KR20220123864A publication Critical patent/KR20220123864A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Branch Pipes, Bends, And The Like (AREA)
  • Image Analysis (AREA)

Abstract

학습모델 융합 기반 객체검출 장치 및 그 방법이 제공된다. 본 발명의 실시예에 따른 학습모델 융합 기반 객체검출 장치는 차량 주변의 이미지를 획득하는 카메라, 및 카메라에 통신적으로 연결되는 제어부를 포함한다. 여기서, 제어부는 획득된 이미지에서 특징을 추출하고, 추출된 특징을 기반으로 객체를 감지하며, 추출된 특징을 기반으로 시멘틱 분할을 수행하고, 단일 모델로 융합하기 위해 객체 감지 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하도록 구성된다.

Description

학습모델 융합 기반 객체검출 장치 및 그 방법{Apparatus for detecting object based on fusion learning model and method thereof}
본 발명은 학습모델 융합 기반 객체검출 장치 및 그 방법에 관한 것이다.
최근, ADAS(Advanced Driver Assistance Systems)는 거의 모든 차량에 통합되어 운전중에 운전자를 지원한다. ADAS는 차량 시스템을 적응, 자동화 및 개선함으로써 부드럽고 안전한 주행이나 편리한 차선유지를 경험을 가능하게 한다.
한편, 객체 검출은 차량이 주행하는 도로 상에서의 차량의 전후방에서 주행중인 타차량을 인식하여 운전자가 인지하게 하게 하거나, 차선유지 기능에 따라 타차량을 회피하기 위해 필수적인 요소이다.
그러나 종래의 객체 검출은 적용 대상에 따라 적합한 상이한 학습모델을 적용한다. 따라서 다양한 대상에 적용하기 위해서는 두 개 이상의 모델을 적용해야 하는데 이는 연산적으로 또한 시스템 적으로 비용의 증가를 초래한다.
US 2018-0336430 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 복수의 학습모델을 융합하여 다양한 대상에 대한 검출을 위한 연산 및 시스템 비용을 경감할 수 있는 학습모델 융합 기반 객체검출 장치 및 그 방법을 제공하는 데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 차량 주변의 이미지를 획득하는 카메라; 및 상기 카메라에 통신적으로 연결되는 제어부를 포함하고, 상기 제어부는, 상기 획득된 이미지에서 특징을 추출하고, 상기 추출된 특징을 기반으로 객체를 감지하며, 상기 추출된 특징을 기반으로 시멘틱 분할을 수행하고, 단일 모델로 융합하기 위해 객체 감지 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하도록 구성되는 학습모델 융합 기반 객체검출 장치가 제공된다.
일 실시예에서, 상기 제어부는 CNN(Convolutional Neural Network) 모델 기반으로 제어하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할하고, 객체 감지 모델에 의해 보행자와 차량을 감지할 수 있다.
일 실시예에서, 상기 제어부는 상기 객체 감지 모델의 객체 감지 손실 함수와 상기 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 상기 시멘틱 분할 모델에 의한 분할결과와 상기 객체 감지 모델에 의한 감지결과를 조합할 수 있다.
본 발명의 다른 측면에 따르면, 카메라에 의해, 차량 주변의 이미지를 획득하는 단계; 제어부에 의해, 상기 획득된 이미지에서 특징을 추출하는 단계; 상기 제어부에 의해, 상기 추출된 특징을 기반으로 객체를 감지하는 단계; 상기 제어부에 의해, 상기 추출된 특징을 기반으로 시멘틱 분할을 수행하는 단계; 및 상기 제어부에 의해, 단일 모델로 융합하기 위해 객체 감지 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하는 단계를 포함하는 학습모델 융합 기반 객체검출 방법이 제공된다.
일 실시예에서, 상기 추출하는 단계, 상기 감지하는 단계 및 상기 수행하는 단계는 CNN(Convolutional Neural Network) 모델 기반으로 할 수 있다.
일 실시예에서, 상기 조합하는 단계는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합할 수 있다.
일 실시예에서, 상기 감지하는 단계 및 상기 수행하는 단계는 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리될 수 있다.
일 실시예에서, 상기 조합하는 단계는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용할 수 있다.
일 실시예에서, 상기 감지하는 단계는 객체 감지 모델에 의해 보행자와 차량을 감지하고, 상기 수행하는 단계는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할할 수 있다.
일 실시예에서, 상기 조합하는 단계는 상기 객체 감지 모델의 객체 감지 손실 함수와 상기 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 상기 시멘틱 분할 모델에 의한 분할결과와 상기 객체 감지 모델에 의한 감지결과를 조합할 수 있다.
본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치 및 그 방법은 CNN 학습모델에 기반하여 객체 감지 모델과 시멘틱 분할 모델을 융합함으로써, 다양한 대상을 검출하면서도 연산 및 시스템 비용을 경감할 수 있으므로 객체검출 성능을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치 및 그 방법은 객체 감지 모델과 시멘틱 분할 모델을 상이한 손실 가중치로 조합함으로써, 상이한 클래스의 객체를 검출하고 분할할 수 있으므로 객체검출 성능을 더욱 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치를 구비한 차량의 도로를 주행하는 환경을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 제어부의 세부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 객체 검출의 예시를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 시멘틱 분할의 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 인스턴스 분할의 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 융합 모델의 예시를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 방법의 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되지 않음은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.
본 명세서에서, "또는", "적어도 하나" 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나"는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
이하, 본 발명의 실시예들은 본 발명의 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치를 구비한 차량의 도로를 주행하는 환경을 나타낸 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)를 구비한 자차량(10)이 주행하는 도로(1)는 전방에 복수의 타차량(20, 21) 및 건물 등을 포함할 수 있다. 즉, 자차량(10)은 도로(1)에서 선행하거나 후행하는 타차량(20, 21)이 존재하는 상황이 발생할 수 있다.
이때, 자차량(10)은 차선유지 등의 ADAS 기능을 구현하기 위해 전방 또는 측후방에 설치되는 카메라를 통하여 획득되는 이미지를 기반으로 한 객체검출이 필수적이다. 이러한 객체 인식은 다양한 형태의 학습모델을 통하여 달성될 수 있다.
이를 위해, 본 발명은 자차량(10)의 전방이나 후방에 존재하는 타차량(20, 21) 등의 객체를 검출하도록 CNN(Convolutional Neural Network) 모델 기반으로 학습하기 위한 것이다.
여기서, CNN 모델은 다양한 학습가능한 컨볼루션 필터 레이어(layer of convolutional filters)를 배포하여 이미지에서 특징을 추출하고 간단한 기계학습 모델을 이용하여 예측하기 위한 것으로서, 적용 대상에 따라 이미지 분류, 시멘틱 분할(semantic segmentation), 객체 감지 및 인스턴스 분할(instance segmentation)로 분류된다. 특히, 시멘틱 분할 및 객체 감지 기반 모델은 사전 운전자 지원 시스템에서 광범위하게 사용된다. 이때, 두 가지 상이한 모델을 사용하면 두 모델에서 단일 이미지를 처리해야 하기 때문에 메모리와 속도 측면에서 비용이 많이 소요되므로 연산적으로 비싸질 수 있고, 또한 시스템의 비용이 증가할 수 있다.
따라서 본 발명은 시멘틱 분할 및 객체 감지 모델을 단일 모델로 융합하기 위한 것이다. 즉, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)는 기계학습 기반으로 객체 검출을 신뢰성 높게 달성할 수 있다.
도 2는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)는 카메라(110), 저장부(120) 및 제어부(130)를 포함할 수 있다.
카메라(110)는 자차량(10) 주변의 이미지를 획득할 수 있다. 일례로, 카메라(110)는 자차량(10)의 전방에 설치된 전방 카메라, 자차량(10)의 우측에 설치된 우측방 카메라, 자차량(10)의 좌측에 설치된 좌측방 카메라 및 자차량(10)의 후방에 설치된 후방 카메라를 포함할 수 있다.
저장부(120)는 카메라(110)에 획득된 자차량(10)의 주변 이미지가 저장될 수 있다. 또한, 저장부(120)는 제어부(130)에 의한 객체 검출 과정에 따른 이미지 및 검출 결과가 저장될 수 있다.
제어부(130)는 카메라(110) 및 저장부(120)에 통신적으로 연결될 수 있다. 여기서, 제어부(130)는 자차량(10)의 ECU(Electronic Control Unit)의 일부일 수 있다. 선택적으로, 제어부(130)는 객체 검출을 위한 별도로 구비될 컨트롤러 일 수 있다. 이때, 제어부(130)는 자차량(10)의 차선유지를 제어하는 ECU(11)에 통신적으로 연결될 수 있다.
제어부(130)는 카메라(110)에서 획득된 이미지에서 특징을 추출하고, 객체 감지 모델과 시멘틱 분할 모델의 병렬 처리에 의해 객체 감지 및 시멘틱 분할을 수행한 후 그 결과를 차등 가중치에 의해 조합하도록 구성될 수 있다. 여기서, 제어부(130)는 CNN 모델 기반으로 제어하도록 구성될 수 있다. 즉, 객체 감지 모델 및 시멘틱 분할 모두 CNN 모델을 기반으로 이루어질 수 있다.
이때, 제어부(130)는 검출 결과를 기반으로 자차량(10)의 차선유지에 활용하도록 구성될 수 있다. 일례로, 제어부(130)는 후방이나 측방에 존재하는 이동중인 타차량(20, 21)을 검출하여 ECU(11)로 전송하도록 구성될 수 있다. 여기서, ECU(11)는 자차량(10)의 차선유지를 제어하도록 구성될 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)는 다양한 대상을 검출하면서도 연산 및 시스템 비용을 경감할 수 있으므로 객체검출 성능을 향상시킬 수 있다.
이하, 도 3 내지 도 7을 참조하여 제어부(130)의 구성 및 동작을 더 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 제어부의 세부 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)의 제어부(130)는 특징 추출부(132), 객체 감지부(134), 시멘틱 분할부(136) 및 조합부(138)를 포함할 수 있다.
특징 추출부(132)는 카메라(110)에서 획득된 이미지에서 특징을 추출하도록 구성될 수 있다. 일례로, 특징 추출부(132)는 에지 검출 등을 통하여 이미지의 특징을 검출하도록 구성될 수 있다.
객체 감지부(134)는 특징 추출부(132)에서 추출된 특징을 기반으로 객체를 감지하도록 구성될 수 있다. 이때, 객체 감지부(134)는 객체 감지 CNN 모델에 의한 기계학습에 의해 객체를 감지하도록 구성될 수 있다. 일례로, 객체 감지부(134)는 객체 감지 CNN모델에 의해 보행자와 차량을 감지하도록 구성될 수 있다.
시멘틱 분할부(136)는 특징 추출부(132)에서 추출된 특징을 기반으로 시멘틱 분할을 수행하도록 구성될 수 있다. 이때, 시멘틱 분할부(136)는 시멘틱 분할 모델에 의한 기계학습에 의해 시멘틱 분할을 수행하도록 구성될 수 있다. 일례로, 시멘틱 분할부(136)는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할하도록 구성될 수 있다.
이때, 객체 감지부(134)와 시멘틱 분할부(136) 각각은 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리하도록 구성될 수 있다. 즉, 객체 감지부(134)와 시멘틱 분할부(136)는 시간적으로 동시에 처리될 수 있다.
조합부(138)는 객체 감지 모델과 시멘틱 분할 모델을 단일 모델로 융합하기 위해 조합하도록 구성될 수 있다. 이때, 조합부(138)는 객체 감지 모델 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하도록 구성될 수 있다.
일례로, 조합부(138)는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합하도록 구성될 수 있다. 이때, 조합부(138)는 아래의 수학식 1과 같이, 가중치를 적용할 수 있다.
Figure pat00001
여기서, 단일 스칼라 손실은 수천 픽셀의 분할 에러를 나타내므로, 시멘틱 분할 레이어의 강조된 훈련을 가능하게 하기 위해 손실의 차등 가중치가 적용될 수 있다.
아울러, 조합부(138)는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용하도록 구성될 수 있다.
이와 같이, 조합부(138)는 객체 감지 모델의 객체 감지 손실 함수와 상기 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 시멘틱 분할 모델에 의한 분할결과와 객체 감지 모델에 의한 감지결과를 조합할 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치 (100)는 상이한 클래스의 객체를 검출하고 분할할 수 있으므로 객체검출 성능을 더욱 향상시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 객체 검출의 예시를 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 시멘틱 분할의 예시를 나타낸 도면이며, 도 7은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 융합 모델의 예시를 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치의 인스턴스 분할의 예시를 나타낸 도면이다.
도 4를 참조하면, 객체 감지 CNN 모델은 이미지에서 클래스 객체를 예측할 수 있다. 이때, 객체 감지 CNN 모델은 경계 박스를 사용하여 객체들을 지역화(localizing)할 수 있다.
도 5를 참조하면, 시멘틱 분할 CNN 모델은 모든 픽셀을 클래스 객체로 분류할 수 있다. 이때, 시멘틱 분할 CNN 모델은 경계를 따라 상이한 종류의 객체를 분할할 수 있다.
도 6을 참조하면, 인스턴스 분할 CNN 모델은 시멘틱 분할 모델과 비슷하지만 동일한 클래스에 속하는 여러 객체의 다양한 인스턴스를 구별할 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)는 상이한 클래스를 검출하고 분할하는데 사용될 수 있다. 도 7에서, 융합된 모델 분할 차량은 청색 패치로 나타나며, 보행자 감지는 녹색 박스로 나타나고, 적색 박스는 실측 객체를 나타낸다.
이와 같이, 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 장치(100)는 유사한 클래스 객체의 분할이 고유하게 라벨링되는 인스턴스 분리와 다르게, 유사한 클래스로부터의 객체를 경계 박스 및 픽셀 단위 분할에 의해 지역화하도록 지원할 수 있다.
이하, 도 8을 참조하여 본 발명의 학습모델 융합 기반 객체검출 방법을 설명한다.
도 8은 본 발명의 일 실시예에 따른 학습모델 융합 기반 객체검출 방법의 순서도이다.
학습모델 융합 기반 객체검출 방법(200)은 이미지를 획득하는 단계(S210), 특징을 추출하는 단계(S220), 시멘틱 분할 및 객체 감지를 수행하는 단계(S230) 및 차등 가중치에 의한 조합하는 단계(S240)를 포함할 수 있다.
보다 상세히 설명하면, 도 8에 도시된 바와 같이, 먼저, 학습모델 융합 기반 객체검출 장치(100)는 카메라(110)에 의해 자차량(10) 주변의 이미지를 획득한다(단계 S210). 학습모델 융합 기반 객체검출 장치(100)는 자차량(10)의 전방에 설치된 전방 카메라, 자차량(10)의 우측에 설치된 우측방 카메라, 자차량(10)의 좌측에 설치된 좌측방 카메라 또는 자차량(10)의 후방에 설치된 후방 카메라 중 적어도 하나를 이용하여 자차량(10) 주변의 이미지를 획득할 수 있다.
다음으로, 학습모델 융합 기반 객체검출 장치(100)는 카메라(110)에서 획득된 이미지에서 특징을 추출한다(단계 S220). 일례로, 학습모델 융합 기반 객체검출 장치(100)는 에지 검출 등을 통하여 이미지의 특징을 검출할 수 있다.
다음으로, 학습모델 융합 기반 객체검출 장치(100)는 추출된 특징을 기반으로 객체를 감지하고 시멘틱 분할을 수행한다(단계 S230). 즉, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리될 수 있다.
보다 구제적으로, 학습모델 융합 기반 객체검출 장치(100)는 추출된 특징을 기반으로 객체를 감지할 수 있다. 이때, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 CNN 모델에 의한 기계학습에 의해 객체를 감지할 수 있다. 일례로, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 CNN모델에 의해 보행자와 차량을 감지할 수 있다.
아울러, 학습모델 융합 기반 객체검출 장치(100)는 추출된 특징을 기반으로 시멘틱 분할을 수행할 수 있다. 이때, 학습모델 융합 기반 객체검출 장치(100)는 시멘틱 분할 모델에 의한 기계학습에 의해 시멘틱 분할을 수행할 수 있다. 일례로, 학습모델 융합 기반 객체검출 장치(100)는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할할 수 있다.
여기서, 객체 감지 및 시멘틱 분할은 개별 모델로 하여 병렬 처리될 수 있다. 즉, 객체 감지 CNN 모델을 이용한 객체 감지와 시멘틱 CNN 모델을 이용한 시멘틱 분할은 시간적으로 동시에 처리될 수 있다.
다음으로, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 모델과 시멘틱 분할 모델을 단일 모델로 융합하기 위해 차등 가중치에 의해 조합한다(단계 S240). 이때, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 모델 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합할 수 있다.
일례로, 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합할 수 있다. 이때, 학습모델 융합 기반 객체검출 장치(100)는 상술한 수학식 1과 같이, 가중치를 적용할 수 있다.
여기서, 단일 스칼라 손실은 수천 픽셀의 분할 에러를 나타내므로, 시멘틱 분할 레이어의 강조된 훈련을 가능하게 하기 위해 손실의 차등 가중치가 적용될 수 있다.
아울러, 학습모델 융합 기반 객체검출 장치(100)는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용할 수 있다.
따라서 학습모델 융합 기반 객체검출 장치(100)는 객체 감지 모델의 객체 감지 손실 함수와 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 시멘틱 분할 모델에 의한 분할결과와 객체 감지 모델에 의한 감지결과를 조합할 수 있다.
상기와 같은 방법들은 도 2에 도시된 바와 같은 학습모델 융합 기반 객체검출 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. 이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100 : 학습모델 융합 기반 객체검출 장치
110 : 카메라 120 : 저장부
130 : 제어부 132 : 특징 추출부
134 : 객체 감지부 136 : 시멘틱 분할부
138 : 조합부 10 : 자차량
11 : ECU 20, 21 : 타차량
1 : 도로

Claims (14)

  1. 차량 주변의 이미지를 획득하는 카메라; 및
    상기 카메라에 통신적으로 연결되는 제어부를 포함하고,
    상기 제어부는,
    상기 획득된 이미지에서 특징을 추출하고,
    상기 추출된 특징을 기반으로 객체를 감지하며,
    상기 추출된 특징을 기반으로 시멘틱 분할을 수행하고,
    단일 모델로 융합하기 위해 객체 감지 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하도록 구성되는 학습모델 융합 기반 객체검출 장치.
  2. 제1항에 있어서,
    상기 제어부는 CNN(Convolutional Neural Network) 모델 기반으로 제어하도록 구성되는 학습모델 융합 기반 객체검출 장치.
  3. 제1항에 있어서,
    상기 제어부는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합하도록 구성되는 학습모델 융합 기반 객체검출 장치.
  4. 제1항에 있어서,
    상기 제어부는 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리하도록 구성되는 학습모델 융합 기반 객체검출 장치.
  5. 제4항에 있어서,
    상기 제어부는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용하도록 구성되는 학습모델 융합 기반 객체검출 장치.
  6. 제1항에 있어서,
    상기 제어부는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할하고,
    객체 감지 모델에 의해 보행자와 차량을 감지하는 학습모델 융합 기반 객체검출 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 객체 감지 모델의 객체 감지 손실 함수와 상기 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 상기 시멘틱 분할 모델에 의한 분할결과와 상기 객체 감지 모델에 의한 감지결과를 조합하는 학습모델 융합 기반 객체검출 장치.
  8. 카메라에 의해, 차량 주변의 이미지를 획득하는 단계;
    제어부에 의해, 상기 획득된 이미지에서 특징을 추출하는 단계;
    상기 제어부에 의해, 상기 추출된 특징을 기반으로 객체를 감지하는 단계;
    상기 제어부에 의해, 상기 추출된 특징을 기반으로 시멘틱 분할을 수행하는 단계; 및
    상기 제어부에 의해, 단일 모델로 융합하기 위해 객체 감지 및 시멘틱 분할에 대한 손실 함수를 차등 가중치에 의해 조합하는 단계를 포함하는 학습모델 융합 기반 객체검출 방법.
  9. 제8항에 있어서,
    상기 추출하는 단계, 상기 감지하는 단계 및 상기 수행하는 단계는 CNN(Convolutional Neural Network) 모델 기반으로 하는 학습모델 융합 기반 객체검출 방법.
  10. 제8항에 있어서,
    상기 조합하는 단계는 객체 감지 손실과 시멘틱 손실을 상이한 가중치를 적용하여 조합하는 학습모델 융합 기반 객체검출 방법.
  11. 제8항에 있어서,
    상기 감지하는 단계 및 상기 수행하는 단계는 객체 감지 및 시멘틱 분할을 개별 모델로 하여 병렬 처리되는 학습모델 융합 기반 객체검출 방법.
  12. 제11항에 있어서,
    상기 조합하는 단계는 대상 객체의 난이도에 따른 각 모델의 우선순위 훈련을 위해 상이한 손실함수의 가중치를 적용하는 학습모델 융합 기반 객체검출 방법.
  13. 제8항에 있어서,
    상기 감지하는 단계는 객체 감지 모델에 의해 보행자와 차량을 감지하고,
    상기 수행하는 단계는 시멘틱 분할 모델에 의해 자유 공간과 차선을 분할하는 학습모델 융합 기반 객체검출 방법.
  14. 제13항에 있어서,
    상기 조합하는 단계는 상기 객체 감지 모델의 객체 감지 손실 함수와 상기 시멘틱 분할 모델의 시멘틱 손실 함수를 상이한 가중치를 적용하여 상기 시멘틱 분할 모델에 의한 분할결과와 상기 객체 감지 모델에 의한 감지결과를 조합하는 학습모델 융합 기반 객체검출 방법.
KR1020210027328A 2021-03-02 2021-03-02 학습모델 융합 기반 객체검출 장치 및 그 방법 KR20220123864A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027328A KR20220123864A (ko) 2021-03-02 2021-03-02 학습모델 융합 기반 객체검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027328A KR20220123864A (ko) 2021-03-02 2021-03-02 학습모델 융합 기반 객체검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220123864A true KR20220123864A (ko) 2022-09-13

Family

ID=83286558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027328A KR20220123864A (ko) 2021-03-02 2021-03-02 학습모델 융합 기반 객체검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220123864A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336430A1 (en) 2017-05-18 2018-11-22 Denso It Laboratory, Inc. Recognition system, generic-feature extraction unit, and recognition system configuration method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336430A1 (en) 2017-05-18 2018-11-22 Denso It Laboratory, Inc. Recognition system, generic-feature extraction unit, and recognition system configuration method

Similar Documents

Publication Publication Date Title
CN109426801B (zh) 一种车道线实例检测方法和装置
EP3462377B1 (en) Method and apparatus for identifying driving lane
US10810745B2 (en) Method and apparatus with image segmentation
Wu et al. Lane-mark extraction for automobiles under complex conditions
US10671068B1 (en) Shared sensor data across sensor processing pipelines
US9626599B2 (en) Reconfigurable clear path detection system
US20180307911A1 (en) Method for the semantic segmentation of an image
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
TWI666595B (zh) 物件標示系統及方法
KR102677513B1 (ko) 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
Liu et al. Vehicle detection and ranging using two different focal length cameras
US11132560B2 (en) Method for evaluating an optical appearance in the surroundings of a vehicle, and vehicle
CN111971725A (zh) 用于确定车辆的变道说明的方法、计算机可读存储介质以及车辆
CN113723170A (zh) 危险检测整合架构系统和方法
de Paula Veronese et al. An accurate and computational efficient system for detecting and classifying ego and sides lanes using LiDAR
US20220157067A1 (en) Determining a source of danger on a roadway
WO2021199584A1 (en) Detecting debris in a vehicle path
WO2022006777A1 (zh) 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN111210411A (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
KR20220123864A (ko) 학습모델 융합 기반 객체검출 장치 및 그 방법
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
KR102453782B1 (ko) 자율주행을 위한 차선검출 방법.
CN114118188A (zh) 针对待检测图像中移动对象的处理系统、方法和存储介质