KR102575224B1 - 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법 - Google Patents

가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR102575224B1
KR102575224B1 KR1020210001868A KR20210001868A KR102575224B1 KR 102575224 B1 KR102575224 B1 KR 102575224B1 KR 1020210001868 A KR1020210001868 A KR 1020210001868A KR 20210001868 A KR20210001868 A KR 20210001868A KR 102575224 B1 KR102575224 B1 KR 102575224B1
Authority
KR
South Korea
Prior art keywords
data
neural network
convolutional neural
fusion
convolution
Prior art date
Application number
KR1020210001868A
Other languages
English (en)
Other versions
KR20220099679A (ko
Inventor
박태형
이재설
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020210001868A priority Critical patent/KR102575224B1/ko
Publication of KR20220099679A publication Critical patent/KR20220099679A/ko
Application granted granted Critical
Publication of KR102575224B1 publication Critical patent/KR102575224B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 의한 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법은, 데이터 입력부에서, 객체를 검출하고자 하는 영역에 대한 영상 데이터와 3차원 라이다 데이터를 입력받는 입력단계(S100), 데이터 융합부에서, 상기 입력단계(S100)에 의해 입력받은 상기 영상 데이터와 상기 3차원 라이다 데이터를 융합한 융합 데이터를 생성하는 융합단계(S200), 합성곱 연산부에서, 상기 융합단계(S200)에 의해 생성한 상기 융합 데이터를 이용하여, 영역에 포함되어 있는 객체까지의 거리 정보를 예측하고, 예측한 거리 정보에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 연산단계(S300) 및 결과 생성부에서, 상기 연산단계(S300)에 의해 상기 합성곱 신경망의 적용 결과들을 이용하여 영역에 포함되어 있는 객체의 검출 결과를 도출하는 검출단계(S400)를 포함하여 구성되는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 방법에 관한 것이다.

Description

가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법 {Object detection system and method using deformable convolutional neural network}
본 발명은 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법에 관한 것으로, 검출하고자 하는 객체와의 거리 정보를 연산하여, 연산한 거리 정보를 이용하여 합성곱 필터 크기를 가변시켜 보다 효율적으로 정확한 객체 검출이 가능한 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법에 관한 것이다.
1950년대 허블(Hubel)과 비셀(Wiesel)은 고양이의 시각 피질 실험에서 고양이 시야의 한 쪽에 자극을 주었더니 전체 뉴런이 아닌 특정 뉴런만이 활성화되는 것을 발견했다. 또한 물체의 형태와 방향에 따라서도 활성화되는 뉴런이 다르며 어떤 뉴런의 경우에는 저수준 뉴런의 출력을 조합한 복잡한 신호에만 반응한다는 것을 관찰했다. 이 실험을 통해 동물의 시각 피질 안의 신경세포(뉴런)들은 일정 범위 안의 자극에만 활성화되는 근접 수용 영역(local receptive field)을 가지며 이 수용 영역들이 서로 겹쳐져 전체 시야를 이룬다는 것을 발견했다. 이러한 아이디어에 영향을 받아, 인접한 두 층의 노드들이 전부 연결되어 있는 기존의 인공신경망이 아닌, 특정 국소 영역에 속하는 노드들의 연결로 이루어지는 인공신경망을 고안해냈으며, 그게 바로 합성곱 신경망(CNN, convolutional neural network)이다.
이러한 합성곱 신경망은 입력받은 이미지를 '필터링(합성곱 연산)'과 '분류'의 과정을 거쳐 이미지에 포함되어 있던 객체를 검출하게 되는데, 필터링을 거친 원본 데이터를 피처맵(feature map)이라고 하며, 필터를 어떤게 설정할지에 따라 피처맵이 상이해지기 때문에 합성곱 신경망에서 학습시켜야 할 대상은 '필터'에 해당한다.
종래의 합성곱 신경망은 도 1에 도시된 바와 같이, 모든 영역에서 정해진 크기로 합성곱 연산을 수행하게 된다. 즉, 도 2에 도시된 바와 같이, 객체 검출(인식)에 있어서, 수용 영역이 객체보다 커야 하는데, 종래의 합성곱 신경망의 경우, 처음부터 정해진 마스크 크기로 합성곱을 연산하기 때문에, 수용 영역 역시 그 크기가 일정하게 된다.
그렇지만, 실제 객체는 가깝게 위치할 경우 크게 보이고, 멀리 위치할 경우 작게 보이기 때문에, 정확한 객체 검출을 위해서는 필요 수용 영역이 각각 상이하게 요구된다. 다시 말하자면, 큰 물체(가까운 물체)는 비교적 큰 수용 영역이 요구되고, 작은 물체(거리가 먼 물체)는 비교적 작은 수용 영역이 요구되게 된다.
이에 따라, 종래의 합성곱 신경망과 같이, 모든 영역에서 정해진 마스크 크기로 합성곱 연산을 수행할 경우, 너무 큰 객체는 검출이 제대로 되지 않고, 너무 작은 객체 역시도 검출이 안 되는 문제점이 발생할 수 있다. 또한, 수용 영역을 넓히기 위해 많은 합성곱 레이어를 쌓아야 하기 때문에, 더욱 더 복잡한 합성곱 신경망이 요구되게 된다.
이와 관련해서, 종래에는 국내등록특허 제10-2178932호("출력 특징 맵의 0에 대한 연산을 스킵할 수 있는 합성곱 신경망의 연산 장치 및 그 동작 방법")에서는 출력 특징 맵에서 0의 출력을 정확하게 예측하고, 0의 출력에 대응되는 입력 특징 맵의 픽셀들에 대한 연산을 스킵할 수 있는 합성곱 신경망의 연산 장치 및 그 동작 방법을 개시하고 있다.
한국등록특허 제10-2178932호(등록일 2020.11.09.)
따라서 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 검출하고자 하는 객체와의 거리 정보를 연산하여, 연산한 거리 정보를 이용하여 합성곱 필터 크기(마스크 크기)를 가변시키고, 이에 따라 수용 영역의 크기를 가변시킴으로써 보다 효율적으로 정확한 객체 검출을 수행할 수 있는 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법에 관한 것이다.
상기한 바와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 의한 가변 합성곱 신경망을 이용한 객체 검출 시스템에 있어서, 객체를 검출하고자 하는 영역에 대해서, 기구비된 제1 촬영수단으로부터 영상 데이터를 입력받고, 기구비된 제2 촬영수단으로부터 3차원 라이다 데이터를 입력받는 데이터 입력부(100), 상기 데이터 입력부(100)에 입력된 상기 3차원 라이다 데이터를 변환하여 상기 영상 데이터에 투영한 융합 데이터를 생성하는 데이터 융합부(200), 상기 데이터 융합부(200)에 의해 생성된 상기 융합 데이터를 분석하여, 포함되어 있는 객체의 크기를 예측하고, 예측한 크기에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 합성곱 연산부(300) 및 상기 합성곱 신경망의 적용 결과들을 이용하여 객체의 검출 결과를 도출하는 결과 생성부(400)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 합성곱 연산부(300)는 상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체의 거리 정보를 예측하는 거리 분석부(310) 및 기저장된 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 거리 정보를 이용하여, 각 객체마다 합성곱 필터의 크기를 변환하여, 기저장된 합성곱 신경망에 적용하는 필터 변환부(320)를 더 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 필터 변환부(320)는 팽창 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것이 바람직하다.
더 나아가, 상기 데이터 융합부(200)는 상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하며, 4채널의 융합 데이터를 생성하는 것이 바람직하다.
본 발명의 또다른 일 실시예에 의한 가변 합성곱 신경망을 이용한 객체 검출 방법에 있어서, 데이터 입력부에서, 객체를 검출하고자 하는 영역에 대한 영상 데이터와 3차원 라이다 데이터를 입력받는 입력단계(S100), 데이터 융합부에서, 상기 입력단계(S100)에 의해 입력받은 상기 영상 데이터와 상기 3차원 라이다 데이터를 융합한 융합 데이터를 생성하는 융합단계(S200), 합성곱 연산부에서, 상기 융합단계(S200)에 의해 생성한 상기 융합 데이터를 이용하여, 영역에 포함되어 있는 객체까지의 거리 정보를 예측하고, 예측한 거리 정보에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 연산단계(S300) 및 결과 생성부에서, 상기 연산단계(S300)에 의해 상기 합성곱 신경망의 적용 결과들을 이용하여 영역에 포함되어 있는 객체의 검출 결과를 도출하는 검출단계(S400)를 포함하여 구성되는 것이 바람직하다.
더 나아가, 상기 융합단계(S200)는 상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하여 4채널의 융합 데이터를 생성하는 것이 바람직하다.
더 나아가, 상기 연산단계(S300)는 상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체까지의 거리 정보를 예측하는 제1 연산단계 및 기저장된 합성곱 연산 알고리즘을 이용하여, 상기 제1 연산단계에 의해 예측한 거리 정보를 이용하여 각 객체마다 합성곱 필터의 크기를 변환하여, 기저장된 합성곱 신경망에 적용하는 제2 연산단계를 더 포함하는 것이 바람직하다.
더 나아가, 상기 제2 연산단계는 상기 합성곱 연산 알고리즘으로 팽창 합성곱 연산 알고리즘을 이용하여, 상기 제1 연산단계에 의해 예측한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것이 바람직하다.
본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법은, 객체까지의 거리 정보를 이용하여 객체의 크기를 예측하고, 예측한 객체의 크기에 최적화된 합성곱 필터를 가변시킴으로써, 알맞은 수용 영역을 통해서 정확도 높은 객체 검출이 가한 장점이 있다.
뿐만 아니라, 수용 영역을 넓히기 위해 복잡한 합성곱 신경망을 연산하지 않아도 되는 장점이 있다.
도 1은 일정한 합성곱 필터가 적용되는 종래의 합성곱 신경망을 나타낸 예시도이다.
도 2는 합성곱 신경망에 적용되는 수용 영역을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템의 구성 예시도이다.
도 4는 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템에서의 융합 데이터를 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템에서의 거리에 따른 가변 합성곱 필터가 적용된 예시도이다.
도 6은 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 방법의 순서 예시도이다.
이하 첨부한 도면들을 참조하여 본 발명의 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.
종래의 이미지 딥러닝에서 사용되는 합성곱 신경망 기법은, 모든 영역에 대해서 정해진 마스크 크기로 합성곱을 수행하여 객체 검출을 수행하고 있다. 그렇지만, 가까운 객체는 크게 보이고, 멀리 있는 객체는 작게 보이기 때문에, 객체 검출을 하기 위해서는 필요 수용영역이 상이하게 된다. 즉, 큰 물체는 비교적 큰 수용 영역이 요구되고, 작은 물체에는 비교적 작은 수용 영역이 요구된다. 그럼에도 불구하고, 기존의 합성곱 신경망 기법의 경우, 수용 영역이 항상 일정하기 때문에, 객체 검출의 정확도가 낮아질 뿐 아니라, 수용 영역을 넓히기 위해서 많은 합성곱 레이어를 쌓아야 하는 불편함이 있다.
이러한 불편함을 해소하기 위해서, 본 발명의 일 실시에에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법은, 객체의 크기 별로 합성곱의 마스크 크기를 가변시켜, 보다 정확하게 객체 검출을 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템을 나타낸 구성 예시도로서, 도 3을 참조로 하여 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템을 상세히 설명한다.
본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템은 도 3에 도시된 바와 같이, 데이터 입력부(100), 데이터 융합부(200), 합성곱 연산부(300) 및 결과 생성부(400)를 포함하여 구성되는 것이 바람직하며, 각 구성들은 하나 또는 개별 연산처리수단에 구비되어 동작을 수행하는 것이 바람직하다.
각 구성에 대해서 자세히 알아보자면,
상기 데이터 입력부(100)는 객체를 검출하고자 하는 영역에 미리 구비된 제1 촬영수단으로부터 영상 데이터를 입력받는 것이 바람직하며, 일 예를 들자면, 카메라로부터 촬영된 영상 데이터인 것이 바람직하다.
또한, 상기 데이터 입력부(100)는 객체를 검출하고자 하는 영역에 미리 구비된 제2 촬영수단으로부터 3차원 라이다 데이터를 입력받는 것이 바람직하며, 일 예를 들자면, 라이다(LiDAR, Light Detection And Ranging) 센서로부터 획득한 3차원 센싱 데이터인 것이 바람직하다. 라이다는 이미터에서 레이저, 즉, 빛을 보낸 후 물체에서 반사되어 리시버로 돌아오는 광 에너지는 분석하여, 영역의 3차원 정보를 인식하며, 인식 속도가 빠르고 인식할 수 있는 거리가 긴 반면에, 색깔, 신호를 구분할 수 없고 기후 등 외부 환경에 다소 취약한 단점이 있다.
이 때, 상기 영상 데이터와 3차원 라이다 데이터는 동일한 위치에서 동일한 영역을 동시간대에 촬영한 데이터인 것이 당연하다.
종래의 합성곱 신경망은 영상 데이터를 활용하여 3차원 영상 데이터로 변환하거나, 영상 데이터를 다채널 중첩하여 활용함으로써, 2차원 영상 데이터가 가지고 있는 단점을 극복하려고 하였으나, 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템은 객체의 크기를 예측하기 위해서는 객체까지의 거리값을 알아야 하기 때문에, 영상 데이터 뿐 아니라, 거리 정보를 알 수 있는 3차원 라이다 데이터도 같이 입력받아 활용하는 것이 바람직하다.
상기 데이터 융합부(200)는 상기 데이터 입력부(100)에 입력된 상기 3차원 라이다 데이터를 변환하여 상기 영상 데이터에 투영한 융합 데이터를 생성하는 것이 바람직하다. 상세하게는, 상기 데이터 융합부(200)는 도 4에 도시된 바와 같이, 상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하며, 4채널(R빨강, G초록, B파랑, D거리)의 상기 융합 데이터를 생성하는 것이 바람직하다.
상기 데이터 융합부(200)의 동작에 대해서 일 예를 들자면, 먼저, 상기 데이터 입력부(100)에 입력된 상기 3차원 라이다 데이터를 미리 계산된 변환 행렬을 사용하여 카메라 좌표계로 변환하게 된다. 변환한 카메라 좌표계를 기준으로 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하게 된다. 이를 통해서 생성된 상기 융합 데이터는 상기 영상 데이터에 의한 R, G, B 데이터와 상기 3차원 라이다 데이터에 의한 거리 데이터가 종합하여 출력되게 된다.
상기 합성곱 연산부(300)는 상기 데이터 융합부(200)에 의해 생성된 상기 융합 데이터를 분석하여, 포함되어 있는 객체의 크기를 예측하고, 예측한 크기에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 것이 바람직하다.
다시 말하자면, 상기 합성곱 연산부(300)는 합성곱 필터 크기를 가변시켜, 수용 영역의 크기를 가변시키기 위한 구성으로서, 도 3에 도시된 바와 같이, 거리 분석부(310) 및 필터 변환부(320)를 포함하여 구성되는 것이 바람직하다.
상기 거리 분석부(310)는 상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체의 거리 정보를 예측하는 것이 바람직하다. 이는, 상기 융합 데이터에 투영되어 있는 상기 3차원 라이다 데이터를 토대로 상기 라이다 센서와 객체 간의 거리 정보를 분석하는 것이 바람직하다.
상기 필터 변환부(320)는 미리 저장된 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 거리 정보를 반영하여, 각 객체마다 합성곱 필터의 크기를 변환하는 것이 바람직하다. 이 후, 변환한 합성곱 필터의 크기를 미리 저장된 합성곱 신경망에 적용하여 상기 융합 데이터 내 검출하고자 하는 객체의 상세 정보를 분석하는 것이 바람직하다.
상세하게는, 도 5에 도시된 바와 같이, 상기 필터 변환부(320)는 팽창 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것이 바람직하다. 즉, 팽창 합성곱 연산 알고리즘을 이용하여, 합성곱 필터의 크기를 슬라이딩 윈도우 형태로 넓혀 곱함으로써 수용 영역을 효율적으로 넓힐 수 있다. 합성곱 연산은 상기 거리 정보에 따라 n차 반복수행하며 팽창하여 합성곱 필터의 크기를 가변시키는 것이 바람직하며, 이 때, 거리 정보와 n은 반비례하도록 설정하는 것이 바람직하다.
다시 말하자면, 가까운 거리는 팽창 합성곱에서 팽창의 크기를 크게 하여 큰 합성곱 필터를 생성하고, 먼 거리는 팽창 합성곱에서 팽창의 크기를 작게 하여 작은 합성곱 필터를 생성하게 된다. 팽창의 크기는 데이터마다 상이할 수 있으며 이는 사용자의 제어에 의해 정해지게 된다. 이 때, 합성곱 필터의 크기는 상술한 바와 같이, 상기 가리 정보에 따라 가변되게 되며, 상기 데이터 입력부(100)의 3차원 라이다 센서 등을 사용하여 상기 거리 분석부(310)에서 분석한 상기 거리 정보를 이용하여, 팽창 합성곱에서 팽창의 크기가 가변되고 이에 따라 합성곱 필터의 크기가 제어되게 된다.
상기 결과 생성부(400)는 상기 합성곱 신경망의 적용 결과들을 이용하여 객체의 검출 결과를 도출하는 것이 바람직하다. 이 때, 영상 내 객체의 위치, 크기 및 종류 등을 상기 검출 결과로 도출하는 것이 바람직하다.
상세하게는, 상기 결과 생성부(400)는 가변 합성곱 신경망의 적용 결과들을 이용하여 종래의 객체 검출 심층 신경망에 적용하여, 객체의 검출 결과를 도출하는 것이 바람직하다. 즉, 가변 합성곱 신경망을 통해서 거리에 따른 객체의 특징을 추출한 후, 종래의 객체 검출 심층 신경망에 적용하여, 객체의 세부 검출 결과를 도출하게 된다.
도 6은 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 방법을 나타낸 순서 예시도로서, 도 6을 참조로 하여 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 방법을 상세히 설명한다.
본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 방법은 도 6에 도시된 바와 같이, 입력단계(S100), 융합단계(S200), 연산단계(S300) 및 검출단계(S400)를 포함하여 구성되는 것이 바람직하다.
각 단계에 대해서 자세히 알아보자면,
상기 입력단계(S100)는 상기 데이터 입력부(100)에서, 객체를 검출하고자 하는 영역에 대한 영상 데이터와 3차원 라이다 데이터를 입력받게 된다.
다시 말하자면, 상기 입력단계(S100)는 객체를 검출하고자 하는 영역에 미리 구비된 제1 촬영수단으로부터 영상 데이터를 입력받으며, 객체를 검출하고자 하는 영역에 미리 구비된 제2 촬영수단으로부터 3차원 라이다 데이터를 입력받는 것이 바람직하다. 이 때, 상기 영상 데이터와 3차원 라이다 데이터는 동일한 위치에서 동일한 영역을 동시간대에 촬영한 데이터인 것이 당연하다.
이를 통해서, 종래의 합성곱 신경망은 영상 데이터를 활용하여 3차원 영상 데이터로 변환하거나, 영상 데이터를 다채널 중첩하여 활용함으로써, 2차원 영상 데이터가 가지고 있는 단점을 극복하려고 하였으나, 본 발명의 일 실시예에 따른 가변 합성곰 신경망을 이용한 객체 검출 방법에서는, 객체의 크기를 예측하기 위해서는 객체까지의 거리값을 알아야 하기 때문에, 영상 데이터 뿐 아니라, 거리 정보를 알 수 있는 3차원 라이다 데이터도 같이 입력받아 활용하는 것이 바람직하다.
상기 융합단계(S200)는 상기 데이터 융합부(200)에서, 상기 입력단계(S100)에 의해 상기 영상 데이터와 상기 3차원 라이다 데이터를 융합한 융합 데이터를 생성하게 된다.
상세하게는, 상기 융합단계(S200)는 상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하여 4채널의 융합 데이터를 생성하는 것이 바람직하며, 여기서, 4채널이란 도 4에 도시된 바와 같이, R빨강, G초록, B파랑, D거리를 나타낸 데이터를 의미한다.
즉, 상기 입력단계(S100에 의해 입력된 상기 3차원 라이다 데이터를 미리 계산된 변환 행렬을 사용하여 카메라 좌표계로 변환하게 된다. 변환한 카메라 좌표계를 기준으로 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하게 된다. 이를 통해서 생성된 상기 융합 데이터는 상기 영상 데이터에 의한 R, G, B 데이터와 상기 3차원 라이다 데이터에 의한 D 데이터가 종합하여 출력되게 된다.
상기 연산단계(S300)는 상기 합성곱 연산부(300)에서, 상기 융합단계(S200)에 의해 생성한 상기 융합 데이터를 이용하여, 영역에 포함되어 있는 객체까지의 거리 정보를 예측하고, 예측한 거리 정보에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 것이 바람직하다.
다시 말하자면, 상기 연산단계(S300)는 합성곱 필터 크기를 가변시켜, 수용 영역의 크기를 가변시키기 위한 과정으로 제1 연산단계 및 제2 연산단계를 포함하여 구성되는 것이 바람직하다.
상기 제1 연산단계는 상기 거리 분석부(310)에서, 상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체까지의 거리 정보를 예측하게 되며, 상기 융합 데이터에 투영되어 있는 상기 3차원 라이다 데이터를 토대로 상기 라이다 센서와 객체 간의 거리 정보를 분석하는 것이 바람직하다.
상기 제2 연산단계는 상기 필터 변환부(320)에서 미리 저장된 합성곱 연산 알고리즘을 이용하여 상기 제1 연산단계에 의해 예측한 거리 정보를 적용하여, 각 객체마다 합성곱 필터의 크기를 변환하는 것이 바람직하다. 이 후, 변환한 합성곱 필터의 크기를 미리 저장된 합성곱 신경망에 적용하여 상기 융합 데이터 내 검출하고자 하는 객체의 상세 정보를 분석하는 것이 바람직하다.
즉, 상기 제2 연산단계는 도 5에 도시된 바와 같이, 팽창 합성곱 연산 알고리즘을 이용하여, 분석한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것이 바람직하다. 다시 말하자면, 팽창 합성곱 연산 알고리즘을 이용하여, 합성곱 필터의 크기를 슬라이딩 윈도우 형태로 넓혀 곱함으로써 수용 영역을 효율적으로 넓힐 수 있다. 합성곱 연산은 상기 거리 정보에 따라 n차 반복수행하며 팽창하여 합성곱 필터의 크기를 가변시키는 것이 바람직하며, 이 때, 거리 정보와 n은 반비례하도록 설정하는 것이 바람직하다.
다시 말하자면, 가까운 거리는 팽창 합성곱에서 팽창의 크기를 크게 하여 큰 합성곱 필터를 생성하고, 먼 거리는 팽창 합성곱에서 팽창의 크기를 작게 하여 작은 합성곱 필터를 생성하게 된다. 팽창의 크기는 데이터마다 상이할 수 있으며 이는 사용자의 제어에 의해 정해지게 된다. 이 때, 합성곱 필터의 크기는 상술한 바와 같이, 상기 가리 정보에 따라 가변되게 되며, 분석한 상기 거리 정보를 이용하여, 팽창 합성곱에서 팽창의 크기가 가변되고 이에 따라 합성곱 필터의 크기가 제어되게 된다.
상기 검출단계(S400)는 상기 결과 생성부(400)에서, 상기 연산단계(S300)에 의해 상기 합성곱 신경망의 적용 결과들을 이용하여 영역에 포함되어 있는 객체의 검출 결과를 도출하게 된다. 이 때, 영상 내 객체의 위치, 크기 및 종류 등을 상기 검출 결과로 도출하는 것이 바람직하다.
상세하게는, 상기 검출단계(S400)는 가변 합성곱 신경망의 적용 결과들을 이용하여 종래의 객체 검출 심층 신경망에 적용하여, 객체의 검출 결과를 도출하는 것이 바람직하다. 즉, 가변 합성곱 신경망을 통해서 거리에 따른 객체의 특징을 추출한 후, 종래의 객체 검출 심층 신경망에 적용하여, 객체의 세부 검출 결과를 도출하게 된다.
즉, 다시 말하자면, 본 발명의 일 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법은, 객체 검출의 정확도를 향상시킬 수 있으며, 객체의 위치까지 정확하게 검출할 수 있어, 매우 정확한 객체 검출 기술이 요구되는 분야에 적용할 수 있는 장점이 있다.
한편, 본 발명의 실시예에 따른 가변 합성곱 신경망을 이용한 객체 검출 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 데이터 입력부
200 : 데이터 융합부
300 : 합성곱 연산부
400 : 결과 생성부

Claims (8)

  1. 객체를 검출하고자 하는 영역에 대해서, 기구비된 제1 촬영수단으로부터 영상 데이터를 입력받고, 기구비된 제2 촬영수단으로부터 3차원 라이다 데이터를 입력받는 데이터 입력부(100);
    상기 데이터 입력부(100)에 입력된 상기 3차원 라이다 데이터를 변환하여 상기 영상 데이터에 투영한 융합 데이터를 생성하는 데이터 융합부(200);
    상기 데이터 융합부(200)에 의해 생성된 상기 융합 데이터를 분석하여, 상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체의 거리 정보를 예측하는 거리 분석부(310)와, 기저장된 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 각 객체의 거리 정보를 이용하여, 각 객체마다 합성곱 필터의 크기를 변환하여, 기저장된 합성곱 신경망에 적용하는 필터 변환부(320)를 포함하는 합성곱 연산부(300); 및
    상기 합성곱 신경망의 적용 결과들을 이용하여 객체의 검출 결과를 도출하는 결과 생성부(400);
    를 포함하여 구성되는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 필터 변환부(320)는
    팽창 합성곱 연산 알고리즘을 이용하여, 상기 거리 분석부(310)에서 분석한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 시스템.
  4. 제 1항에 있어서,
    상기 데이터 융합부(200)는
    상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하며, 4채널의 융합 데이터를 생성하는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 시스템.
  5. 데이터 입력부에서, 객체를 검출하고자 하는 영역에 대한 영상 데이터와 3차원 라이다 데이터를 입력받는 입력단계(S100);
    데이터 융합부에서, 상기 입력단계(S100)에 의해 입력받은 상기 영상 데이터와 상기 3차원 라이다 데이터를 융합한 융합 데이터를 생성하는 융합단계(S200);
    합성곱 연산부에서, 상기 융합단계(S200)에 의해 생성한 상기 융합 데이터를 이용하여, 영역에 포함되어 있는 객체까지의 거리 정보를 예측하고, 예측한 거리 정보에 대응되도록 합성곱의 필터 크기를 변환하여 합성곱 신경망에 적용하는 연산단계(S300); 및
    결과 생성부에서, 상기 연산단계(S300)에 의해 상기 합성곱 신경망의 적용 결과들을 이용하여 영역에 포함되어 있는 객체의 검출 결과를 도출하는 검출단계(S400);
    를 포함하여 구성되는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 방법.
  6. 제 5항에 있어서,
    상기 융합단계(S200)는
    상기 영상 데이터와 상기 3차원 라이다 데이터 간의 회전 변환 행렬을 통해, 상기 3차원 라이다 데이터를 상기 영상 데이터에 투영하여 4채널의 융합 데이터를 생성하는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 방법.
  7. 제 5항에 있어서,
    상기 연산단계(S300)는
    상기 융합 데이터로부터 상기 영상 데이터 내 포함되어 있는 객체까지의 거리 정보를 예측하는 제1 연산단계; 및
    기저장된 합성곱 연산 알고리즘을 이용하여, 상기 제1 연산단계에 의해 예측한 거리 정보를 이용하여 각 객체마다 합성곱 필터의 크기를 변환하여, 기저장된 합성곱 신경망에 적용하는 제2 연산단계;
    를 더 포함하는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 방법.
  8. 제 7항에 있어서,
    상기 제2 연산단계는
    상기 합성곱 연산 알고리즘으로 팽창 합성곱 연산 알고리즘을 이용하여, 상기 제1 연산단계에 의해 예측한 거리 정보와 반비례하도록 합성곱 필터의 크기를 변환하는 것을 특징으로 하는 가변 합성곱 신경망을 이용한 객체 검출 방법.
KR1020210001868A 2021-01-07 2021-01-07 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법 KR102575224B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210001868A KR102575224B1 (ko) 2021-01-07 2021-01-07 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210001868A KR102575224B1 (ko) 2021-01-07 2021-01-07 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220099679A KR20220099679A (ko) 2022-07-14
KR102575224B1 true KR102575224B1 (ko) 2023-09-08

Family

ID=82406862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210001868A KR102575224B1 (ko) 2021-01-07 2021-01-07 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102575224B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
KR102178932B1 (ko) 2018-12-19 2020-11-18 고려대학교 산학협력단 출력 특징 맵의 0에 대한 연산을 스킵할 수 있는 합성곱 신경망의 연산 장치 및 그 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145557B1 (ko) * 2019-02-21 2020-08-18 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법

Also Published As

Publication number Publication date
KR20220099679A (ko) 2022-07-14

Similar Documents

Publication Publication Date Title
US10269125B1 (en) Method for tracking object by using convolutional neural network including tracking network and computing device using the same
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
US9786036B2 (en) Reducing image resolution in deep convolutional networks
WO2023138300A1 (zh) 目标检测方法及应用其的移动目标跟踪方法
JP2019075116A (ja) トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてイメージ上の客体に対応するバウンディングボックスを獲得するための方法及びこれを利用した装置
CN110651310A (zh) 估计对象密度和/或流量的深度学习方法及相关方法和软件
US11741368B2 (en) Image segmentation
Sehgal et al. Lidar-monocular visual odometry with genetic algorithm for parameter optimization
EP3992909A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
KR102310612B1 (ko) 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313918B1 (ko) 3d 데이터와 2d 이미지의 동기화 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102575224B1 (ko) 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
KR20190134920A (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
CN112926574A (zh) 图像识别方法、图像识别装置和系统
WO2023159073A1 (en) Methods and systems of sensor fusion in cooperative perception systems
KR102313940B1 (ko) 연속된 3d 데이터에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230078134A (ko) 제로샷 시맨틱 분할 장치 및 방법
KR20200106111A (ko) 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
Braun et al. Object detection for indoor localization system
KR102343053B1 (ko) 라이다 점군의 3d 바운딩 박스 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343041B1 (ko) 3d 데이터에서 객체 자동 특정 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343054B1 (ko) 3d 데이터 어노테이션 결과물의 대체 및 확대 적용 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
Oh et al. A new object proposal generation method for object detection in RGB-D data
KR102343051B1 (ko) 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right