KR102579927B1 - 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법 - Google Patents

그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법 Download PDF

Info

Publication number
KR102579927B1
KR102579927B1 KR1020210053318A KR20210053318A KR102579927B1 KR 102579927 B1 KR102579927 B1 KR 102579927B1 KR 1020210053318 A KR1020210053318 A KR 1020210053318A KR 20210053318 A KR20210053318 A KR 20210053318A KR 102579927 B1 KR102579927 B1 KR 102579927B1
Authority
KR
South Korea
Prior art keywords
group
expansion
parameters
semantic segmentation
convolution module
Prior art date
Application number
KR1020210053318A
Other languages
English (en)
Other versions
KR20220146750A (ko
Inventor
박강령
김유환
김동섭
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020210053318A priority Critical patent/KR102579927B1/ko
Publication of KR20220146750A publication Critical patent/KR20220146750A/ko
Application granted granted Critical
Publication of KR102579927B1 publication Critical patent/KR102579927B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체의 시멘틱 분할 기술에 관한 것으로, 더욱 상세하게는 객체의 시멘틱 분할 성능을 높여 멀티 스케일의 객체 분할에 강인한 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법에 대한 것이다. 본 발명의 일 실시 예에 따르면, 기존의 컨볼루션 블록의 대체가 용이하여 활용도가 높고, 추가적인 모듈 없이도 시멘틱 분할(semantic segmentation) 성능이 높다.

Description

그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법 {GROUPED DILATED CONVOLUTION MODULE-BASED SEMANTIC SEGMENTATION NETWORK SYSTEM AND METHOD THEREOF}
본 발명은 객체의 시멘틱 분할 기술에 관한 것으로, 더욱 상세하게는 객체의 시멘틱 분할 성능을 높여 멀티 스케일의 객체 탐지를 하는 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법에 대한 것이다.
영상에서의 객체 검출 기술, 객체 분류 등 다양한 컴퓨터 비전 태스크(computer vision task)들이 연구되고 있지만 특히 이중에서도 시멘틱 분할(Semantic Segmentation)는 영상에서 하늘, 길, 빌딩 등의 풍경 외에도 보행자, 자전거 등 직이는 다양한 객체까지 픽셀 단위로 분류 가능한 수준까지 연구되고 있다. 시멘틱 분할(Semantic Segmentation)는 자율 주행, CCTV 보안, 의료 영상 등 다양한 분야에 적용이 가능하기 때문에 유용성(potential)이 높아서, 어려움에도 불구하고 많은 연구가 진행되고 있다. 심층 신경망(DNNs, Deep Neural Networks)의 발전은 이러한 컴퓨터 비전 태스크(computer vision task)에서 많은 성능 향상을 주도했다. 특히 완전 컨볼루션망(FCN, fully convolutional network)은 시멘틱 분할을 위해 기존의 분류 모델(Classification model)을 재설계하는데 효과적으로 활용되어, 최근 시멘틱 분할에서 완전 컨볼루션망(FCN)을 사용한 접근 방식에 중점을 두고 많은 연구가 진행되고 있다. 하지만 시멘틱 분할의 문제는 완전 컨볼루션망(FCN)이 가지는 단순한 인코더-디코더 구조의 적용만으로는 해결이 되지 않는다.
1. 한국 공개특허공보 제10-2020-0074940호 “약한 지도 학습에 기초한 뉴럴 네트워크의 계층적 학습 방법 및 장치”(공개일자: 2020년 06월 25일)
본 발명은 그룹 컨볼루션과 확장 컨볼루션을 활용해 다양한 환경 및 크기의 객체 분할에 강인한 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템을 제공한다.
본 발명의 일 실시 예에 따른 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템은 입력 특징 맵을 그룹화하는 그룹부, 다른 크기의 수용 영역을 이용하는 확장부 및 각 컨볼루션 연산을 거친 특징 맵을 연결하는 연결부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시 예에 따른 , 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 방법 및 이를 실행하는 컴퓨터 프로그램은 입력 특징 맵을 그룹화하는 단계, 그룹화된 상기 입력 특징 맵을 각기 다른 수용 영역으로 연산하는 단계 및 상기 각기 다른 수용 영역으로 연산한 특징 맵을 연결하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 다양한 환경과 다양한 크기의 객체(object)를 검출의 성능을 높여 멀티 스케일(Multi-Scale) 객체 분할(Segmentation)에 강인하다.
또한, 본 발명의 일 실시 예에 따르면, 파라미터의 수를 기존의 모델과 비슷하게 유지하면서 수용 영역(receptive field)을 확장할 수 있어 Multi-Scale 특징을 효율적으로 학습할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 기존의 컨볼루션 블록의 대체가 용이하여 활용도가 높고, 추가적인 모듈 없이도 시멘틱 분할(semantic segmentation) 성능이 높다.
도 1은 본 발명의 일 실시예에 따른 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템을 간략히 예시한 블록도.
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 참조하면 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템을 설명하는 예시 도면들.
도 5는 본 발명의 일 실시 예에 따른 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템의 예시.
도 6은 본 발명의 일 실시예에 따른 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 방법을 도시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
본 발명은 그룹 컨볼루션(grouped convolution)과 확장 컨볼루션(dilated convolution)을 결합하여 multi-scale 특징을 효과적으로 학습하여 객체 분할에 강인하다.
도 1은 본 발명의 일 실시예에 따른 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템을 간략히 예시한 블록도 이다.
도 1을 참조하면 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 그룹부(100), 확장부(200) 및 연결부(300)를 포함할 수 있다.
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 참조하면 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템을 설명하는 예시 도면들이다.
그룹부(100)는 입력 특징 맵을 그룹화하여 컨볼루션 연산을 수행하는 그룹화 컨볼루션(Grouped convolution) 모듈을 설계한다. 그룹화 컨볼루션(Grouped convolution) 모듈은 G(Group) 파라미터(Parameter)와 입력 특징 맵(Feature Map)의 채널을 기준으로 그룹을 분류한다. 그룹부(100)는 분류된 각 그룹별로 컨볼루션 연산을 수행할 수 있다.
도 2를 참조하면, 그룹부(200)는 G 파라미터가 2이므로 H(Height)×W(Width)×C_in/G(입력 특징 맵의 채널)의 각 그룹으로 나눠진다. 그룹부(200)는 그룹을 나누고 각 그룹별로 컨볼루션 연산을 하는 그룹 컨볼루션 모듈을 이용한다. 예를 들어, 커널 사이즈(Kernel size)를 3x3으로 가정하면, 필터 그룹은 이다. 따라서 그룹부(200)는 기존 컨볼루션 대비 파라미터 수가 G만큼 줄어들게 되므로 연산량은 적지만 좋은 효율을 보인다.
도 3을 참조하면, 확장부(300)는 다른 크기의 컨볼루션 필터 대신 확장 컨볼루션 모듈을 사용한다. 확장 컨볼류션 모듈은 다른 크기의 수용 영역(receptive field)을 갖는 필터를 적용하는 애트라우스 공간 피라미드 풀링(ASPP, Atrous Spatial Pyramid Pooling)을 이용한다 애트라우스 공간 피라미드 풀링(ASPP, Atrous Spatial Pyramid Pooling)은 같은 크기의 컨볼루션 대비, 같은 수의 파라미터를 가지지만 더 큰 수용 영역(receptive field)를 가지는 장점이 있다. 예를 들어 3x3 컨볼루션 필터의 경우 9개의 파라미터와 3x3의 수용 영역(receptive field)을 갖지만 애트라우스 공간 피라미드 풀링(ASPP, Atrous Spatial Pyramid Pooling)은 두번째 병렬 확장 3X3 컨볼루션 필터의 경우 9개로 같은 파라미터를 갖지만 5x5의 수용 영역(receptive field)을 갖는다. 또한 세번째 , 네번째는 점점 더 큰 수용 영역을 가지게 된다. 애트라우스 공간 피라미드 풀링(ASPP, Atrous Spatial Pyramid Pooling)은 특징 맵에 병렬적으로 적용된다.
연결부(300)는 각 컨볼루션 필터를 거친 특징 맵들을 연결(concatenation)을 하여 최종 특징 맵을 출력한다.
즉, 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 각 그룹은 그에 상응하는 각기 다른 수용 영역에 대해 학습하게 되므로 출력된 특징 맵은 multi-scale 객체에 강인하다.
도 4를 참조하면, 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 입력 특징 맵을 파라미터에 따라 그룹화 한 후 병렬적으로 각기 다른 수용 영역(receptive field)에 대해 학습을 거친 후 특징 맵을 연결(concatenation)하여 최종 특징 맵을 출력할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템의 예시이다.
도5에 도시한 바와 같이, 그룹부(100)는 그룹 컨볼루션 모듈을 수행하여 32개의 집합을 4개의 하위 그룹으로 분류한다.
확장부(200)는 4개의 각 그룹을 각기 다른 확장 컨볼루션 필터로 연산한다.
연결부(300)는 각기 다른 수용 영역을 가진 확장 컨볼루션 필터를 거쳐 특징을 연결(concatenation)하고, 특징 맵을 출력한다.
그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)은 그룹 컨볼루션 모듈을 이용해 부가적인 연산량과 메모리 비용이 거의 없고, 각기 다른 수용 영역을 이용하여 multi-scale 객체 정보에 대해 용이하게 학습할 수 있다.
도 6은 본 발명의 일 실시예에 따른 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 방법을 도시한 도면이다. 이하 설명하는 각 과정은 단계에서 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템을 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 단계에서 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템으로 통칭하도록 한다.
도6을 참조하면, S610 단계에서 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)은 G(Group) 파라미터(Parameter)와 입력 특징 맵(Feature Map)의 채널을 기준으로 그룹을 분류한다. 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)은 각 그룹별로 컨볼루션 연산을 수행할 수 있다.
S620 단계에서 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)은 분할된 입력 특징 맵을 각기 다른 크기의 수용 영역으로 연산한다.
S630 단계에서 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)은 각각의 컨볼루션 필터를 거친 특징 맵을 연결(concatenation)하여 최종 특징 맵을 추출한다.
[표 1]은 CamVid 데이터셋을 이용한 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)의 실험 결과이다. 다른 방법에 비해 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)의 가장 높은 것을 확인할 수 있다.
Method Pixel acc Class acc mIoU
Souly et al. 87 72.4 58.2
SegNet 90.4 71.2 60.1
Yu et al. - - 65.3
J
Figure 112021048081154-pat00002
gou et al.		 91.5 - 66.9
ICNet - - 67.1
BiSeNet - - 68.7
Yang et al. 89.79 - 69.94
ESSN 92.74 79.66 71.67
Proposed method 94.48 81.62 73.15
[표 2]는 SBD 데이터셋을 이용한 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)의 실험 결과이다. 다른 방법에 비해 그룹 확장 컨볼루션 시멘틱 분할 네트워크 시스템(10)의 가장 높은 것을 확인할 수 있다.
Method Pixel acc Class acc mIoU
Luc et al. [48] 68.7 75.2 54.3
Byeon et al [49] 75.56 68.26 -
Souly et al. [43] 82.3 77.6 63.3
Liu et al. [50] 83.5 76.9 -
Sharma et al. [51] 82.3 79.1 64.5
Mostajabi et al. [5] 86.1 80.9 -
ESSN [55] 87.46 81.51 71.56
Proposed method 89.27 81.98 72.81
SBD는 CamVid와 달리 모든 이미지가 다 같은 크기는 아니지만 평균적으로 320240의 크기를 갖는다. SBD는 학습 데이터셋(training set)과 테스트 데이터 셋(test set)이 따로 구분되어 있지 않으므로, 공정한 실험을 위해 전체 데이터 셋의 약 4/5는 학습 데이터로, 나머지 약 1/5은 테스트 데이터로 사용하는 5-fold cross validation으로 실험을 수행하였다.
그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 여러 환경을 고려하여 필요에 따라 확장 그룹과 파라미터 수에 따른 다양한 모듈(Shallow, wide, small 및 large)로 설계할 수 있다.
그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 확장 그룹이 2개일 때와 4개일 때에 성능 차이를 보인다. 또한 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 파라미터 수에 따라서도 성능이 차이를 보이고 있다. 예를 들면 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)는 확장 그룹이 2개일 때는 S((Shallow), 4개일 때는 W(Wide), 파라미터 수에 따라 S(small)과 L(large)로 나누어 실험하였고, [표 3] 및 [표 6]과 같은 성능 차이를 보인다.
Method Pixel acc Class acc mIoU
GDCM-SS 93.24 80.94 72.93
GDCM-SL 92.87 80.11 71.68
GDCM-WS 94.48 81.62 73.15
GDCM-WL 93.64 80.25 71.92
[표 3]은 CamVid 데이터 셋으로 수행한 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)의 파라미터 수와 그룹 수에 따른 성능표이다.
Method Repetitions of each block mIoU # of model parameters
GDCM-SS (3,3,5,5) 72.93 13.5M
(4,4,6,6) 73.09 15.6M
GDCM-WS (3,3,5,5) 73.15 13.3M
(4,4,6,6) 73.35 15.6M
[표 4]는 [표3]에서 수행한 모듈들의 파라미터의 수에 따른 성능이다.
Method # of dilated group Dilation parameters of each group
GDCM-SS 2 (1,2)
GDCM-SL (1,4)
GDCM-WS 4 (1,2,3,4)
GDCM-WL (1,2,4,8)
[표 5]는 [표3]에서 언급한 확장 그룹에 대해 나타낸 것이다.
Method Pixel acc. Class acc. mIoU
GDCM-SS 88.92 81.24 71.95
GDCM-SL 87.81 80.72 71.04
GDCM-WS 89.27 81.98 72.81
GDCM-WL 87.81 80.72 71.04
[표 6]은 SBD 데이터 셋을 사용했을 때, 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템(10)의 파라미터 수와 그룹 수에 따른 성능표이다.
Method Repetitions of each block mIoU # of model parameters
GDCM-SS (3,3,5,5) 71.95 13.5M
(4,4,6,6) 72.24 15.6M
GDCM-WS (3,3,5,5) 72.81 13.3M
(4,4,6,6) 72.77 15.6M
[표 7]은 [표6]에서 수행한 모듈들의 파라미터의 수에 따른 성능이다.
상술한 그룹 확장 컨볼루션 모듈 기반 시멘틱 분할 네트워크 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템
100: 그룹부
200: 확장부
300: 연결부

Claims (5)

  1. 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템에 있어서,
    입력 특징 맵을 그룹화하는 그룹부;
    다른 크기의 수용 영역을 이용하는 확장부; 및
    각 컨볼루션 연산을 거친 특징 맵을 연결하는 연결부를 포함하되,
    상기 그룹부는
    G(그룹 파라미터)를 이용해 파라미터 수를 줄이고,
    상기 G(그룹 파라미터)와 입력 특징 맵의 채널을 기준으로 그룹을 분류하고, 각 그룹을 나눈 후 분류된 각 그룹별로 컨볼루션 연산을 수행하는 그룹 컨볼류션 모듈을 적용하고,
    상기 기준은
    H(Height) X W(Weight) X C_in(입력 특징 맵의 채널)/G(그룹 파라미터)의 계산값으로 하고,
    상기 확장부는
    다른 크기의 컨볼루션 필터 대신 다른 크기의 수용 영역을 포함하는 확장 컨볼루션 모듈을 사용하고,
    상기 확장 컨볼루션 모듈은
    같은 크기의 컨볼루션 대비, 같은 수의 파라미터를 가지지만 더 큰 수용 영역을 가지는 애트라우수 공간 피라미드 풀링(ASPP)을 이용하고,
    상기 애트라우수 공간 피라미드 풀링(ASPP)은 특징 맵에 병렬적으로 적용되고, 첫번째 확장 컨볼루션을 기준으로 수용 영역이 점점 더 커지므로 각기 다른 크기의 수용 영역을 포함하고,
    확장 그룹의 수와 파라미터 수에 따라 성능 차이가 있으므로, 확장 그룹과 파라미터 수를 달리하여 설계하고,
    상기 확장 그룹의 수가 2개인 경우 S(Shallow), 4개인 경우 W(Wide)로 구분하고, 상기 파라미터 수는 S(Small)과 L(Large)로 구분하여 설계하는 경우, 확장 그룹에 W(Wide)이고, 파라미터 수가 S(Small) 일 때 성능이 가장 좋은 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템.
  2. 삭제
  3. 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템의 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 방법에 있어서,
    입력 특징 맵을 그룹화하는 단계;
    그룹화된 상기 입력 특징 맵을 각기 다른 수용 영역으로 연산하는 단계; 및
    상기 각기 다른 수용 영역으로 연산한 특징 맵을 연결하는 단계를 포함하되,
    상기 입력 특징 맵을 그룹화하는 단계는
    G(그룹 파라미터)를 이용해 파라미터 수를 줄이고,
    상기 G(그룹 파라미터)와 입력 특징 맵의 채널을 기준으로 그룹을 분류하고, 각 그룹을 나눈 후 분류된 각 그룹별로 컨볼루션 연산을 수행하는 그룹 컨볼류션 모듈을 적용하고,
    상기 기준은
    H(Height) X W(Weight) X C_in(입력 특징 맵의 채널)/G(파라미터)의 각 그룹을 나눈 후 각 그룹별로 컨볼루션 연산을 수행하고,
    상기 그룹화된 상기 입력 특징 맵을 각기 다른 수용 영역으로 연산하는 단계는
    다른 크기의 컨볼루션 필터 대신 다른 크기의 수용 영역을 포함하는 확장 컨볼루션 모듈을 사용하고,
    상기 확장 컨볼루션 모듈은
    같은 크기의 컨볼루션 대비, 같은 수의 파라미터를 가지지만 더 큰 수용 영역을 가지는 애트라우수 공간 피라미드 풀링(ASPP)을 이용하고,
    상기 애트라우수 공간 피라미드 풀링(ASPP)은 특징 맵에 병렬적으로 적용되고, 첫번째 확장 컨볼루션을 기준으로 수용 영역이 점점 더 커지므로 각기 다른 크기의 수용 영역을 포함하고,
    확장 그룹의 수와 파라미터 수에 따라 성능 차이가 있으므로, 확장 그룹과 파라미터 수를 달리하여 설계하고,
    상기 확장 그룹의 수가 2개인 경우 S(Shallow), 4개인 경우 W(Wide)로 구분하고, 상기 파라미터 수는 S(Small)과 L(Large)로 구분하여 설계하는 경우, 확장 그룹에 W(Wide)이고, 파라미터 수가 S(Small) 일 때 성능이 가장 좋은 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 방법.
  4. 삭제
  5. 제3항의 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020210053318A 2021-04-23 2021-04-23 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법 KR102579927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210053318A KR102579927B1 (ko) 2021-04-23 2021-04-23 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210053318A KR102579927B1 (ko) 2021-04-23 2021-04-23 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220146750A KR20220146750A (ko) 2022-11-02
KR102579927B1 true KR102579927B1 (ko) 2023-09-19

Family

ID=84084513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210053318A KR102579927B1 (ko) 2021-04-23 2021-04-23 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102579927B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200327409A1 (en) 2017-11-16 2020-10-15 Samsung Electronics Co., Ltd. Method and device for hierarchical learning of neural network, based on weakly supervised learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Luyi Qiu et al, "3D EMSU-Net: A framework for automatic segmentation of brain tumors", 2021 6th International Conference on Intelligent Computing and Signal Processing, 2021.04*
Sachin Mehta et al, "ESPNetv2: A Light-Weight, Power Efficient, and General Purpose Convolutional Neural Network", Proceedings of the IEEE/CVF Conference on CVPR, 2019, pp. 9190-9200*

Also Published As

Publication number Publication date
KR20220146750A (ko) 2022-11-02

Similar Documents

Publication Publication Date Title
CN110059710B (zh) 用于利用卷积神经网络进行图像分类的装置和方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111563507B (zh) 一种基于卷积神经网络的室内场景语义分割方法
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN111723829B (zh) 一种基于注意力掩模融合的全卷积目标检测方法
CN107480203A (zh) 一种针对相同及相似图片去重的图像数据清洗方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
Hu et al. Learning hybrid convolutional features for edge detection
CN111797836B (zh) 一种基于深度学习的地外天体巡视器障碍物分割方法
CN114207628A (zh) 通过调整存储器内计算阵列的列阈值来执行xnor等效运算
CN110738663A (zh) 双域适应模块金字塔型网络及无监督域适应图像分割方法
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
Delibasoglu et al. Improved U-Nets with inception blocks for building detection
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
Tsai et al. Wafer map defect classification with depthwise separable convolutions
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN112926595B (zh) 深度学习神经网络模型的训练装置、目标检测系统及方法
KR102579927B1 (ko) 그룹 확장 컨벌루션 모듈 기반 시멘틱 분할 네트워크 시스템 및 방법
CN111179212A (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
Zamora et al. Convolutional filter approximation using fractional calculus
CN114549958A (zh) 基于上下文信息感知机理的夜间和伪装目标检测方法
CN113191367A (zh) 基于密集尺度动态网络的语义分割方法
CN112733754A (zh) 红外夜视图像行人检测方法、电子设备及存储介质
Mototake et al. The dynamics of deep neural networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant