KR102144358B1 - 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 - Google Patents

이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 Download PDF

Info

Publication number
KR102144358B1
KR102144358B1 KR1020180117330A KR20180117330A KR102144358B1 KR 102144358 B1 KR102144358 B1 KR 102144358B1 KR 1020180117330 A KR1020180117330 A KR 1020180117330A KR 20180117330 A KR20180117330 A KR 20180117330A KR 102144358 B1 KR102144358 B1 KR 102144358B1
Authority
KR
South Korea
Prior art keywords
filters
decoding
feature map
learning
filter
Prior art date
Application number
KR1020180117330A
Other languages
English (en)
Other versions
KR20190039460A (ko
Inventor
김용중
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20190039460A publication Critical patent/KR20190039460A/ko
Application granted granted Critical
Publication of KR102144358B1 publication Critical patent/KR102144358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명에서는 이미지 세그멘테이션을 위한 학습 방법 및 테스트 방법 그리고 이를 이용한 학습 장치와 테스트 장치가 개시되는 바, 이는 딥 러닝을 이용한 이미지 인식 기술 분야에 속한 것이다. 학습 장치는, 디코딩 레이어를 거쳐 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 순차적으로 획득하는 프로세스를 수행하되, 제3-1 내지 제3-H 필터에 대응하는 H 개의 상기 디코딩 레이어의 필터로부터 특징 맵을 획득할 때에는 디코딩 레이어의 이전 필터로부터의 특징 맵 및 제3-1, 제3-1, .., 제3-H 특징 맵을 이용하여 획득하고, 제3-1 내지 제3-H 필터에 대응되지 않는 (K-H) 개의 상기 디코딩 레이어의 필터로부터 특징 맵을 획득할 때에는, 디코딩 레이어의 이전 필터로부터의 특징 맵을 이용하여 획득하는 프로세스를 수행한다.

Description

이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치{LEARNING METHOD AND DEVICE FOR IMAGE SEGMENTATION AND IMAGE SEGMENTATION METHOD AND DEVICE USING THE SAME}
본 발명은 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치에 관한 것이다. 보다 상세하게는, (i) 트레이닝 이미지로서의 입력 이미지에 대응하는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어;를 포함하는 학습 장치를 이용하여 이미지 세그멘테이션의 성능 향상을 위한 학습 방법에 있어서, (a) 상기 입력 이미지가 입력되면, 상기 학습 장치는, 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스를 수행하는 단계; (b) 상기 학습 장치는, H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 상기 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스를 수행하는 단계; (c) 상기 학습 장치는, (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 획득하는 프로세스를 수행하는 단계; 및 (d) 상기 학습 장치는, 상기 제 2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 단계; 를 포함하는 것을 특징으로 하는 학습 방법에 관한 것이다.
딥 컨벌루션 뉴럴 네트워크(Deep Convolution Neural Networks; DeepCNNs)는 딥 러닝 분야에서 일어난 놀라운 발전의 핵심이다. CNNs은 글자 인식 문제를 풀기 위해 90년대에 이미 사용되었지만, 현재처럼 널리 쓰이게 된 것은 최근의 연구 결과 덕분이다. 이러한 딥 CNN은 2012년 ImageNet 이미지 분류 시합에서 다른 경쟁자들을 이기고 우승을 차지했다. 그리고 나서 컨벌루션 뉴럴 네트워크는 Machine Learning 분야에서 매우 유용한 툴이 되었다.
한편, 이미지 세그멘테이션은 입력으로 이미지(트레이닝 이미지 or 테스트 이미지)를 받아서 출력으로 라벨(label) 이미지를 만들어내는 방법이다. 최근 딥러닝(Deep learning) 기술이 각광을 받으면서 세그멘테이션도 딥러닝을 많이 사용하는 추세이다.
도 1은 종래 기술에 따른 이미지 세그멘테이션을 수행할 수 있는 CNN의 학습 과정을 나타내는 도면이다.
도 1을 참조하면, 트레이닝 이미지 또는 테스트 이미지 등의 입력 이미지가 입력되면 복수 개의 필터 (즉, 컨벌루션 필터)에서 여러 번의 컨볼루션 연산을 수행하여 특징 맵을 획득한다. 그리고 나서 최종적으로 생성된 특징 맵을 복수 개의 디컨벌루션 필터에서 여러 번의 디컨볼루션 연산을 수행하여 라벨 이미지를 획득한다. 이렇게 컨볼루션 연산으로 이미지를 인코딩하여 특징 맵을 획득하고, 특징 맵을 디코딩하여 다시 라벨 이미지를 획득하는 구조를 인코딩-디코딩 네트워크, 또는 U-Net이라고 한다. 인코딩 과정에서 각 컨볼루션 연산을 수행할 때마다 입력 이미지의 크기가 1/2로 줄어지게 되는데, 이는 이미지 사이즈를 줄여서 연산량을 줄이고자 하기 위함이다. 또한 인코딩 과정에서 컨볼루션 필터를 통해 입력된 이미지의 채널 수는 증가하는 데 이는 줄여진 연산량의 이득을 활용하면서도 늘어난 채널을 통해 복잡한 패턴을 얻어내기 위함이다. 일반적으로 인코딩 과정에서 각각의 컨볼루션 필터를 거칠 때마다 이미지 사이즈는 1/2로 줄어들고 채널 수는 2배로 늘어난다. 이렇게 줄어든 특징 맵은 고주파 영역이 많이 제거되고 저주파 영역 위주의 정보를 가지게 되는데 이러한 저주파 영역은 이미지의 의미있는(meaningful) 부분, 즉, 하늘, 도로, 건물, 자동차 등 자세한 부분을 의미한다. 이러한 의미있는 파트를 디컨볼루션 연산 즉, 디코딩 연산을 통해 라벨 이미지로 유추하게 된다.
최근 위와 같은 U-Net 구조의 네트워크를 이용한 이미지 세그멘테이션 과정에서 성능을 증가시키기 위한 노력이 있어왔다. 이에 따라 본 출원인은 이미지 세그멘테이션의 성능을 증가시킬 수 있도록 디코딩 과정에서 인코더에서 나온 특징 맵의 정보를 효율적으로 이용하는 새로운 기술을 제공하고자 한다.
본 발명은 이미지 세그멘테이션 시 더 나은 엣지 정보를 표현할 수 있는 방법을 제공하는 것을 목적으로 한다.
본 발명은 학습 과정에서 인코더에서 출력된 각 특징 맵을 이용하여 우수한 엣지 정보를 디코더에 제공함으로써 최적의 파라미터를 찾을 수 있는 학습 환경을 제공하는 것을 목적으로 한다.
또한 본 발명은 최적의 파라미터를 찾아 정확한 이미지 세그멘테이션을 제공할 수 있는 장치와 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르면, (i) 트레이닝 이미지로서의 입력 이미지에 대응하는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하여 이미지 세그멘테이션의 성능 향상을 위한 학습 방법이, (a) 상기 입력 이미지가 입력되면, 상기 학습 장치는, 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스를 수행하는 단계; (b) 상기 학습 장치는, H개의 인코딩 필터들의 각각의 출력을 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 상기 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스를 수행하는 단계; (c) 상기 학습 장치는, (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계; 및 (d) 상기 학습 장치는, 상기 제 2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 단계; 를 포함하는 것을 특징으로 하는 학습 방법이 제공된다.
상기 일 실시예에 따르면, 상기 (a) 단계에서, 상기 학습 장치는, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 상기 제1-K 특징 맵을 생성하며, 상기 (b) 단계에서, 상기 학습 장치는, 상기 제3-1 내지 상기 제3-H 필터의 출력으로부터 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 특징 맵을 생성하고, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 상기 제2-1 특징 맵을 생성하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (b) 단계에서, 상기 학습 장치는, H개의 인코딩 필터의 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 특징 맵들을 획득하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 H 가 K 값인 경우, 상기 학습 장치는, (i) 상기 제1-1 내지 제1-K 특징 맵 각각을 제3-1 내지 제3-K 필터로 입력함으로써, 제3-1 내지 제3-K 특징 맵들을 생성한 후, (ii) 상기 제3-1 내지 제3-K 특징 맵 각각을 상기 제2-1 내지 상기 2-K 필터로 전달하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 상기 다이레이션 컨볼루션을 수행하는 상기 중간 레이어의 각 필터의 Receptive field는 일부 영역의 필터 weight을 제외한 나머지 영역의 필터 weight 들은 0으로 채워진 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제3-1, 상기 제3-2, .., 상기 제3-H 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵의 정보를 이용하여 디컨볼루션 연산을 수행하고, 상기 제2-1 내지 제2-K 특징 맵들 중 H개의 디코딩 필터로부터 특징 맵을 획득하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 필터로 하여금 상기 제 3-H 필터에서 출력된 제 3-H 특징 맵을 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 방법이 제공된다.
또한, 상기 일 실시예에 따르면, 상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우, 상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 필터로 하여금 상기 제1-K 특징 맵과 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 방법이 제공된다.
본 발명의 다른 실시예에 따르면, 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션을 수행하는 테스트 방법에 있어서, (a) (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는, (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-1, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 디코딩의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H 개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 (K-H)개의 상기 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 획득하는 단계; (b) 상기 테스트 장치가, 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계; (c) 상기 테스트 장치는, 상기 H개의 인코딩 필터의 각각의 테스트용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계; (d) 상기 테스트 장치는, (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 (K-H)개의 상기 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계;를 포함하는 세그멘테이션 방법이 제공된다.
상기 다른 실시예에 따르면, 상기 (b) 단계에서, 상기 테스트 장치는, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 제1-K 테스트용 특징 맵을 생성하며, 상기 (c) 단계에서, 상기 테스트 장치는, 상기 제3-1 내지 상기 제3-H 필터의 테스트용 출력으로부터 테스트용 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 테스트용 특징 맵을 생성하고, 상기 (d) 단계에서, 상기 테스트 장치는, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 제2-1 테스트용 특징 맵을 생성하는 것을 특징으로 하는 세그멘테이션 방법이 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 (c) 단계에서, 상기 테스트 장치는, H개의 인코딩 필터의 테스트용 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 테스트용 특징 맵들을 획득하는 것을 특징으로 하는 세그멘테이션 방법이 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터들 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 세그멘테이션 방법이 제공된다.
또한, 상기 다른 실시예에 따르면, 상기 (d) 단계에서, 상기 테스트 장치는, 상기 제3-1 내지 제3-H 테스트용 특징 맵의 정보와 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵의 정보를 이용하여 디컨벌루션 연산을 수행하고, 상기 제2-1 내지 2-K 테스트용 특징 맵들 중 상기 H 개의 디코딩 필터로부터 테스트용 특징 맵을 획득하는 것을 특징으로 하는 세그멘테이션 방법이 제공된다.
본 발명의 또 다른 실시예에 따르면, (i) 트레이닝 이미지로서의 입력 이미지에 대응되는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 이미지 세그멘테이션의 성능 향상을 위한 학습 장치에 있어서, 상기 입력 이미지를 수신하는 통신부; 및 (I) 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 상기 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스; 및 (IV) 상기 제 2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행하는 프로세서; 를 포함하는 것을 특징으로 하는 학습 장치가 제공된다.
상기 또 다른 실시예에 따르면, 상기 (I) 프로세스에서, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 상기 제1-K 특징 맵을 생성하며, 상기 (II) 프로세스에서, 상기 제3-1 내지 상기 제3-H 필터의 출력으로부터 엣지 정보를 추출함으로써 상기 제3-1 내지 상기 제3-H 특징 맵을 생성하고, 상기 (III) 프로세스에서, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 상기 제2-1 특징 맵을 생성하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 (II) 프로세스에서, 상기H개의 인코딩 필터의 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 특징 맵들을 획득하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 H 가 K 값인 경우, (i) 상기 제1-1 내지 제1-K 특징 맵 각각을 제3-1 내지 제3-K 필터로 입력함으로써, 제3-1 내지 제3-K 특징 맵들을 생성한 후, (ii) 상기 제3-1 내지 제3-K 특징 맵 각각을 상기 제2-1 내지 상기 2-K 필터로 전달하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터 중 상기 다이레이션 컨볼루션을 수행하는 상기 중간 레이어의 각 필터의 Receptive field는 일부 영역의 필터 weight을 제외한 나머지 영역의 필터 weight 들은 0으로 채워진 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 (III) 프로세스에서, 상기 제3-1, 상기 제3-2, .., 상기 제3-H 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵의 정보를 이용하여 디컨볼루션 연산을 수행하고, 상기 제2-1 내지 제2-K 특징 맵들 중 H개의 디코딩 필터로부터 특징 맵을 획득하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우, 상기 (III) 프로세스에서, 상기 제2-K 필터로 하여금 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 디컨벌루션 연산을 수행함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우, 상 상기 (III) 프로세스에서, 상기 제2-K 필터로 하여금 상기 제1-K 특징 맵과 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 이용하여 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 장치가 제공된다.
본 발명의 또 다른 실시예에 따르면, 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션 장치에 있어서, (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는 (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 상기 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H) 개의 디코딩 필터로 하여금 상기 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 수신하는 통신부; 및 (I) 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스;를 수행하는 프로세서;를 포함하는 세그멘테이션 장치가 제공된다.
상기 또 다른 실시예에 따르면, 상기 (I) 프로세스에서, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 제1-K 테스트용 특징 맵을 생성하며, 상기 (II) 프로세스에서, 상기 제3-1 내지 상기 제3-H 필터의 테스트용 출력으로부터 테스트용 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 테스트용 특징 맵을 생성하고, 상기 (III) 프로세스에서, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 제2-1 테스트용 특징 맵을 생성하는 것을 특징으로 하는 세그멘테이션 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 (II) 프로세스에서, 상기 H개의 인코딩 필터의 테스트용 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 테스트용 특징 맵들을 획득하는 것을 특징으로 하는 세그멘테이션 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 제3-1 내지 상기 제3-H 필터들 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 세그멘테이션 장치가 제공된다.
또한, 상기 또 다른 실시예에 따르면, 상기 (III) 프로세스에서, 상기 제3-1 내지 제3-H 테스트용 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵의 정보를 이용하여 디컨벌루션 연산을 수행하고, 상기 제2-1 내지 제2-K 테스트용 특징 맵들 중 상기 H 개의 디코딩 필터로부터 테스트용 특징 맵을 획득하는 것을 특징으로 하는 세그멘테이션 장치가 제공된다.
본 발명에 따르면, 다이레이션 컨볼루션 연산을 인코더의 필터들과 디코더 필터들 사이에 삽입하여 이미지 세그멘테이션의 전체 네트워크 학습 과정 및 테스트 과정이 좀 더 효과적으로 수행될 수 있다.
본 발명에 따르면, CNN 모델의 학습 장치가 이미지 내의 물체의 엣지와 context 정보 등을 보완하여 학습하도록 할 수 있다.
본 발명에 따르면, 이미지 세그멘테이션 시 더 나은 엣지 정보를 표현하도록 세그멘테이션을 수행할 수 있다.
도 1은 종래 기술에 따른 이미지 세그멘테이션을 수행할 수 있는 CNN의 학습 과정을 나타내는 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 다이레이션 컨볼루션을 이용한 이미지 세그멘테이션을 수행하는 학습 방법을 나타내는 도면이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 다양한 FOV를 가지는 다이레이션 컨볼루션 필터를 나타내는 도면이고, 도 3d는 컨볼루션 연산과 다이레이션 컨볼루션 연산의 차이를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 제2-K 특징 맵을 생성하는 과정을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 제2-K 특징 맵을 생성하는 과정을 나타내는 도면이다.
도 6a 및 도 6b는 본 발명의 또 다른 실시예에 따른 다이레이션 컨볼루션 을 이용하여 이미지 세그멘테이션을 수행하는 학습 방법을 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 다이레이션 컨볼루션을 이용한 이미지 세그멘테이션을 수행하는 학습 방법을 나타내는 도면이다. 도 2a 및 도 2b에 도시된 CNN 모델을 이용한 이미지 세그멘테이션을 위한 학습 장치는 통신부(미도시)와 프로세서(미도시)를 포함할 수 있다.
구체적으로, 통신부는 입력 이미지로 트레이닝 이미지를 수신할 수 있고, 프로세서는 인코딩 레이어에 있는 복수 개의 필터, 즉 컨볼루션 필터를 통해 입력 이미지에 대하여 컨볼루션 연산을 복수 회 적용하여 특징 맵을 획득하는 프로세스를 수행할 수 있다. 그런 다음, 프로세서는 복수의 필터를 통해 특정 특징 맵(즉, 인코딩 레이어로부터의 최종 출력)에 대하여 디코딩 레이어에서 복수 개의 필터(즉, 디컨볼루션 필터)를 통해 디컨볼루션 연산을 복수 회 적용함으로써, 입력 이미지에 대응하는 라벨 이미지를 획득하는 프로세스를 수행할 수 있다. 또한, 프로세서는 CNN의 각 필터에 대해 원본 정답 라벨 이미지와 추정된 라벨 이미지 사이의 로스를 이용하여 백프로포게이션 과정을 수행함으로써 CNN 모델 내의 각 필터 또는 레이어들의 파라미터를 최적화하는 프로세스를 수행할 수 있다.
도 2a 및 도 2b를 참조하면, 본 발명에 따른 학습 장치는 K 개 필터 (제1-1 필터 내지 제1-K 필터)를 포함하는 인코딩 레이어와 이에 대응되는 K 개의 필터(제2-K 내지 제2-1 필터)를 포함하는 디코딩 레이어를 포함한다. 또한, 학습장치는, 상기 인코딩 레이어의 상기 제1-1 필터 내지 제1-K 필터 각각과 상기 디코딩 레이어의 상기 제2-1 내지 제2-K 필터 중 대응하는 필터 사이에 배치된 제3-1 필터 내지 제3-K 필터를 포함하는 중간 레이어를 포함한다. 또한, 학습장치는, 추가로 생성된 최종 출력 결과물, 예를 들어 라벨 이미지와 원본 정답 라벨 이미지 사이의 차이를 계산하여 로스를 생성하는 적어도 하나의 로스 레이어를 포함한다.
또한, 도 2a 및 도 2b를 참조하면, 본 발명에 따른 학습 방법은, 학습 장치의 통신부가 입력 이미지로서 트레이닝 이미지를 입력 받아 인코딩 레이어의 제1-1 필터로 입력하면서 시작된다. 또한, 상기 인코딩 레이어의 제1-1 내지 제1-K 필터는 입력된 이미지에 대응하는 특징 맵을 구하기 위해 컨벌루션 연산을 수행한다.
구체적으로, 도 2a 및 도 2b에서 제1-1 필터는 입력 이미지를 입력받아 컨벌루션 연산하여 제1-1 특징 맵을 생성하여 출력하고, 제1-2 필터는 상기 제1-1 특징 맵을 입력받아 컨벌루션 연산하여 제1-2 특징 맵을 생성하여 출력하며, 제1-3 필터는 상기 제1-2 특징 맵을 입력받아 컨벌루션 연산하여 제1-3 특징 맵을 생성하여 출력하며, …, 제1-(K-2) 필터는 제1-(K-3) 특징 맵을 입력받아 컨벌루션 연산하여 제1-(K-2) 특징 맵을 생성하여 출력하며, 제1-(K-1) 필터는 상기 제1-(K-2) 특징 맵을 입력받아 컨벌루션 연산하여 제1-(K-1) 특징 맵을 생성하여 출력하며, 제1-K 필터는 상기 제1-(K-1) 특징 맵을 입력받아 컨벌루션 연산하여 제1-K 특징 맵을 생성하여 출력한다.
이때, 제1-1 내지 제1-K 필터에서 컨벌루션 연산을 수행할 때마다 입력 이미지의 크기는 1/2로 줄어든다. 또한, 컨벌루션 연산이 적용될 때 마다 제1-1 내지 제1-K 필터의 출력의 채널 수는 입력의 2배로 증가하지만, 사이즈의 증가비율 또는 감소 비율, 채널의 수는 제한되지 않는다.
예를 들어, 트레이닝 이미지의 크기가 640x480, 그 채널 수가 3이라면, 제1-1 특징 맵은 크기가 320x240이고, 채널 수는 8이고, 제1-2 특징 맵은 크기가 160x120, 채널 수는 16, 제1-3 특징 맵은 크기가 80x60, 채널 수는 32 일 수 있다.
이후, 제1-K 특징 맵은 디코딩 레이어로 입력되어 라벨 이미지를 생성하는 데 이용된다. 상기 디코딩 레이어의 제2-K 내지 제2-1 필터는 라벨 이미지를 구하기 위해 즉, 이미지를 세그멘테이션 하기 위해 디컨벌루션 연산을 수행한다.
한편, 도 2a 및 도 2b를 참조하면, 본 발명에서는 인코딩 레이어와 디코딩 레이어 사이에 중간 레이어를 더 포함하고, 상기 중간 레이어는 제3-1 내지 제3-K 필터를 포함한다. 상기 제3-1 내지 제3-K 필터 중 상기 제3-1 필터는 상기 제1-1 필터와 제2-1 필터 사이에, 제3-2 필터는 상기 제1-2 필터와 상기 제2-2필터 사이에, …, 상기 제3-K 필터는 상기 제1-K 필터와 상기 제2-K 필터 사이에 위치한다. 즉, 중간 레이어의 각 필터는 인코딩 레이어의 필터와 대응하는 디코딩 레이어의 필터 사이에 배치될 수 있다.
일례로서, 상기 제3-1 필터 내지 상기 제3-K 필터 중 적어도 하나의 필터는 다이레이션 컨볼루션 필터일 수 있다. 그리고 상기 제3-1 필터 내지 상기 제3-K 필터 중 다이레이션 컨볼루션 필터가 아닌 다른 필터들 중 적어도 하나의 필터는 컨볼루션 필터일 수 있다. 또한 상기 제3-1 필터 내지 상기 제3-K 필터 모두 다이레이션 컨볼루션 필터일 수도 있다.
또한, 상기 제3-1 필터 내지 상기 제3-K 필터는 각각 상기 제1-1 특징 맵 내지 상기 제1-K 특징 맵에서 엣지 정보를 추출함으로써 상기 제3-1 내지 상기 제3-K 특징 맵을 생성할 수 있다. 여기서, 상기 제3-1 필터 내지 상기 제3-K 필터는 각각 상기 제1-1 특징 맵 내지 상기 제1-K 특징 맵에서 주파수 변화가 소정의 임계치 이상인 부분을 추출하여 제3-1 내지 제3-H 특징 맵들을 획득할 수도 있을 것이다. 예를 들어, 특정 부분은 입력 이미지의 엣지일 수 있다.
각각의 대응하는 이전 필터로부터 제공된 특징 맵에 디컨볼루션 연산이 적용될 때, 디코딩 레이어의 필터는 제3-1 특징 맵 내지 제3-K 특징 맵 중에서 대응하는 특징 맵에 포함된 에지에 대한 정보를 활용할 수 있다.
일반적으로, 디코딩된 특징 맵의 사이즈를 증가시키는 디코딩 프로세스 중에 에지에 대한 정보가 복구되지 않을 수도 있다는 문제점이 있다. 따라서, 본 발명에 따르면, 프로세서는 에지 정보를 복구하는데에 도움을 주기 위해 중간 레이어의 필터로부터 디코딩 레이어의 필터로 에지 정보를 제공할 수 있다.
구체적으로, 중간 레이어는 인코딩 레이어의 필터 각각으로부터 얻은 각각의 인코딩된 특징 맵으로부터 에지 정보를 추출하고, 제3-1 특징 맵 내지 제3-K 특징 맵의 에지 정보를 각각 디코딩 레이어의 각각 대응하는 필터로 전달할 수 있다. 따라서, 디컨볼루션 연산을 수행할 때, 추출된 에지 정보가 사용될 수 있다.
이하에서는, 제3-1 필터 내지 제3-K 필터의 전부가 다이레이션 컨볼루션 필터인 경우, 본 발명의 일 실시예에 따라 이미지 세그멘테이션을 수행할 수 있는 CNN의 학습 과정을 설명한다.
상기 제3-1 필터는 상기 제1-1 필터로부터 제1-1 특징 맵을 수신한 후, 다이레이션 컨볼루션 연산을 수행하여 제3-1 특징 맵을 생성하고, 제2-1 필터로 제공할 수 있다. 이어서, 상기 제3-2 필터는 상기 제1-2 필터로부터 제1-2 특징 맵을 수신한 후, 다이레이션 컨볼루션 연산을 수행하여 제3-2 특징 맵을 생성하고, 제2-2 필터로 제공할 수 있다. 즉, 중간 레이어의 나머지 필터들은 동일한 절차에 따라 동일한 프로세스가 수행될 수 있습니다.
도 3a는 컨볼루션 필터의 일례를 나타태는 도면이다. 그리고 도 3b 내지 도 3c는 FOV를 가지는 다이레이션 컨볼루션의 다양한 예를 나타내는 도면이다.
도 3b 내지 도 3c와 같이, 다이레이션 컨볼루션 연산은 도 3a에서 나타낸 컨볼루션 필터를 도 3b 내지 도 3c와 같은 필터 구조로 변경하여 컨볼루션 연산하는 것을 말한다. 따라서, 다이레이션 컨볼루션 필터의 사이즈는 컨볼루션 필터의 사이즈보다 클 수 있다. 필터의 사이즈를 확장시키기 위해, 다이레이션 컨볼루션 필터의 가중치(즉, 파라미터)의 일부는 컨볼루션 필터로부터 얻어진 가중치를 제외하고는 0으로 채워질 수 있다. 만약 필터의 사이즈가 확장되더라도 전체 계산 시간은 가중치가 없기 때문에 동일하게 유지될 수 있다. 따라서, 제로 가중치의 계산 시간이 매우 짧기 때문에 전체 계산 시간을 증가시키지 않으면서 FOV를 증가시킬 수 있다. 또한, 만약 필터의 사이즈가 확장되더라도 FOV는 해상도의 손실없이 사이즈를 확장할 수 있다.
도 3b 및 도 3c에 도시된 바와 같이, 컨볼루션 필터로부터 얻은 가중치의 값은 점으로 표시되고, 나머지 FOV 부분은 0으로 채워진다. 여기서, FOV는 출력된 특징 맵의 한 픽셀 생성에 영향을 미친 입력 특징 맵의 픽셀 영역을 의미한다.
도 3a 내지 도 3c는 다양한 FOV를 나타낸 것이며, 도 3a는 FOV가 3x3인 3x3 컨벌루션 필터이고, 도 3b는 FOV의 크기가 7x7인 2-dilated 컨볼루션 필터를 나타내고, 도 3c는 FOV의 크기는 15x15인 4-dilated 컨볼루션 필터를 나타낸다.
또한, 도 3d는 컨볼루션과 다이레이션 컨볼루션의 연산의 예를 나타내는데, 도 3d의 좌측 도면은 연산 대상이 되는 트레이닝 이미지 또는 특징 맵의 픽셀 값을 나타내고, 가운데 상부 도면은 컨볼루션 필터 그리고 가운데 하부 도면은 2-dilated 컨볼루션 필터를 나타낸다. 상기 컨볼루션 필터와 다이레이션 컨볼루션 필터는 연산량은 동일하지만, 2-다이레이션 컨볼루션의 FOV가 컨볼루션 필터의 FOV보다 더 크다. 도 3d의 오른쪽 도면과 같은 3x3결과를 얻기 위해서 일반적인 컨볼루션을 사용하면 도 3d 좌측 이미지 중 음영 표시된 영역의 FOV만 참조(즉, 출력되는 특징 맵의 1픽셀 생성시 음영 표시된 영역에 대응되는 크기의 픽셀들만 연산)하고 2-다이레이션 컨볼루션 필터는 도 3d 좌측 이미지의 음영 표시 영역뿐 아니라 전체 영역을 참조할 수 있다. 즉, 같은 결과를 얻기 위해서 참조하는 영역이 2-다이레이션 컨볼루션이 더 크다는 의미이다. 이와 같이, 다이레이션 컨볼루션 필터는 컨볼루션 필터와 비교하여 연산은 동일한 반면 더 큰 영역을 참조하게 할 수 있다는 특성이 있다.
도 4는 본 발명의 일 실시예에 따른 제2-K 특징 맵을 생성하는 과정을 나타내는 도면이다.
도 4를 참조하면, 제2-K 필터는 제1-K 특징 맵과 제3-K 특징 맵에 디컨벌루션 연산을 수행할 수 있다. 예를 들어, 제2-K 특징 맵은 제3-K 특징 맵에 제1-K 특징 맵을 추가한 다음 디컨벌루션 연산을 수행하여 제2-K 특징 맵을 획득할 수 있다. 즉, 제2-K 필터는, 제1-K 특징 맵 및 제3-K 특징 맵의 특징을 결합하여 디컨벌루션 연산을 수행한 후, 제2-K 특징 맵을 생성할 수 있다. 여기서, 제1-K 특징 맵과 제3-K 특징 맵의 특징을 결합하는 동작은 제1-K 특징 맵 및 제3-K 특징 맵의 각각의 픽셀 값을 합산하는 동작일 수 있으나, 이에 한정하는 것은 아니다. 한편, 경우에 따라서 제2-K 필터는 제1-K 특징 맵에 대하여 디컨볼루션 연산을 수행하여 중간 특징 맵을 생성한 다음, 제3-K 특징 맵과 중간 특징 맵을 합산하여 제2-K 특징 맵을 생성할 수도 있다.
도 5는 본 발명의 다른 실시예에 따른 제2-K 특징 맵을 생성하는 과정을 나타내는 도면이다.
도 5를 참조하면, 제3-K 필터가 제1-K 특징 맵에 다이레이션 컨볼루션 연산을 수행하여 제3-K 특징 맵을 생성하고, 제2-K 필터가 제3-K 필터에서 출력된 제3-K 특징 맵에 디컨벌루션 연산을 수행하여 상기 제2-K 특징 맵을 생성한다.
그 후, 제2-(K-1) 필터는 제2-K 필터로부터 제2-K 특징 맵을 획득하고, 제3-(K-1) 필터로부터 제3-(K-1) 특징 맵을 획득할 수 있다. 그리고, 소정의 연산을 수행하여 제2-(K-1) 특징 맵을 획득할 수 있다. 참고로, 디코딩 레이어에 있는 모든 필터는 상기 절차에 따라 제2-K 필터가 제2-K 특징 맵을 생성할 수 있다.
여기서, 제2-K 필터 내지 제2-1 필터 각각의 출력 사이즈는 제2-K 필터 내지 제2-1 필터 각각의 입력 사이즈의 2배로 증가된다. 또한, 제2-K 필터 내지 제2-1 필터 각각의 출력의 채널 수는 디컨벌루션 연산이 적용될 때 마다 입력의 1/2로 감소된다.
예를 들어, 제2-K 특징 맵의 사이즈가 20x15이고 채널 수가 128인 경우, 제2-(K-1) 특징 맵의 사이즈는 40x30이며 그 채널 수는 64이다. 마찬가지로, 제2-(K-2) 특징 맵의 사이즈는 80x60이고 그 채널 수는 32, 제2-(K-3) 특징 맵의 사이즈는 160x120, 채널 수는 16 일 수 있다.
그리고 다시 도 2a 및 도 2b를 참조하면, 상기 학습 장치는 제2-1 특징 맵(즉, 추정된 라벨 이미지)과 원본 정답 라벨 이미지 값을 비교하여 로스를 산출하는 로스 레이어를 더 포함한다. 상기 추정된 라벨 이미지는 상기 제2-1 특징 맵을 추가로 처리함으로써 획득될 수 있다. 상기 로스 레이어는 로스를 산출하고, 산출된 로스는 백프로포게이션 과정을 통해 전달되어 제2-1 필터 내지 제2-K 필터, 제3-1 필터 내지 제3-K 필터 및 제1-K 필터 내지 제1-1 필터들 중 적어도 하나 이상의 파라미터를 조정할 수 있다.
도 6a 및 도 6b는 본 발명의 또 다른 실시예에 따른 다이레이션 컨볼루션 을 이용하여 이미지 세그멘테이션을 수행하는 학습 방법을 나타내는 도면이다.
도 6a 및 도 6b에 도시된 학습 방법에서는 도 2a 및 도 2b에 도시된 학습 과정과 동일한 과정을 거치나, 중간 레이어의 필터가 모든 인코딩 레이어 및 디코딩 레이어의 각 필터들 사이에 배치되어 상기 필터들과 연동되지는 않고, 상기 인코딩 레이어 필터들과 디코딩 레이어의 필터들 중 일부의 필터들과만 연동되는 실시예에 따른 학습 방법을 나타낸다. 즉, 인코딩 레이어 및 디코딩 레이어에 있는 필터들과 관련된 중간 레이어의 필터들의 수는 K 보다 작을 수 있다.
도 6a 및 도 6b을 참조하면, 중간 레이어는 H 개의 필터 - H는 1 보다 크거나 같고 K 보다 작은 자연수 - 를 포함하며, 상기 제3-1 내지 제3-H 필터 중 상기 H 개의 필터는 상기 인코딩 레이어의 상기 제1-1 내지 1-K 필터 중 일부인 H 개의 필터 및 상기 디코딩 레이어의 상기 제2-1 내지 2-K 필터 중 일부인 H 개의 필터와 연동한다. 여기서, 인코딩 레이어의 제1-1 필터 내지 제1-K 필터 중에서 선택된 H개의 필터는 제1-1 필터 내지 제1-H 필터로 간주되고, 디코딩 레이어의 제2-1 필터 내지 제2-K 필터 중에서 선택된 H개의 필터는 제2-1 필터 내지 제2-H 필터로 간주될 수 있다.
구체적으로, 상기 제1-1 필터 내지 상기 제1-H 필터는 인코딩 레이어의 좌측에서 우측으로 순차적으로 넘버링된다. 또한, 제2-1 필터 내지 제2-H 필터는 디코딩 레이어의 좌측에서 우측으로 순차적으로 넘버링된다. 다만, K 개의 필터들 각각의 세트와 비교하여 동일한 넘버링이 동일한 필터를 지칭하지 않을 수 있다. 예를 들어, H 개의 필터 중 제2-2 필터는 K 개의 필터 중 제2-2 필터와 다를 수도 있다.
도 6a 및 도 6b에서는 학습 장치가, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 경우, 상기 학습 장치는, 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵에 디컨볼루션 연산을 적용하도록 할 수 있다. 또한, 상기 학습 장치는, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵 각각에 디컨볼루션 연산을 적용하도록 할 수 있다.
즉, 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵들 중 상기 제3-1 내지 상기 제3-H 필터들 각각과 연동하는 특징 맵들에 대해 상기 제3-1 내지 상기 제3-H 필터를 각각 이용하여 엣지 정보를 추출함으로써 상기 제3-1 내지 상기 제3-H 특징 맵을 생성할 수 있다.
중간 레이어가 모든 인코딩 레이어 필터와 디코딩 레이어 필터 사이에 연결되지 않고 일부에만 연결되는 경우에는 중간 레이어에서의 연산 량이 줄어들면서도 인코딩 레이어의 특징 맵들의 엣지 정보를 디코딩 과정의 중간에 활용할 수 있기에 학습 효율이나 이미지 테스트 성능이 유지될 수 있는 효과가 있다.
도 2a 및 도 2b 내지 도 6a 및 도 6b는 본 발명에 따른 이미지 세그멘테이션을 위한 학습 장치 및 학습 방법을 설명하였다. 이러한 학습 장치는 백프로포게이션 과정을 통해 최적의 파라미터 값을 구할 수 있게 된다.
이하, 이미지 세그멘테이션을 수행하기 위한 테스트 장치(미도시)의 구성을 간략하게 설명한다. 테스트 장치는 학습 프로세스를 통해 발견된 전술한 최적의 파라미터를 이용하고, 테스트 이미지에 대한 이미지 세그멘테이션을 수행한다. 테스트 장치는 학습 장치와 동일한 장치일 수도 있지만, 경우에 따라서 다른 장치일 수 있다. 앞서 설명한 것과 동일한 또는 유사한 구성 요소 또는 기능에 대한 중복 설명은 반복하지 않으며, 그러한 구성 요소 및 기능의 상세한 설명은 생략될 수 있다.
상기 테스트 장치는 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션을 수행하는 테스트 방법에 있어서, 통신부(미도시) 및 프로세서(미도시)를 포함하며, 통신부는 외부 장치와 통신하도록 구성될 수 있다.
특히, 앞서 설명한 학습 장치가 학습 처리를 완료하고, 인코딩 레이어, 중간 레이어, 디코딩 레이어 중 적어도 하나의 필터의 조정된 파라미터를 획득한 상태에서, 통신부는 테스트 이미지를 획득할 수 있다. 또한, 프로세서는 (I) 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터의 각각의 테스트용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스를 수행할 수 있다.
여기서, 테스트용 모든 특징 맵은 테스트 장치의 인코딩 레이어, 중간 레이어, 디코딩 레이어의 각 필터에 의해 수행되는 일련의 동작을 통해 테스트 이미지로부터 유도된 특징 맵을 지칭할 수 있다.
한편, 이미지 세그멘테이션을 수행하기 위한 테스트 장치를 이용한 테스트 방법은 백프로포게이션 과정을 수행하지 않을 수 있다. 또한, 이미지 세그멘테이션을 수행하기 위한 테스트 방법은 학습 프로세스를 통해 획득된 최적의 파라미터를 이용할 수 있다.
본 발명 기술분야의 통상의 기술자에게 이해될 수 있는 바로서, 위에서 설명된 이미지, 예컨대 트레이닝 이미지, 테스트 이미지와 같은 이미지 데이터의 송수신이 학습 장치 및 테스트 장치의 통신부들에 의하여 이루어질 수 있으며, 특징 맵과 연산을 수행하기 위한 데이터가 학습 장치 및 테스트 장치의 프로세서(및/또는 메모리)에 의하여 보유/유지될 수 있고, 컨벌루션 연산, 디컨벌루션 연산, 로스 값 연산 과정이 주로 학습 장치 및 테스트 장치의 프로세서에 의하여 수행될 수 있으나, 이에 한정되지는 않을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (30)

  1. (i) 트레이닝 이미지로서의 입력 이미지에 대응되는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하여 이미지 세그멘테이션의 성능 향상을 위한 학습 방법에 있어서,
    (a) 상기 입력 이미지가 입력되면, 상기 학습 장치는, 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (b) 상기 학습 장치는, 상기 H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (c) 상기 학습 장치는, (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계; 및
    (d) 상기 학습 장치는, 상기 제2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 단계; 를 포함하되,
    상기 (a) 단계에서, 상기 학습 장치는, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 상기 제1-K 특징 맵을 생성하며,
    상기 (b) 단계에서, 상기 학습 장치는, 상기 제3-1 내지 상기 제3-H 필터의 출력으로부터 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 특징 맵을 생성하고,
    상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 상기 제2-1 특징 맵을 생성하고,
    상기 (b) 단계에서, 상기 학습 장치는, H개의 인코딩 필터의 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 특징 맵들을 획득하는 것을 특징으로 하는 학습 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 H 가 K 값인 경우, 상기 학습 장치는, (i) 상기 제1-1 내지 제1-K 특징 맵 각각을 제3-1 내지 제3-K 필터로 입력함으로써, 제3-1 내지 제3-K 특징 맵들을 생성한 후, (ii) 상기 제3-1 내지 제3-K 특징 맵 각각을 상기 제2-1 내지 상기 제2-K 필터로 전달하는 것을 특징으로 하는 학습 방법.
  5. (i) 트레이닝 이미지로서의 입력 이미지에 대응되는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하여 이미지 세그멘테이션의 성능 향상을 위한 학습 방법에 있어서,
    (a) 상기 입력 이미지가 입력되면, 상기 학습 장치는, 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (b) 상기 학습 장치는, 상기 H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (c) 상기 학습 장치는, (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계; 및
    (d) 상기 학습 장치는, 상기 제2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 단계; 를 포함하되,
    상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 방법.
  6. 제 5 항에 있어서,
    상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 방법.
  7. 제 5 항에 있어서,
    상기 제3-1 내지 상기 제3-H 필터 중 상기 다이레이션 컨볼루션을 수행하는 상기 중간 레이어의 각 필터의 Receptive field는 일부 영역의 필터 weight을 제외한 나머지 영역의 필터 weight 들은 0으로 채워진 것을 특징으로 하는 학습 방법.
  8. 제 1 항에 있어서,
    상기 (c) 단계에서, 상기 학습 장치는, 상기 제3-1, 상기 제3-2, .., 상기 제3-H 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵의 정보를 이용하여 디컨볼루션 연산을 수행하고, 상기 제2-1 내지 제2-K 특징 맵들 중 H개의 디코딩 필터로부터 특징 맵을 획득하는 것을 특징으로 하는 학습 방법.
  9. 제 1 항에 있어서,
    상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우,
    상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 필터로 하여금 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 방법.
  10. 제 1 항에 있어서,
    상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우,
    상기 (c) 단계에서, 상기 학습 장치는, 상기 제2-K 필터로 하여금 상기 제1-K 특징 맵과 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 방법.
  11. 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션을 수행하는 테스트 방법에 있어서,
    (a) (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는 (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 획득하는 단계;
    (b) 상기 테스트 장치가, 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (c) 상기 테스트 장치는, 상기 H개의 인코딩 필터의 각각의 테스트용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (d) 상기 테스트 장치는, (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 제2-K, 제2-(K-1), …, 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계;
    를 포함하되,
    상기 (b) 단계에서, 상기 테스트 장치는, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 제1-K 테스트용 특징 맵을 생성하며,
    상기 (c) 단계에서, 상기 테스트 장치는, 상기 제3-1 내지 상기 제3-H 필터의 테스트용 출력으로부터 테스트용 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 테스트용 특징 맵을 생성하고,
    상기 (d) 단계에서, 상기 테스트 장치는, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 제2-1 테스트용 특징 맵을 생성하고,
    상기 (c) 단계에서, 상기 테스트 장치는, H개의 인코딩 필터의 테스트용 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 테스트용 특징 맵들을 획득하는 것을 특징으로 하는 세그멘테이션 방법.
  12. 삭제
  13. 삭제
  14. 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션을 수행하는 테스트 방법에 있어서,
    (a) (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는 (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 획득하는 단계;
    (b) 상기 테스트 장치가, 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (c) 상기 테스트 장치는, 상기 H개의 인코딩 필터의 각각의 테스트용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스를 수행하는 단계;
    (d) 상기 테스트 장치는, (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 제2-K, 제2-(K-1), …, 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스를 수행하는 단계;
    를 포함하되,
    상기 제3-1 내지 상기 제3-H 필터들 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 세그멘테이션 방법.
  15. 제 11 항에 있어서,
    상기 (d) 단계에서, 상기 테스트 장치는, 상기 제3-1 내지 제3-H 테스트용 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵의 정보를 이용하여 디컨벌루션 연산을 수행하고, 상기 제2-1 내지 제2-K 테스트용 특징 맵들 중 상기 H 개의 디코딩 필터로부터 테스트용 특징 맵을 획득하는 것을 특징으로 하는 세그멘테이션 방법.
  16. (i) 트레이닝 이미지로서의 입력 이미지에 대응되는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 이미지 세그멘테이션의 성능 향상을 위한 학습 장치에 있어서,
    상기 입력 이미지를 수신하는 통신부; 및
    (I) 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스; 및 (IV) 상기 제 2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행하는 프로세서; 를 포함하되,
    상기 (I) 프로세스에서, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 상기 제1-K 특징 맵을 생성하며,
    상기 (II) 프로세스에서, 상기 제3-1 내지 상기 제3-H 필터의 출력으로부터 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 특징 맵을 생성하고,
    상기 (III) 프로세스에서, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 상기 제2-1 특징 맵을 생성하고,
    상기 (II) 프로세스에서, 상기 H개의 인코딩 필터의 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 특징 맵들을 획득하는 것을 특징으로 하는 학습 장치.
  17. 삭제
  18. 삭제
  19. 제 16 항에 있어서,
    상기 H 가 K 값인 경우, (i) 상기 제1-1 내지 제1-K 특징 맵 각각을 제3-1 내지 제3-K 필터로 입력함으로써, 제3-1 내지 제3-K 특징 맵들을 생성한 후, (ii) 상기 제3-1 내지 제3-K 특징 맵 각각을 상기 제2-1 내지 상기 제 2-K 필터로 전달하는 것을 특징으로 하는 학습 장치.
  20. (i) 트레이닝 이미지로서의 입력 이미지에 대응되는 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 이미지 세그멘테이션의 성능 향상을 위한 학습 장치에 있어서,
    상기 입력 이미지를 수신하는 통신부; 및
    (I) 상기 인코딩 레이어를 거쳐 상기 제1-1, 상기 제1-2, …, 상기 제1-K 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들의 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개의 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 특징 맵을 순차적으로 획득하는 프로세스; 및 (IV) 상기 제 2-1 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행하는 프로세서; 를 포함하되,
    상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 장치.
  21. 제 20 항에 있어서,
    상기 제3-1 내지 상기 제3-H 필터 중 적어도 한 개의 필터는 컨볼루션 연산을 수행하는 것을 특징으로 하는 학습 장치.
  22. 제 20 항에 있어서,
    상기 제3-1 내지 상기 제3-H 필터 중 상기 다이레이션 컨볼루션을 수행하는 상기 중간 레이어의 각 필터의 Receptive field는 일부 영역의 필터 weight을 제외한 나머지 영역의 필터 weight 들은 0으로 채워진 것을 특징으로 하는 학습 장치.
  23. 제 16 항에 있어서,
    상기 (III) 프로세스에서, 상기 제3-1, 상기 제3-2, .., 상기 제3-H 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 특징 맵의 정보를 이용하여 디컨볼루션 연산을 수행하고, 상기 제2-1 내지 제2-K 특징 맵들 중 H개의 디코딩 필터로부터 특징 맵을 획득하는 것을 특징으로 하는 학습 장치.
  24. 제 16 항에 있어서,
    상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우,
    상기 (III) 프로세스에서, 상기 제2-K 필터로 하여금 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 디컨벌루션 연산을 수행함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 장치.
  25. 제 16 항에 있어서,
    상기 제3-H 필터가 상기 제 1-K 필터와 연동하는 경우,
    상기 (III) 프로세스에서, 상기 제2-K 필터로 하여금 상기 제1-K 특징 맵과 상기 제3-H 필터에서 출력된 제3-H 특징 맵을 이용하여 디컨벌루션 연산을 수행하도록 함으로써, 상기 제2-K 특징 맵을 획득하는 것을 특징으로 하는 학습 장치.
  26. 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션 장치에 있어서,
    (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는 (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 상기 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 수신하는 통신부; 및
    (I) 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 제2-K, 제2-(K-1), …, 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스;를 수행하는 프로세서;
    를 포함하되,
    상기 (I) 프로세스에서, 상기 제1-1 내지 상기 제1-K 필터를 각각 이용하여 순차적으로 크기를 줄이고 채널을 증가시켜가며 상기 제1-1 내지 제1-K 테스트용 특징 맵을 생성하며,
    상기 (II) 프로세스에서, 상기 제3-1 내지 상기 제3-H필터의 테스트용 출력으로부터 테스트용 엣지 정보를 추출함으로써, 상기 제3-1 내지 상기 제3-H 테스트용 특징 맵을 생성하고,
    상기 (III) 프로세스에서, 상기 제2-K 내지 상기 제2-1 필터를 각각 이용하여 순차적으로 크기를 늘이고 채널을 줄여가며 상기 제2-K 내지 제2-1 테스트용 특징 맵을 생성하고,
    상기 (II) 프로세스에서, 상기 H개의 인코딩 필터의 테스트용 출력으로부터 주파수 변화가 소정의 임계치 이상인 부분을 추출함으로써, 상기 제3-1 내지 제3-H 테스트용 특징 맵들을 획득하는 것을 특징으로 하는 세그멘테이션 장치.
  27. 삭제
  28. 삭제
  29. 테스트 이미지로서의 입력 이미지에 대한 이미지 세그멘테이션 장치에 있어서,
    (I) (i) 트레이닝 이미지에 대응되는 학습용 특징 맵에 대하여 컨벌루션 연산을 복수 회 수행하여 제1-1, 제1-2, …, 제1-K 학습용 특징 맵을 획득하는, 제1-1 내지 제1-K 필터를 포함하는 인코딩 레이어; (ii) 상기 제1-K 학습용 특징 맵에 대하여 디컨볼루션 연산을 복수 회 수행하여 제2-K, 제2-(K-1), …, 제2-1 학습용 특징 맵을 획득하는, 제 2-K 내지 제2-1 필터를 포함하는 디코딩 레이어; 및 (iii) 상기 인코딩 레이어에 포함된 K개의 필터 중 H 개의 인코딩 필터 및 상기 디코딩 레이어에 포함된 K개의 필터 중 H 개의 디코딩 필터 - 상기 인코딩 레이어에 포함된 상기 H개의 인코딩 필터와 상기 디코딩 레이어에 포함된 상기 H개의 디코딩 필터는 대응됨 - 의 사이에 각각 배치되는 제3-1 내지 제3-H 필터를 포함하는 중간 레이어; 를 포함하는 학습 장치를 이용하되, (II) 상기 학습장치는 (i) 상기 인코딩 레이어를 거쳐 상기 제1-1, 내지 제1-K 학습용 특징 맵을 획득하는 프로세스; (ii) 상기 H개의 인코딩 필터들의 각각의 학습용 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1, 제3-2, .., 제3-H 학습용 특징 맵을 획득하는 프로세스; (iii) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 학습용 특징 맵 및 상기 각각의 H 개의 상기 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 사용하도록 하거나, 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터로 하여금 상기 (K-H)개 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 학습용 특징 맵을 사용하도록 함으로써, 상기 제2-K, 상기 제2-(K-1), …, 상기 제2-1 학습용 특징 맵을 순차적으로 획득하는 프로세스; (iv) 상기 제 2-1 학습용 특징 맵과 정답 라벨 이미지의 차이에 대한 로스를 사용하여 백프로포게이션 프로세스를 수행하여, 상기 제2-1 내지 상기 제2-K 필터, 상기 제 3-1 내지 상기 제 3-H 필터, 및 상기 제1-1 내지 상기 제1-K 필터 중 적어도 일부의 파라미터를 조정하는 프로세스를 수행한 상태에서, 테스트 장치가, 상기 테스트 이미지를 수신하는 통신부; 및
    (I) 상기 인코딩 레이어를 거쳐 제1-1 내지 제1-K 테스트용 특징 맵을 획득하는 프로세스; (II) 상기 H개의 인코딩 필터들 각각의 출력을 상기 제3-1 내지 상기 제3-H 필터들로 입력함으로써, 제3-1 내지 제3-H 테스트용 특징 맵을 획득하는 프로세스; (III) (i) 상기 H개 디코딩 필터로 하여금 상기 제3-1 내지 제3-H 테스트용 특징 맵 및 상기 각각의 H 개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하여 각각의 H개의 디코딩 필터를 각각 사용하도록 하거나, (ii) 상기 제3-1 내지 제3-H 필터에 대응되지 않는 각각의 (K-H)개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵을 사용하도록 함으로써, 제2-K, 제2-(K-1), …, 제2-1 테스트용 특징 맵을 순차적으로 획득하는 프로세스;를 수행하는 프로세서;
    를 포함하되,
    상기 제3-1 내지 상기 제3-H 필터들 중 적어도 한 개의 필터는 다이레이션 컨볼루션 연산을 수행하는 것을 특징으로 하는 세그멘테이션 장치.
  30. 제 26 항에 있어서,
    상기 (III) 프로세스에서, 상기 제3-1 내지 제3-H 테스트용 특징 맵의 정보 및 상기 각각의 H개의 디코딩 필터의 각각의 이전 디코딩 필터로부터 획득된 테스트용 특징 맵의 정보를 이용하여 디컨벌루션 연산을 수행하고, 상기 제2-1 내지 제2-K 테스트용 특징 맵들 중 상기 H 개의 디코딩 필터로부터 테스트용 특징 맵을 획득하는 것을 특징으로 하는 세그멘테이션 장치.
KR1020180117330A 2017-10-04 2018-10-02 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치 KR102144358B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/724,994 2017-10-04
US15/724,994 US10095977B1 (en) 2017-10-04 2017-10-04 Learning method and learning device for improving image segmentation and testing method and testing device using the same

Publications (2)

Publication Number Publication Date
KR20190039460A KR20190039460A (ko) 2019-04-12
KR102144358B1 true KR102144358B1 (ko) 2020-08-13

Family

ID=63524091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117330A KR102144358B1 (ko) 2017-10-04 2018-10-02 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치

Country Status (5)

Country Link
US (1) US10095977B1 (ko)
EP (1) EP3467711A1 (ko)
JP (1) JP6682595B2 (ko)
KR (1) KR102144358B1 (ko)
CN (1) CN109658417B (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261903B2 (en) * 2017-04-17 2019-04-16 Intel Corporation Extend GPU/CPU coherency to multi-GPU cores
JP6791182B2 (ja) * 2018-03-14 2020-11-25 オムロン株式会社 ニューラルネットワーク型画像処理装置
US10565476B1 (en) * 2018-09-04 2020-02-18 StradVision, Inc. Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same
US10304009B1 (en) * 2018-10-08 2019-05-28 StradVision, Inc. Learning method and testing method for object detector based on R-CNN, and learning device and testing device using the same
CN109508639B (zh) * 2018-10-12 2021-04-16 浙江科技学院 基于多尺度带孔卷积神经网络的道路场景语义分割方法
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
WO2020176064A1 (en) 2018-12-31 2020-09-03 Didi Research America, Llc Method and system of annotation densification for semantic segmentation
US10467500B1 (en) 2018-12-31 2019-11-05 Didi Research America, Llc Method and system for semantic segmentation involving multi-task convolutional neural network
CN109886984B (zh) * 2019-01-22 2021-01-08 浙江大学 利用前后景灰度差和深度学习网络的图像精确分割方法
US10325371B1 (en) * 2019-01-22 2019-06-18 StradVision, Inc. Method and device for segmenting image to be used for surveillance using weighted convolution filters for respective grid cells by converting modes according to classes of areas to satisfy level 4 of autonomous vehicle, and testing method and testing device using the same
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US10872297B2 (en) * 2019-01-30 2020-12-22 StradVision, Inc. Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same
CN111507343B (zh) * 2019-01-30 2021-05-18 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN113631325A (zh) 2019-03-29 2021-11-09 株式会社Ihi 远程操作装置
CN110059698B (zh) * 2019-04-30 2022-12-23 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN110232417B (zh) * 2019-06-17 2022-10-25 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备及计算机可读存储介质
KR102522399B1 (ko) * 2019-07-09 2023-04-14 주식회사 케이티 객체 확인 방법 및 이를 위한 시스템
CN110781776B (zh) * 2019-10-10 2022-07-05 湖北工业大学 一种基于预测和残差细化网络的道路提取方法
KR102225024B1 (ko) * 2019-10-24 2021-03-08 연세대학교 산학협력단 이미지 채움 장치 및 방법
CN110837811B (zh) * 2019-11-12 2021-01-05 腾讯科技（深圳）有限公司 语义分割网络结构的生成方法、装置、设备及存储介质
KR20210094314A (ko) 2020-01-21 2021-07-29 삼성전자주식회사 반도체 장치의 제조 방법
US11270447B2 (en) 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN
CN113518229B (zh) * 2020-04-09 2022-09-20 腾讯科技（深圳）有限公司 环路滤波网络的训练方法、装置、计算机设备和存储介质
CN111612807B (zh) * 2020-05-15 2023-07-25 北京工业大学 一种基于尺度和边缘信息的小目标图像分割方法
CN111932557B (zh) * 2020-08-13 2022-11-18 中国科学院重庆绿色智能技术研究院 基于集成学习和概率图模型的图像语义分割方法及装置
KR102357350B1 (ko) * 2020-11-26 2022-02-07 한국과학기술연구원 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템
CN114301779B (zh) * 2021-12-15 2024-03-19 迈普通信技术股份有限公司 一种镜像文件配置方法、装置，ap设备及网络系统
WO2023149614A1 (en) * 2022-02-07 2023-08-10 Samsung Electronics Co., Ltd. Method and electronic device for efficiently reducing dimensions of image frame
KR102585912B1 (ko) * 2022-12-14 2023-10-06 주식회사 딥노이드 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106874956B (zh) * 2017-02-27 2018-10-23 陕西师范大学 图像分类卷积神经网络结构的构建方法
CN107169535B (zh) * 2017-07-06 2023-11-03 谈宜勇 生物多光谱图像的深度学习分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Large kernel matters improve semantic segmentation by global convolutional network, IEEE, 2017
Learning to Rene Object Segments, ECCV 2016, 2016.07.*

Also Published As

Publication number Publication date
CN109658417B (zh) 2023-04-28
EP3467711A1 (en) 2019-04-10
KR20190039460A (ko) 2019-04-12
JP6682595B2 (ja) 2020-04-15
CN109658417A (zh) 2019-04-19
US10095977B1 (en) 2018-10-09
EP3467711A8 (en) 2019-05-29
JP2019067408A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
KR102144358B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
KR102144381B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
CN109636803B (zh) 用于分割图像的方法和使用该方法的装置
KR102192850B1 (ko) Fun을 사용하여 특징 맵을 생성하기 위한 방법 및 장치
KR102229342B1 (ko) Fun을 사용하여 cnn의 성능을 향상시키기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한, 테스트 방법 및 테스트 장치
US20200272903A1 (en) Machine-Learning Based Video Compression
US20200273192A1 (en) Systems and methods for depth estimation using convolutional spatial propagation networks
US10311337B1 (en) Method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network
Mittal et al. Sync-draw: Automatic video generation using deep recurrent attentive architectures
US10325352B1 (en) Method and device for transforming CNN layers to optimize CNN parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
KR102286755B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 학습용 이미지 데이터 세트의 생성 방법 및 이를 이용한 컴퓨팅 장치, 학습 방법 및 학습 장치
Jourabloo et al. New algorithms for recovering highly corrupted images with impulse noise
KR102140873B1 (ko) 동적 객체 검출 장치 및 방법
CN112149459A (zh) 一种基于交叉注意力机制的视频显著性物体检测模型及系统
CN111968123B (zh) 一种半监督视频目标分割方法
KR102347496B1 (ko) 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법
KR20190041921A (ko) 액티베이션 연산과 컨벌루션 연산을 동시에 수행하기 위한 방법 및 장치 그리고 이를 위한 학습 방법 및 학습 장치
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN116630850A (zh) 基于多注意力任务融合与边界框编码的孪生目标跟踪方法
US20220224934A1 (en) Machine-learned in-loop predictor for video compression
CN113487622B (zh) 头颈部器官影像分割方法、装置、电子设备和存储介质
CN117201765A (zh) 基于内容引导的无参考视频质量评价方法
CN117710411A (zh) 一种关键点追踪方法及装置
KR20220088033A (ko) 영상 레이블링 평가 방법 및 서버
CN115049956A (zh) 深度视频增强方法、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right