KR20190080818A - 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치 - Google Patents

부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치 Download PDF

Info

Publication number
KR20190080818A
KR20190080818A KR1020180172963A KR20180172963A KR20190080818A KR 20190080818 A KR20190080818 A KR 20190080818A KR 1020180172963 A KR1020180172963 A KR 1020180172963A KR 20180172963 A KR20180172963 A KR 20180172963A KR 20190080818 A KR20190080818 A KR 20190080818A
Authority
KR
South Korea
Prior art keywords
layer
probability map
learning
loss
object detection
Prior art date
Application number
KR1020180172963A
Other languages
English (en)
Inventor
양현승
박영민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20190080818A publication Critical patent/KR20190080818A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 기계 학습(machine learning)을 이용한 영상 인식에 관한 기술로, 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법은, 객체 검출 장치가 검출하고자 하는 객체(object)가 포함된 이미지를 입력받고, 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키며, 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 이미지에 대한 학습 결과로부터 검출된 객체를 출력한다.

Description

부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치{Method and apparatus of deep learning based object detection with additional part probability maps}
본 발명은 기계 학습(machine learning)을 이용한 영상 인식에 관한 기술로, 특히 이미지 내에 포함된 객체의 일부 특징을 이용하여 딥 러닝 네트워크에서 학습을 통해 해당 객체를 검출하는 방법 및 장치에 관한 것이다.
딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계 학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 가르치는 기계 학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 DNN(deep neural networks), CNN(convolutional neural networks), DBN(deep belief networks)과 같은 다양한 딥 러닝 기법들이 컴퓨터 비젼, 음성 인식, 자연어 처리, 음성/신호 처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.
한국특허공개공보 제2016-0096460호, "복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법"
본 발명이 해결하고자 하는 기술적 과제는, 예비 지식이나 사전 정보가 없는 완전히 자동화된 종래의 딥 러닝 기반 객체 검출 기술이 사람의 개입을 최소화하며 이미지로부터 의미있는 객체를 추출하는데 일정 부분 성능을 발휘할 수 있지만, 선행 지식을 특정할 수 있는 상황에서조차 이를 시스템에 반영하지 않는다는 점으로 인해 보다 유용한 정보를 추출할 수 있는 기회를 상실하고 있다는 문제를 해소하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 객체 검출 방법은, 객체 검출 장치가 검출하고자 하는 객체(object)가 포함된 이미지를 입력받는 단계; 상기 객체 검출 장치가 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키는 단계; 및 상기 객체 검출 장치가 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 검출된 상기 객체를 출력하는 단계;를 포함한다.
일 실시예에 따른 객체 검출 방법에서, 상기 부분 확률맵은, 사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 제공받을 수 있다. 또한, 상기 딥 러닝 네트워크는, 상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리할 수 있다. 나아가, 상기 세그멘테이션 마스크는, 상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵으로 설정될 수 있다.
일 실시예에 따른 객체 검출 방법에서, 상기 딥 러닝 네트워크의 학습은, 상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 수행될 수 있다.
일 실시예에 따른 객체 검출 방법에서, 상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습은, 적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 수행될 수 있다. 또한, 상기 객체 검출에 대한 레이어의 출력값의 손실은, 레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출될 수 있다. 나아가, 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은, 레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출될 수 있다.
한편, 이하에서는 상기 기재된 객체 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 객체 검출 장치는, 검출하고자 하는 객체(object)가 포함된 이미지를 입력받고, 상기 이미지로부터 검출된 상기 객체를 출력하는 입출력부; 및 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키며, 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 상기 객체를 검출하는 처리부;를 포함한다.
일 실시예에 따른 객체 검출 장치에서, 상기 처리부는, 사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 상기 부분 확률맵을 제공받을 수 있다. 또한, 상기 딥 러닝 네트워크는, 상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리될 수 있다. 나아가, 상기 세그멘테이션 마스크는, 상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵으로 처리될 수 있다.
일 실시예에 따른 객체 검출 장치에서, 상기 처리부는, 상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 상기 딥 러닝 네트워크의 학습을 수행할 수 있다.
일 실시예에 따른 객체 검출 장치에서, 상기 처리부는, 적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습을 수행할 수 있다. 또한, 상기 객체 검출에 대한 레이어의 출력값의 손실은, 레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출될 수 있다. 나아가, 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은, 레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출될 수 있다.
본 발명의 실시예들은, 회귀 기반의 딥 러닝 네트워크에 검출 목적에 따른 마스크를 부분 확률맵 형태로 추가함으로써, 객체 검출에 있어서 데이터의 사용 효율성과 추출 성능을 향상시킬 수 있다.
도 1은 회귀 기반의 객체 검출 딥 러닝 네트워크의 학습 구조를 설명하기 위한 도면이다.
도 2는 객체 검출 딥 러닝 네트워크에 확률 그래프 기반의 학습 구조를 적용한 것을 도시한 도면이다.
도 3은 객체 검출 딥 러닝 네트워크에 세그멘테이션 마스크를 도입하여 다중 작업 학습하는 구조를 도시한 도면이다.
도 4는 객체 검출 딥 러닝 네트워크에서 세그멘테이션 학습을 선행하여 처리하는 구조를 도시한 도면이다.
도 5는 본 발명의 실시예들이 채택하는 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법을 재구성한 학습 구조를 도시한 도면이다.
도 6은 본 발명의 실시예들이 제안하는 도 5의 딥러닝 기반 객체 검출 시스템을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법을 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 장치를 도시한 블록도이다.
본 발명의 실시예들을 설명하기에 앞서, 예비 지식이나 사전 정보가 없는 완전히 자동화된 종래의 딥 러닝 기반 객체 검출 기술의 특성과 문제점을 검토한 후, 이러한 문제점을 해결하기 위해 본 발명의 실시예들이 제안하는 기술적 수단을 순차적으로 소개하도록 한다.
도 1은 회귀 기반의 객체 검출 딥 러닝 네트워크의 학습 구조를 설명하기 위한 도면으로서, 객체 검출을 위한 딥 러닝 네트워크 중 회귀 기반의 객체 검출 네트워크의 학습 구조를 도시하였다.
도 1에서는, 입력 이미지부터 컨볼루션(convolution) 레이어와 풀링(pooling) 레이어(110, 120)가 여러 번 반복되고, 마지막 레이어(120)의 활성화 맵(activation map)에 대하여 객체의 위치(x, y)와 크기(width, height)에 대한 회귀 기반 손실(regression loss)에 객체의 종류에 분류 기반 손실(classification loss) 더한 것을 기준으로 기울기 강하 기법(steepest gradient descent)을 활용하여 네트워크를 학습시킨다.
그러나 앞서 문제 제기한 바와 같이, 학습이 손실 함수에 기반하여 완전하게 자동적으로 이루어지므로 네트워크를 적절하게 제어할 수 없다는 약점이 노출되었다. 예를 들어, 도 1에서는 네트워크가 고양이의 색상이나 일부분 등 어디를 학습할지 전혀 예측하거나 제어할 수 없다. 즉, 아무런 사전 정보(prior knowledge)가 없다면 도 1의 이러한 방법이 적합할 수 있으나, 만약 특정 객체에 대한 사전 정보, 특히 중요한 부분에 대한 정보가 존재하는 상황이라면 이러한 정보를 적절히 반영하여 추출되는 정보의 질을 향상시킬 수 있는 기술적 수단이 필요하다.
이를 위해, 다음의 도 2와 같이 각 부분을 검출하고 이에 대한 확률 그래프 기반 방법을 고려할 수 있다.
도 2는 객체 검출 딥 러닝 네트워크에 확률 그래프 기반의 학습 구조를 적용한 것을 도시한 도면으로서, 앞서 소개한 도 1의 방법에 비해 이미지로부터 각 부분을 검출(210)하고, 이에 대한 확률 그래프 모델(220)을 이용하여 최종적인 객체를 도출하는 방식을 제시하고 있다.
이러한 방법은 이론적으로 건전하나, 구현이 번거롭고 계산량이 더 많다는 약점이 지적될 수 있다. 또한 일반적인 CNN(convolutional neural networks)이 암묵적으로 이러한 방식의 기능을 수행한다고 볼만한 근거가 있으므로, CNN과 중복되는 작업을 행하여 효율이 떨어질 수 있다는 문제가 발견된다.
따라서, 이하에서 제시되는 본 발명의 실시예들에서는 상기된 문제를 해결하고자, 사용자로부터 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 입력받는다고 가정하고, 딥 러닝 네트워크가 세그멘테이션 마스크를 동시에 학습하도록 제안한다.
세그멘테이션 마스크를 학습할 경우 세그멘테이션 마스크가 분류나 회귀와 같은 수준의 레이블로서 학습이 수행될 수 있다. 즉, 다음의 도 3과 같이 다중 작업 학습(multi-task learning)설정에서 학습을 수행하게 구성할 수 있다.
도 3은 객체 검출 딥 러닝 네트워크에 세그멘테이션 마스크(310)를 도입하여 다중 작업 학습하는 구조를 도시한 도면이다. 도 3에 제시된 학습 방식은 네트워크가 객체 검출과 세그멘테이션(310) 모두에 적합한 공유 표현(shared representation)을 학습하도록 한다. 그러나, 본 발명의 목적은 객체 검출을 위한 표현에 사전 정보를 반영하는 것에 있으므로 이러한 방식은 목적에 부합하지 않는다는 사실을 발견할 수 있다.
그러므로 다음의 도 4와 같이, 세그멘테이션 학습과 출력을 객체 검출 출력 레이어 이전에 위치시킬 수 있다. 도 4는 객체 검출 딥 러닝 네트워크에서 세그멘테이션 학습을 선행하여 처리하는 구조를 도시한 도면으로서, 최종 검출된 객체의 출력 이전에 객체 마스크(410, 420)를 이용한 세그멘테이션 학습이 이루어지고 있음을 확인할 수 있다. 즉, 세그멘테이션 학습 결과를 이전 레이어의 활성화 맵(activation map)의 일부로서 취급하게 된다. 이러한 세그멘테이션 학습의 선행 처리 방식은 마지막 레이어 혹은 그 이전의 레이어 어디에서든지 적용될 수 있다.
도 4에 제시된 학습 구조의 변경은 학습 결과 중 일부를 원하는 형태로 학습하도록 유도하려는 것으로, 이론적으로 다음과 같이 형식화할 수 있다. 먼저, 입력 이미지를 X, 객체 검출에 대한 출력값을 Y, i번째 레이어의 출력값을 Hi라고 하고, 전체 레이어의 수가 n이라고 할 때, 학습을 위한 손실 함수는 다음의 수학식 1과 같이 표현될 수 있다.
Figure pat00001
이 때 g는 sigmoid나 ReLU와 같은 비선형함수, F는 n-1번째 레이어의 컨볼루션 필터, L은 softmax cross-entropy와 같은 손실 함수를 의미한다. 본 발명의 객체 마스크(object mask)를 학습시켜 레이어 결과의 일부로 포함시키는 방식은 Hi에 마스크(mask)를 적용하는 것과 같다. 즉, 마스크를 학습한 i번째 레이어의 출력값을 Mi라고 했을 때 다음의 수학식 2와 같이 표현될 수 있다.
Figure pat00002
여기서, +는 원소 단위의 합(element-wise addition)을 의미한다. 이때, Mn-1은 Hn -1의 특정 위치의 활성화 값을 증가시키는 역할을 하게 되는데, 마스크(Mask)로 지정된 기하학적 위치의 특징이 중요하다고 가정하기 때문이다.
또는, 수학식 2는 다음의 수학식 3과 같이 표현될 수도 있다.
Figure pat00003
여기서, °는 hadamard product, 원소 단위의 곱(element-wise multiplication)을 의미한다. 이러한 방식으로 본 발명의 실시예들은 각 레이어의 학습 단계에서 "특정한 기하학적 위치의 특징이 더 강조되어야 한다"라는 것을 네트워크에 강제하게 된다.
이때, 마스크(Mask) M은 이미지에서 객체의 영역에 해당하는 정도를 0~1 사이에서 표현한 것으로, 각 원소 단위를 독립적이라고 가정하면, 일종의 확률맵(probability map)으로 해석할 수 있다. 위의 수학식 2, 3에서는 M에 대한 특별한 제한을 두지 않았으나, M의 각 원소의 값이 너무 크거나 작으면 학습이 불안정해질 수 있다. 그러므로 입력 이미지 X에 대해서 사용자가 제공하는 객체의 확률맵을 P라고 할 때 M은 다음의 수학식 4와 같이 정의될 수 있다.
Figure pat00004
여기서, Lm은 MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수를 의미한다. gm은 출력값이 특정 범위의 값으로 한정되는 bounded non-linear function으로서 sigmoid나 tanh와 같은 S-curve 함수를 의미한다. Lm을 최소화하는 것으로 사용자가 추가한 P를 M이 올바른 범위에서 근사하도록 할 수 있다.
본 발명의 실시예들은, 확률 그래프 기반의 방법에서 언급한 바와 같이, 사용자가 각 부분에 대한 마스크(mask)를 제공한다면 각 부분에 대한 중요한 정도를 학습하고 이 부분에 대한 특징을 강조할 수 있다는 점에 착안하여 안출되었다. 따라서, 본 발명의 실시예들이 제안하는 딥 러닝 네트워크는 최종적으로 다음의 도 5와 같은 형태로 일반화할 수 있다.
도 5는 본 발명의 실시예들이 채택하는 부분 확률맵(510)을 포함하는 딥 러닝 기반 객체 검출 방법을 재구성한 학습 구조를 도시한 도면이다. 도 5를 참조하면, 본 발명의 실시예들은 앞서 소개한 그래프 기반 방법과 세그멘테이션의 다중 작업 학습 방식에 착안하여 CNN이 목적하는 객체의 특정 부분을 강조하여 학습하도록 유도하는 기술적 수단을 제안한다.
마지막으로 손실 함수의 학습에 있어서 일반적인 방식은 다중 작업 학습과 같이 Loss(Y)와 Loss(M)의 합을 최소화하도록 학습하는 것이다. 그러나, 결국 본 발명의 최종 목적 또한 객체 검출에 있어서 Loss(Y)의 최소화에 있기 때문에 합을 최소화하는 것은 바람직하지 못하다. 따라서, 본 실시예에서는 적대적 생성 네트워크(generative adversarial network)의 방식을 따라서 Loss(Y)와 Loss(M)을 독립적으로 번갈아가며 학습하는 것이 바람직하다. 즉, mini-batch 학습에 있어서 k번째 batch에서 최소화할 손실 함수 LK는 사용자가 지정한 파라메터 t≥1에 대해서 다음의 수학식 5가 된다.
Figure pat00005
여기서, t가 작을수록 비례하여 M에 대한 근사를 강조하게 된다.
도 6은 본 발명의 실시예들이 제안하는 도 5의 딥러닝 기반 객체 검출 시스템을 도시한 도면으로서, 본 발명의 실시예들은 딥 러닝 기반의 학습 네트워크(610)에 사람이 미리 설계하여 입력받은 확률맵 레이어(620)를 추가하여 앞서 지적된 문제들을 해결하고자 하였다.
이를 위해, 본 발명의 실시예들은 딥 러닝 모델의 활용 방법과 모델 및 입력값의 구성을 포함한다. 본 발명의 실시예들은 확률값을 지도 학습시키지만, 확률 모델을 구성하는 것이 아니며, 동일한 레이어 계층에서 확률맵에 대한 정보를 추가로 제공하게 된다. 특히, 본 발명의 실시예들은 객체 검출에 한정하여 부분 확률맵을 포함시키게 된다.
도 7은 본 발명의 일 실시예에 따른 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법을 도시한 흐름도이다.
S710 단계에서, 객체 검출 장치는, 검출하고자 하는 객체(object)가 포함된 이미지를 입력받는다.
S720 단계에서, 상기 객체 검출 장치는, 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시킨다. 여기서, 상기 부분 확률맵은, 사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 제공받을 수 있다.
또한, 상기 딥 러닝 네트워크는, 상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리할 수 있다. 나아가, 상기 세그멘테이션 마스크는, 상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵으로 설정될 수 있다.
S720 단계에서, 딥 러닝 네트워크의 학습은, 상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 수행될 수 있다. 여기서, 상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습은, 적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 수행될 수 있다. 보다 구체적으로, 상기 객체 검출에 대한 레이어의 출력값의 손실은, 레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출될 수 있다. 또한, 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은, 레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출될 수 있다.
마지막으로, S730 단계에서, 상기 객체 검출 장치는, 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 검출된 상기 객체를 출력한다.
요약하건대, 본 발명의 실시예들은, 객체 검출을 위한 회귀 기반 딥러닝 네트워크의 각 레이어에 파트에 대한 확률맵을 사용자가 제공하여 특정 위치를 강조하도록 하는 학습 방법을 제안함으로써, 사용자로부터 입력된 선행 지식(부분 확률맵 또는 부분 마스크)을 적극적으로 활용하여 객체 추출의 성능을 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 장치(800)를 도시한 블록도로서, 앞서 도 7을 통해 기술한 구성의 수행 기능을 시계열적으로 재구성한 도면이다. 따라서, 여기서는 설명의 중복을 피하고자 그 개요만을 약술하도록 한다.
입출력부(10)는, 검출하고자 하는 객체(object)가 포함된 이미지를 입력받고, 상기 이미지로부터 검출된 상기 객체를 출력한다.
처리부(20)는, 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키며, 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 상기 객체를 검출한다.
여기서, 상기 처리부(20)는, 사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 상기 부분 확률맵을 제공받을 수 있다. 특히, 상기 딥 러닝 네트워크는, 상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리할 수 있다. 나아가, 상기 세그멘테이션 마스크는, 상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵으로 구성될 수 있다.
상기 처리부(20)는, 상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 상기 딥 러닝 네트워크의 학습을 수행할 수 있다.
또한, 상기 처리부(20)는, 적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습을 수행할 수 있다. 보다 구체적으로, 상기 객체 검출에 대한 레이어의 출력값의 손실은, 레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출될 수 있다. 나아가, 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은, 레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출될 수 있다.
상기된 본 발명의 실시예들에 따른 부분 확률맵을 이용한 딥러닝 기반 객체 검출 시스템에 따르면, 기존의 전통적인 객체 검출 시스템은 객체를 부분으로 나누고, 부분의 관계성을 설계하는 방식(Deformable Part Model) 또는 부분에 대한 관계성과 관련 없이 이미지 전체를 대상으로 단계적으로 필터를 적용하는 템플릿 매칭 방식을 활용한다. 부분 관계성을 설계하는 방식의 경우, 사람의 직접적인 설계가 필요하나 직관적이라는 장점이 있고, 템플릿 매칭 방식은 설계와 같은 사람의 개입이 필요치 않으나 반직관적이며 사람의 선행 지식을 반영하기 어렵다.
본 발명의 실시예들에서 제안하는 시스템은 기존의 두 시스템을 혼합한 방식으로, 딥 아키텍쳐(deep architecture)에 기반하여 각 레이어에 선행 지식을 반영하는 레이어를 확률맵 형태로 추가하는 것이 특징이다. 이러한 방식을 통하여 부분의 관계성을 학습 모델에 포함하는 것으로 사람의 선행 지식을 반영하면서도 딥 러닝의 장점을 그대로 유지하는 객체 검출 시스템을 구성할 수 있다.
본 발명의 실시예들은 기존의 딥 러닝 시스템에 사람의 목적에 따른 레이어를 확률맵 형태로 추가하는 것으로, 이러한 형태의 시스템을 구성하는 것으로 객체 검출에 있어서 데이터의 사용 효율성과 성능을 향상시킬 수 있다.
첫째, 중소규모 기업의 데이터 비용을 절약할 수 있다. 즉, 대규모 데이터를 확보하기 어려운 중소규모 영상 기술 관련 기업(보안, 엔터테인먼트)의 데이터 수집 비용 절감 및 이를 통한 가격 경쟁력 향상을 도모할 수 있다.
둘째, 중소규모 기업의 기술 경쟁력을 향상시킬 수 있다. 부분 확률맵을 추가할 때, 독자적인 데이터 및 지식을 활용하는 것으로 범용적인 구조에 비하여 독자적 기술 경쟁력을 확보하는 것이 가능하다.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
210: 검출된 부분 영역 220: 확률 그래프 모델
310, 410, 420: 객체 마스크
510: 객체 부분 마스크
610: 딥 러닝 네트워크 620: 부분 확률맵
800: 객체 검출 장치
10: 입출력부 20: 처리부

Claims (17)

  1. 객체 검출 장치가 검출하고자 하는 객체(object)가 포함된 이미지를 입력받는 단계;
    상기 객체 검출 장치가 컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키는 단계; 및
    상기 객체 검출 장치가 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 검출된 상기 객체를 출력하는 단계;를 포함하는, 객체 검출 방법.
  2. 제 1 항에 있어서,
    상기 부분 확률맵은,
    사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 제공받는, 객체 검출 방법.
  3. 제 2 항에 있어서,
    상기 딥 러닝 네트워크는,
    상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리하는, 객체 검출 방법.
  4. 제 2 항에 있어서,
    상기 세그멘테이션 마스크는,
    상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵인, 객체 검출 방법.
  5. 제 1 항에 있어서,
    상기 딥 러닝 네트워크의 학습은,
    상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 수행되는, 객체 검출 방법.
  6. 제 1 항에 있어서,
    상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습은,
    적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 수행하는, 객체 검출 방법.
  7. 제 6 항에 있어서,
    상기 객체 검출에 대한 레이어의 출력값의 손실은,
    레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출되는, 객체 검출 방법.
  8. 제 6 항에 있어서,
    부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은,
    레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출되는, 객체 검출 방법.
  9. 제 1 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 검출하고자 하는 객체(object)가 포함된 이미지를 입력받고, 상기 이미지로부터 검출된 상기 객체를 출력하는 입출력부; 및
    컨볼루션(Convolution), 풀-컨넥션(Full-Connection) 및 풀링(Pooling)의 멀티 레이어(multi-layer)가 적어도 둘 이상 반복되어 구성되는 딥 러닝(deep learning) 네트워크를 학습시키되, 상기 검출하고자 하는 객체의 부분 확률맵(part probability map)을 입력받아 상기 레이어 각각에 대해 특정 위치를 강조하도록 별도로 학습시키며, 회귀 기반 손실(regression loss) 및 분류 기반 손실(classification loss)을 이용하여 상기 이미지에 대한 학습 결과로부터 상기 객체를 검출하는 처리부;를 포함하는, 객체 검출 장치.
  11. 제 10 항에 있어서,
    상기 처리부는,
    사용자로부터 상기 객체의 특정 부분에 대한 세그멘테이션 마스크(segmentation mask)를 지도 학습의 방법으로 상기 부분 확률맵을 제공받는, 객체 검출 장치.
  12. 제 11 항에 있어서,
    상기 딥 러닝 네트워크는,
    상기 세그멘테이션 마스크를 이용한 학습 결과를 현재 학습하고자 하는 레이어의 이전 레이어의 활성화 맵(activation map)의 일부로서 처리하는, 객체 검출 장치.
  13. 제 11 항에 있어서,
    상기 세그멘테이션 마스크는,
    상기 이미지에서 객체의 부분 영역에 해당하는 정도를 소정 범위의 값으로 표현한 것으로, 각 원소 단위가 독립적인 확률맵인, 객체 검출 장치.
  14. 제 10 항에 있어서,
    상기 처리부는,
    상기 부분 확률맵을 통해 제시된 상기 객체의 부분에 대해 레이어의 위치에 확률맵을 가산하거나 또는 승산함으로써 기하학적 위치의 특징을 강조하는 손실 함수(loss function)를 이용해 상기 딥 러닝 네트워크의 학습을 수행하는, 객체 검출 장치.
  15. 제 10 항에 있어서,
    상기 처리부는,
    적대적 생성 네트워크(generative adversarial network)의 방식을 따라 객체 검출에 대한 레이어의 출력값의 손실과 부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실을 각각 독립적으로 번갈아가며 학습함으로써 상기 딥 러닝 네트워크와 상기 부분 확률맵의 학습을 수행하는, 객체 검출 장치.
  16. 제 15 항에 있어서,
    상기 객체 검출에 대한 레이어의 출력값의 손실은,
    레이어의 위치에 확률맵에 따른 마스크를 원소 단위의 합(element-wise addition) 또는 원소 단위의 곱(element-wise multiplication) 연산한 다음, 레이어의 컨볼루션 필터, 비선형 함수 연산, 및 손실 함수 연산을 순차적으로 처리함으로써 산출되는, 객체 검출 장치.
  17. 제 15 항에 있어서,
    부분 확률맵에 따라 마스크를 학습한 레이어의 출력값의 손실은,
    레이어의 위치에 대해 출력값을 특정 범위의 값으로 한정하는 연산을 수행하고, 사용자가 추가한 객체의 확률맵을 감산한 다음, MSE(mean square error) 함수 또는 MAE(mean absolute error) 함수 연산을 처리함으로써 산출되는, 객체 검출 장치.
KR1020180172963A 2017-12-28 2018-12-28 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치 KR20190080818A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170181865 2017-12-28
KR1020170181865 2017-12-28

Publications (1)

Publication Number Publication Date
KR20190080818A true KR20190080818A (ko) 2019-07-08

Family

ID=67256901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172963A KR20190080818A (ko) 2017-12-28 2018-12-28 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20190080818A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155050B1 (ko) * 2019-10-28 2020-09-11 라온피플 주식회사 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법
KR102155052B1 (ko) * 2019-03-25 2020-09-11 라온피플 주식회사 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법
KR102155055B1 (ko) * 2019-10-28 2020-09-11 라온피플 주식회사 강화학습 기반 신호 제어 장치 및 신호 제어 방법
KR102253402B1 (ko) * 2019-11-28 2021-05-17 광운대학교 산학협력단 Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
KR20210111590A (ko) * 2020-03-03 2021-09-13 연세대학교 산학협력단 적대적 학습을 통한 비쌍 교차 스펙트럴 보행자 검출 장치 및 방법
WO2024136115A1 (ko) * 2022-12-23 2024-06-27 한국전자기술연구원 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096460A (ko) 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155052B1 (ko) * 2019-03-25 2020-09-11 라온피플 주식회사 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법
KR102155050B1 (ko) * 2019-10-28 2020-09-11 라온피플 주식회사 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법
KR102155055B1 (ko) * 2019-10-28 2020-09-11 라온피플 주식회사 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2021085848A1 (ko) * 2019-10-28 2021-05-06 라온피플 주식회사 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2021085847A1 (ko) * 2019-10-28 2021-05-06 라온피플 주식회사 영상 검지 장치 및 이를 포함하는 신호 제어 시스템 및 신호 제어 방법
US11823573B2 (en) 2019-10-28 2023-11-21 Laon Road Inc. Signal control apparatus and signal control method based on reinforcement learning
US11842634B2 (en) 2019-10-28 2023-12-12 Laon Road Inc. Image detection device, signal control system compromising same and signal control method
KR102253402B1 (ko) * 2019-11-28 2021-05-17 광운대학교 산학협력단 Ai방식을 이용한 적대적 이미지 생성장치 및 그 방법
KR20210111590A (ko) * 2020-03-03 2021-09-13 연세대학교 산학협력단 적대적 학습을 통한 비쌍 교차 스펙트럴 보행자 검출 장치 및 방법
WO2024136115A1 (ko) * 2022-12-23 2024-06-27 한국전자기술연구원 멀티프레임 시간 축 채널 교차 알고리즘을 적용한 인간 미세 제스처 인식 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR20190080818A (ko) 부분 확률맵을 포함하는 딥 러닝 기반 객체 검출 방법 및 장치
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN111160350B (zh) 人像分割方法、模型训练方法、装置、介质及电子设备
US8379994B2 (en) Digital image analysis utilizing multiple human labels
US20160300121A1 (en) Neural network image representation
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN111310672A (zh) 基于时序多模型融合建模的视频情感识别方法、装置及介质
CN109559363B (zh) 图像的风格化处理方法、装置、介质和电子设备
CN111325664B (zh) 风格迁移方法、装置、存储介质及电子设备
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
CN107590432A (zh) 一种基于循环三维卷积神经网络的手势识别方法
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN110956126A (zh) 一种联合超分辨率重建的小目标检测方法
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
TW201633181A (zh) 用於經非同步脈衝調制的取樣信號的事件驅動型時間迴旋
Chen et al. Automated design of neural network architectures with reinforcement learning for detection of global manipulations
CN111274994A (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN116051388A (zh) 经由语言请求的自动照片编辑
Li A deep learning-based text detection and recognition approach for natural scenes
CN116433911A (zh) 基于多尺度池化建模的伪装物体实例分割方法、装置及系统
CN117079095A (zh) 基于深度学习的高空抛物检测方法、系统、介质和设备
Chen et al. Deep sparse autoencoder network for facial emotion recognition
CN113516670B (zh) 一种反馈注意力增强的非模式图像分割方法及装置
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템