KR20200052411A

KR20200052411A - 영상 분류 장치 및 방법

Info

Publication number: KR20200052411A
Application number: KR1020180127705A
Authority: KR
Inventors: 이준호; 송효섭; 송지은
Original assignee: 삼성에스디에스 주식회사
Priority date: 2018-10-24
Filing date: 2018-10-24
Publication date: 2020-05-15
Also published as: US11468267B2; KR102534936B1; US20200134386A1

Abstract

영상 분류 장치 및 방법이 개시된다. 일 실시예에 따른 영상 분류 장치는 학습 영상을 복수의 조각 영상으로 분할하는 영상 분할 모듈; 상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행하는 1차 분류 모듈; 및 학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 2차 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산하는 2차 분류 모듈을 포함한다.

Description

영상 분류 장치 및 방법{APPARATUS AND METHOD FOR CLASSIFYING IMAGE}

개시되는 실시예들은 고해상도 영상의 분류(classification) 기술과 관련된다.

영상 분류(image classification)란 영상을 분석하여 해당 영상이 어떠한 분류(class)에 속하는지 여부를 판별하기 위한 기술이다. 예를 들어 환자를 촬영한 의료 영상의 경우, 영상 분류를 통하여 특정 질환의 존재 여부를 판단할 수 있다. 최근 들어 머신 러닝(machine learning) 또는 딥 러닝(deep learning) 등의 알고리즘을 영상 분류에 사용하는 경우가 증가하고 있다.

머신 러닝 또는 딥 러닝 기반의 영상 분류 알고리즘의 경우, 성능상의 제약 등으로 인해 고해상도 영상을 그대로 사용하는 것이 매우 어렵다. 이에 따라 원본 영상을 복수의 작은 조각으로 나누어 학습하는 방법 등이 사용된다. 그러나 조각 영상을 이용한 영상 분류 기법은, 소수의 조각에서만 발견되지만 중요한 특징에 따라 전체 원본 영상이 분류되는 경우가 있는가 하면 영상의 특징 유무가 아닌 특징의 개수에 의하여 영상 전체의 분류가 결정되는 경우가 존재하는 등 분류 결과의 정확도를 낮추는 상호 모순적인 상황들이 존재한다.

한국 등록특허공보 10-1848321호 (2018.04.16)

개시되는 실시예들은 영상 분할을 이용한 기계 학습 기반의 영상 분류 기법의 정확도를 높이기 위한 기술적인 수단을 제공하기 위한 것이다.

예시적인 실시예에 따르면, 학습 영상을 복수의 조각 영상으로 분할하는 영상 분할 모듈; 상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행하는 1차 분류 모듈; 및 학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 2차 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산하는 2차 분류 모듈을 포함하는, 영상 분류 장치가 제공된다.

상기 1차 분류 모듈은, 상기 복수의 조각 영상을 개별적으로 상기 1차 분류기에 입력함으로써 상기 1차 분류기에 대한 기계 학습을 수행할 수 있다.

상기 1차 분류기로 입력되는 상기 복수의 조각 영상 각각의 분류값(label)은, 상기 학습 영상의 분류값과 동일하게 설정될 수 있다.

상기 1차 분류 예측값은, 각각의 분류 대상 클래스별 회귀값(regression value), 스코어값(score value) 또는 클래스값(class value) 중 어느 하나일 수 있다.

상기 2차 분류 모듈은, 상기 복수의 1차 분류 예측값 각각에 대한 가중치 초기값 및 가중치 탐색 범위를 입력받고, 입력된 상기 가중치 탐색 범위 내에서 상기 가중치 초기값을 변경하면서 기 설정된 조건을 만족하는 최적 가중치 조합을 탐색할 수 있다.

상기 2차 분류 모듈은, 특정 가중치 조합을 상기 복수의 1차 분류 예측값에 적용할 경우의 손실이 기 설정된 임계값 미만인 경우, 상기 특정 가중치 조합을 상기 최적 가중치 조합으로 결정할 수 있다.

상기 2차 분류 모듈은, 상기 복수의 1차 분류 예측값을 2차 분류기에 동시에 입력함으로써 상기 2차 분류기에 대한 기계 학습을 수행할 수 있다.

상기 2차 분류 모듈은, 학습된 상기 2차 분류기를 통한 2차 분류 예측값의 손실이 기 설정된 임계값 미만이 되도록 상기 2차 분류기의 학습 파라미터를 업데이트할 수 있다.

다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 학습 영상을 복수의 조각 영상으로 분할하는 단계; 상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행하는 1차 학습 단계; 및 학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 2차 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산하는 2차 학습 단계를 포함하는, 방법이 제공된다.

상기 1차 학습 단계는, 상기 복수의 조각 영상을 개별적으로 상기 1차 분류기에 입력함으로써 상기 1차 분류기에 대한 기계 학습을 수행하도록 구성될 수 있다.

상기 2차 학습 단계는, 상기 복수의 1차 분류 예측값 각각에 대한 가중치 초기값 및 가중치 탐색 범위를 입력받는 단계; 및 입력된 상기 가중치 탐색 범위 내에서 상기 가중치 초기값을 변경하면서 기 설정된 조건을 만족하는 최적 가중치 조합을 탐색하는 단계를 더 포함할 수 있다.

상기 2차 학습 단계는, 특정 가중치 조합을 상기 복수의 1차 분류 예측값에 적용할 경우의 손실이 기 설정된 임계값 미만인 경우, 상기 특정 가중치 조합을 상기 최적 가중치 조합으로 결정할 수 있다.

상기 2차 학습 단계는, 상기 복수의 1차 분류 예측값을 2차 분류기에 동시에 입력함으로써 상기 2차 분류기에 대한 기계 학습을 수행하도록 구성될 수 있다.

상기 2차 학습 단계는, 학습된 상기 2차 분류기를 통한 2차 분류 예측값의 손실이 기 설정된 임계값 미만이 되도록 상기 2차 분류기의 학습 파라미터를 업데이트하도록 구성될 수 있다.

개시되는 실시예들에 따르면, 영상 분할을 이용한 기계 학습 기반의 영상 분류 기법에 있어 분류의 정확도를 높일 수 있다.

도 1은 일 실시예에 따른 영상 분류 장치(100)를 설명하기 위한 블록도
도 2는 일 실시예에 따른 1차 분류 모듈(104)에서의 1차 분류기 학습 과정을 설명하기 위한 예시도
도 3은 일 실시예에 따른 2차 분류 모듈(106)에서의 최적 가중치 조합 탐색 과정을 설명하기 위한 예시도
도 4는 일 실시예에 따른 영상 분류 장치(100)에서 가중치 재조합 방식을 통해 최적 가중치 조합을 탐색한 예를 설명하기 위한 예시도
도 5는 다른 실시예에 따른 2차 분류 모듈(106)에서의 최적 가중치 조합 탐색 과정을 설명하기 위한 예시도
도 6은 일 실시예에 따른 영상 분류 방법(600)을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 일 실시예에 따른 영상 분류 장치(100)를 설명하기 위한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 영상 분류 장치(100)는 영상 분할 모듈(102), 1차 분류 모듈(104) 및 2차 분류 모듈(106)을 포함한다.

영상 분할 모듈(102)은 입력되는 원본 학습 영상을 복수의 조각 영상으로 분할한다. 개시되는 실시예들에서, 영상 분할 모듈(102)은 다양한 방식으로 상기 원본 영상을 복수의 조각 영상으로 분할할 수 있다. 실시예에 따라, 분할되는 영상은 다양한 크기를 가질 수 있고, 영상들 간에 서로 겹치는 구역이 존재할 수도 있다. 즉, 개시되는 실시예들은 영상에 대한 특정 분할 알고리즘에 한정되는 것을 아님을 유의한다.

1차 분류 모듈(104)은 상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행한다. 일 실시예에서, 1차 분류 모듈(104)은 상기 복수의 조각 영상을 개별적으로 상기 1차 분류기에 입력함으로써 상기 1차 분류기에 대한 기계 학습을 수행하도록 할 수 있다. 즉, 개시되는 실시예들은 고해상도 영상에 대한 분류 문제를 해결하기 위하여 영상을 복수의 조각 영상으로 분할하고, 1차 분류 모듈(104)에서는 분할된 영상에 대한 개별 학습을 수행하도록 구성된다.

일 실시예에서, 1차 분류 모듈(104)은 지도 학습(Supervised Learning) 방식으로 상기 조각 영상들을 상기 1차 분류기에 입력하여 학습을 수행하도록 구성된다. 이때, 상기 1차 분류기로 입력되는 상기 복수의 조각 영상 각각의 분류값(label)은 상기 원본 학습 영상의 분류값과 동일하게 설정될 수 있다. 즉, 원본 영상 X를 n개(n은 1 이상의 자연수)의 조각으로 나눌 경우, k번째 조각 영상을 x_k(1 <= k <= n), 원본 영상의 분류값을 Y, k 번째 조각 영상의 레이블을 y_k, 학습하고자 하는 1차 분류기의 분류 함수를 f, k 번째 조각 영상에 대해 1차 분류기가 예측한 결과를

라고 할 때, 1차 분류 모듈(104)은 다음의 수학식 1과 같은 조건으로 1차 분류기를 학습하게 된다.

[수학식 1]

도 2는 일 실시예에 따른 1차 분류 모듈(104)에서의 1차 분류기 학습 과정을 설명하기 위한 예시도이다. 도시된 바와 같이, 영상 분할 모듈(102)은 입력되는 원본 학습 영상을 복수의 조각 영상으로 분할하면, 1차 분류 모듈(104)은 각각의 조각 영상을 머신 러닝 기반의 1차 분류기에 입력하고 그 결과를 2차 분류 모듈(106)로 포워드 패스(forward pass)한다. 일 실시예에서, 상기 1차 분류기를 위한 알고리즘은 깊은 컨볼루셔널 인공신경망 (Deep Convolutional Neural Network)을 포함한 다양한 지도학습 기반의 머신 러닝 방법을 적용할 수 있다.

분할된 조각 영상 중 하나(x_k)를 입력받은 1차 분류기는 해당 조각 영상에 대한 1차 분류 예측값(

)을 생성한다. 1차 분류기의 분류 함수를 f라 할 때, 상기 분류 함수는 다음의 수학식 2와 같이 표현될 수 있다.

[수학식 2]

1차 분류 모듈(104)은 생성된 상기 1차 분류 예측값과 해당 조각 영상의 분류값(y_k) 간의 손실(Loss)을 계산한다. 전술한 바와 같이, 각 조각 영상의 분류값은 상기 원본 학습 영상의 분류값과 동일하게 설정될 수 있다(y_k = Y for k = 1, 2, …, n). 따라서 이 경우 상기 손실은 다음의 수학식 3과 같이 계산될 수 있다.

[수학식 3]

이후, 1차 분류 모듈(104)은 상기 손실이 기 설정된 임계값 미만인지의 여부를 판단하고, 만약 상기 판단 결과 상기 손실이 기 설정된 임계값 이상인 경우 1차 분류기의 학습 파라미터(θ)를 업데이트한다.

다음으로, 2차 분류 모듈(106)은 학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산한다. 즉 개시되는 실시예에서, 입력 영상의 분류는 1차 분류 모듈(104) 및 2차 분류 모듈(106)을 직렬로 결합함으로써 수행된다.

2차 분류 모듈(106)은 학습된 1차 분류기에서 출력되는 각 조각 영상들의 예측값(1차 분류 예측값)을 입력으로 하여 학습된다. 이때 1차 분류기에서 출력되는 1차 분류 예측값(

)은 영상 분류 장치(100)에서 분류하고자 하는 각각의 분류 대상 클래스별 예측값의 집합으로서, 1차 분류기에서 최종 분류 직전 산출되는 실수 범위의 회귀(regression)값, 0에서 1사이의 확률 형태로 산출되는 스코어(score)값, 0 또는 1과 같이 정수 형태로 산출되는 결과 클래스값 중 어느 하나일 수 있다. 개시되는 실시예에서는 본 발명에서는 3가지 경우 중 어느 하나를 2차 분류기 학습의 입력으로 사용하여 상기 가중치 조합 또는 학습 파라미터를 계산하도록 구성된다.

도 3은 일 실시예에 따른 2차 분류 모듈(106)에서의 최적 가중치 조합 탐색 과정을 설명하기 위한 예시도이다. 본 실시예에서, 2차 분류 모듈(106)은 학습된 1차 분류기에 조각 영상을 통과시킨(forward pass) 결과를 가중치 조합 (weighted composition, 또는 가중치 행렬)을 이용하여 통합하여 최종 분류를 하도록 학습되며, 원본 영상에 대한 분류 정확도를 높이도록 구성된다. 원본 영상에 대한 최종 예측 결과(2차 분류 예측값)을

, 상기 2차 분류 예측값을 계산하는데 사용되는 가중치 행렬을 H = [h₁, h₂, …, h_n]라 할 때, 상기 2차 분류 예측값은 다음의 수학식 4와 같이 계산될 수 있다.

[수학식 4]

이때 가중치 행렬(H)은 사전에 정의한 각 가중치의 탐색 범위(R_k) 내에서 사전에 정의한 초기값으로부터 그리드 탐색(grid search) 방법에 의해 결정될 수 있다(가중치 재조합 방식). 도 3을 참조하면, 2차 분류 모듈(106)은 복수의 1차 분류 예측값(

)에 대한 가중치 초기값(h_k) 및 가중치 탐색 범위(R_k)를 입력받고, 먼저, 상기 가중치 초기값을 적용하여 2차 분류 예측값을 계산한다.

이후 2차 분류 모듈(106)은 계산된 2차 분류 예측값(

)과 해당 원본 학습 영상의 분류값(Y) 간의 손실(Loss)을 계산한다. 이 경우 상기 손실은 다음의 수학식 5와 같이 계산될 수 있다.

[수학식 5]

이후, 2차 분류 모듈(104)은 상기 손실이 기 설정된 임계값 미만인지의 여부를 판단하고, 만약 상기 판단 결과 상기 손실이 임계값 이상인 경우 가중치 행렬에 포함된 가중치 초기값들의 일부를 가중치 탐색 범위 내에서 변경하여 상기 분류 예측값 및 손실을 반복 계산한다. 상기 과정은 상시 손실이 기 설정된 임계값 미만이 될 때까지 반복 수행된다.

도 4는 일 실시예에 따른 영상 분류 장치(100)에서 가중치 재조합 방식을 통해 최적 가중치 조합을 탐색한 예를 설명하기 위한 예시도이다. 도시된 바와 같이, 원본 영상을 16개의 영역으로 나누고 이 중 3x3 영역을 결합하여 복수의 조각 영상을 생성하는 경우, 각 조각 영상에 대하여 계산된 가중치는 다음의 표 1과 같다.

조각 명칭	조각 영상 구성 영역	가중치
원본	모든 영역	0.05
NW	1a + 1b + 2a + 2b	0.10
NE	3a + 3b + 4a + 4b	0.05
SW	1c + 1d + 2c + 2d	0.10
SE	3c + 3d + 4c + 4d	0.05
C	2b + 2c + 3b + 3c	0.15
N	2a + 2b + 3a + 3b	0.05
S	2c + 2d + 3c + 3d	0.05
W	1b + 1c + 2b + 2c	0.20
E	3b + 3c + 4b + 4c	0.20

도 5는 다른 실시예에 따른 2차 분류 모듈(106)에서의 최적 가중치 조합 탐색 과정을 설명하기 위한 예시도이다. 본 실시예에서, 2차 분류 모듈(106)은 학습된 1차 분류기에 조각 영상을 통과시킨(forward pass) 결과를 2차 분류기에 동시에 입력함으로써 상기 2차 분류기에 대한 기계 학습을 수행하도록 구성될 우 ?다. 원본 영상에 대한 최종 예측 결과(2차 분류 예측값)을

, 상기 2차 분류 예측값을 계산하는데 사용되는 2차 분류기의 분류 함수를 h라 할 때 상기 2차 분류 예측값은 다음의 수학식 6과 같이 계산될 수 있다.

[수학식 6]

일 실시예에서, 2차 분류 모듈(106)은 로지스틱 회귀(logistic regression), 의사결정 나무(decision tree) 기반의 랜덤 포레스트(random forest), 밀집 레이어(dense layer) 기반의 인공 신경망(neural network) 등을 상기 2차 분류기로 사용할 수 있다.

도 5를 참조하면, 2차 분류 모듈(106)은 학습된 1차 분류기에 조각 영상을 통과시킨 복수의 1차 분류 예측값(

)을 2차 분류기에 동시에 입력한다.

이후 2차 분류기로부터 2차 분류 예측값(

)이 계산되면, 2차 분류 모듈(106)은 계산된 2차 분류 예측값(

)과 해당 원본 학습 영상의 분류값(Y) 간의 손실(Loss)를 계산한다. 이 경우 상기 손실은 다음의 수학식 7과 같이 계산될 수 있다.

[수학식 7]

이후, 2차 분류 모듈(106)은 상기 손실이 기 설정된 임계값 미만인지의 여부를 판단하고, 만약 상기 판단 결과 상기 손실이 기 설정된 임계값 이상인 경우 2차 분류기의 학습 파라미터(ω)를 업데이트한다.

전술한 바와 같이, 1차 분류 모듈(104) 및 2차 분류 모듈(106)의 학습이 완료된 경우, 영상 분류 장치(100)는 다음과 같이 입력된 분류 대상 영상을 분류할 수 있다.

먼저, 영상 분할 모듈(102)은 입력되는 원본 분류 대상 영상을 복수의 조각 영상으로 분할한다. 이후 1차 분류 모듈(104)은 학습된 1차 분류기를 이용하여 분할된 조각 영상 각각에 대한 1차 분류 예측값(

)을 생성한다. 마지막으로, 2차 분류 모듈(106)은 상기 1차 분류 예측값(

)에 기 계산된 최적의 가중치 행렬을 적용하거나, 또는 기계 학습 기반의 2차 분류기를 이용하여 분류 대상 영상에 대한 최종 분류값인 2차 분류 예측값(

)을 계산한다.

도 6은 일 실시예에 따른 영상 분류 방법(600)을 설명하기 위한 흐름도이다. 도시된 흐름도는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예를 들어 전술한 영상 분류 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

단계 602에서, 영상 분할 모듈(102)은 입력되는 원본 학습 영상을 복수의 조각 영상으로 분할한다.

단계 604에서, 1차 분류 모듈(104)은 상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행한다.

단계 606에서, 2차 분류 모듈(106)은 학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산한다.

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 영상 분류 장치(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 영상 분류 장치
102: 영상 분할 모듈
104: 1차 분류 모듈
106: 2차 분류 모듈

Claims

학습 영상을 복수의 조각 영상으로 분할하는 영상 분할 모듈;
상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행하는 1차 분류 모듈; 및
학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 2차 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산하는 2차 분류 모듈을 포함하는, 영상 분류 장치.
청구항 1에 있어서,
상기 1차 분류 모듈은, 상기 복수의 조각 영상을 개별적으로 상기 1차 분류기에 입력함으로써 상기 1차 분류기에 대한 기계 학습을 수행하도록 구성되는, 영상 분류 장치.
청구항 2에 있어서,
상기 1차 분류기로 입력되는 상기 복수의 조각 영상 각각의 분류값(label)은, 상기 학습 영상의 분류값과 동일하게 설정되는, 영상 분류 장치.
청구항 1에 있어서,
상기 1차 분류 예측값은, 각각의 분류 대상 클래스별 회귀값(regression value), 스코어값(score value) 또는 클래스값(class value) 중 어느 하나인, 영상 분류 장치.
청구항 1에 있어서,
상기 2차 분류 모듈은,
상기 복수의 1차 분류 예측값 각각에 대한 가중치 초기값 및 가중치 탐색 범위를 입력받고, 입력된 상기 가중치 탐색 범위 내에서 상기 가중치 초기값을 변경하면서 기 설정된 조건을 만족하는 최적 가중치 조합을 탐색하는, 영상 분류 장치.
청구항 5에 있어서,
상기 2차 분류 모듈은,
특정 가중치 조합을 상기 복수의 1차 분류 예측값에 적용할 경우의 손실이 기 설정된 임계값 미만인 경우, 상기 특정 가중치 조합을 상기 최적 가중치 조합으로 결정하는, 영상 분류 장치.
청구항 1에 있어서,
상기 2차 분류 모듈은,
상기 복수의 1차 분류 예측값을 2차 분류기에 동시에 입력함으로써 상기 2차 분류기에 대한 기계 학습을 수행하는, 영상 분류 장치.
청구항 7에 있어서,
상기 2차 분류 모듈은,
학습된 상기 2차 분류기를 통한 2차 분류 예측값의 손실이 기 설정된 임계값 미만이 되도록 상기 2차 분류기의 학습 파라미터를 업데이트하는, 영상 분류 장치.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
학습 영상을 복수의 조각 영상으로 분할하는 단계;
상기 복수의 조각 영상을 이용하여 1차 분류기에 대한 기계 학습을 수행하는 1차 학습 단계; 및
학습된 상기 1차 분류기에 상기 복수의 조각 영상을 통과시킨 복수의 1차 분류 예측값으로부터 상기 학습 영상에 대한 2차 분류 예측값을 생성하기 위한 가중치 조합, 또는 기계 학습 기반의 학습 파라미터를 계산하는 2차 학습 단계를 포함하는, 방법.
청구항 9에 있어서,
상기 1차 학습 단계는, 상기 복수의 조각 영상을 개별적으로 상기 1차 분류기에 입력함으로써 상기 1차 분류기에 대한 기계 학습을 수행하도록 구성되는, 방법.
청구항 10에 있어서,
상기 1차 분류기로 입력되는 상기 복수의 조각 영상 각각의 분류값(label)은, 상기 학습 영상의 분류값과 동일하게 설정되는, 방법.
청구항 9에 있어서,
상기 1차 분류 예측값은, 각각의 분류 대상 클래스별 회귀값(regression value), 스코어값(score value) 또는 클래스값(class value) 중 어느 하나인, 방법.
청구항 9에 있어서,
상기 2차 학습 단계는,
상기 복수의 1차 분류 예측값 각각에 대한 가중치 초기값 및 가중치 탐색 범위를 입력받는 단계; 및
입력된 상기 가중치 탐색 범위 내에서 상기 가중치 초기값을 변경하면서 기 설정된 조건을 만족하는 최적 가중치 조합을 탐색하는 단계를 더 포함하는, 방법.
청구항 13에 있어서,
상기 2차 학습 단계는,
특정 가중치 조합을 상기 복수의 1차 분류 예측값에 적용할 경우의 손실이 기 설정된 임계값 미만인 경우, 상기 특정 가중치 조합을 상기 최적 가중치 조합으로 결정하는, 방법.
청구항 9에 있어서,
상기 2차 학습 단계는,
상기 복수의 1차 분류 예측값을 2차 분류기에 동시에 입력함으로써 상기 2차 분류기에 대한 기계 학습을 수행하도록 구성되는, 방법.
청구항 15에 있어서,
상기 2차 학습 단계는,
학습된 상기 2차 분류기를 통한 2차 분류 예측값의 손실이 기 설정된 임계값 미만이 되도록 상기 2차 분류기의 학습 파라미터를 업데이트하도록 구성되는, 방법.