KR101888647B1

KR101888647B1 - 이미지 분류 장치 및 방법

Info

Publication number: KR101888647B1
Application number: KR1020170012150A
Authority: KR
Inventors: 송현주; 서진욱; 정대경; 김원재; 김영호; 황정인; 전재호; 정우석
Original assignee: 서울대학교산학협력단; 주식회사 한글과컴퓨터
Priority date: 2017-01-25
Filing date: 2017-01-25
Publication date: 2018-08-14
Also published as: KR20180087735A

Abstract

이미지 분류 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 이미지 분류 장치는 복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출하는 픽셀 추출부; 상기 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 상기 이미지들의 특징을 추출하기 위한 레이어를 생성하는 레이어 생성부; 상기 레이어를 이용하여 상기 이미지들의 특징을 추출하는 특징 추출부 및 상기 이미지들의 특징에 기반하여 상기 이미지들을 분류하는 이미지 분류부를 포함한다.

Description

이미지 분류 장치 및 방법 {APPARATUS FOR CLASSIFYING IMAGE AND METHOD FOR USING THE SAME}

본 발명은 데이터 분류 기술에 관한 것으로, 보다 상세하게는 인간-컴퓨터 상호작용(Human-Computer Interaction) 분야에서 인공지능 기술을 이용한 전자 문서 또는 이미지 형태의 데이터를 분류하는 기술에 관한 것이다.

기존 이미지 분류 기법은 대부분 사진이나 회화 등 자연적인 모습을 대상으로 컴퓨터 비전 분야에서 연구되어 왔으며, 상대적으로 차트와 같은 인위적으로 만들어진 결과물에 대해서는 많은 연구가 진행되지 않았다. Savva et al.의 2011년 UIST 논문에서는 image에서 얻을 수 있는 특징들과 글자가 들어간 영역에 대하여 추출한 특성들을 활용하여 차트를 분류하고자 했다. 하지만 특정 종류의 차트에 대해서는 정확도가 상대적으로 낮게 나왔으며, 이진 분류(binary classification)가 아닌 다중 분류(multi-class classification)에서는 그 더 낮은 정확도를 나타낸다는 한계가 존재했다.

최근 높은 정확도로 자연적인 이미지를 분류할 수 있는 컨볼루셔널 인공신경망(Convolutional Neural Network)의 다양한 변형이 연구되어 왔는데, 그 중 높은 성능을 나타낸 것이 GoogLeNet이다. GoogLeNet은 39개의 hidden layer 층을 갖고 있으며, 각 hidden layer는 "inception"이라는 단위로 묶여 있는데, 이는 같은 feature가 이미지 상에서 가까운데 위치한다는 가정을 가지고 만들어진 구조이다. 또한 해당 구조는 하나의 구역에 대해서 컨볼루션 필터의 크기를 점점 줄여나가는 방식으로 구성된다. 이러한 방식의 경우 이미지 내에서 배치가 상대적으로 자유로운 자연적인 이미지에 대해서 매우 높은 효율을 보이며, 차트에 대해서도 일정 수준 이상의 성능을 보일 수 있지만, 근본적으로 인위적인 영상에 대한 고려가 부족하단 한계점이 존재한다.

한편, 한국공개특허 제 10-2016-0144660 호“ 컨볼루션 신경망을 위한 개선된 분류 층”는 컨볼루션 신경망에서 컨볼루션 층을 완전히 연결된 층인 기존의 분류 층에 수평으로 연결하는 방법을 통해 부분적으로 일치하는 유사한 이미지를 이전 층과 부분적으로 연결된 컨볼루션 층을 연결하여 이 층의 일부 뉴런이 부분적으로 동일한 이미지로부터 동일한 값을 가질 수 있도록 하여 분류 층이 이미지를 좌표공간상의 비슷한 이미지와 좀 더 가깝도록 분류하여 이미지의 인식 성능을 향상시킨 구성에 관하여 개시하고 있다.

본 발명은 이미지의 특성을 살려 분류에 사용될 수 있는 레이어(layer)를 추가하여 인공지능 기술의 이미지 분류 성능을 향상시키는 것을 목적으로 한다.

또한, 본 발명은 차트 이미지의 특징을 추출하여 차트 이미지에 특화된 분류 알고리즘을 제공하는 것을 목적으로 한다.

또한, 본 발명은 이미지가 차트 이미지인지 여부만을 확인하는 이진 분류(binary classification)뿐만 아니라 여러 종류의 차트 이미지 중 어떤 종류의 차트 이미지인지를 확인하는 다중 분류(multi-class classification)의 정확성을 향상시키는 것을 목적으로 한다.

또한, 본 발명은 차트 이미지뿐만 아니라 데이터를 시각적으로 도식화하는 모든 형태의 데이터에 대한 특징을 도출하는데 있어서 높은 정확성을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 이미지 분류 장치는 복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출하는 픽셀 추출부; 상기 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 상기 이미지들의 특징을 추출하기 위한 레이어를 생성하는 레이어 생성부; 상기 레이어를 이용하여 상기 이미지들의 특징을 추출하는 특징 추출부 및 상기 이미지들의 특징에 기반하여 상기 이미지들을 분류하는 이미지 분류부를 포함한다.

이 때, 상기 픽셀 추출부는 상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의할 수 있다.

이 때, 상기 픽셀 추출부는 상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의할 수 있다.

이 때, 상기 픽셀 추출부는 상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출할 수 있다.

이 때, 상기 레이어 생성부는 상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 산출할 수 있다.

이 때, 상기 레이어 생성부는 상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성할 수 있다.

이 때, 상기 레이어 생성부는 상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성할 수 있다.

이 때, 상기 레이어 생성부는 상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성할 수 있다.

이 때, 상기 레이어 생성부는 상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling)을 수행할 수 있다.

이 때, 상기 특징 추출부는 상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 이미지 분류 방법은 이미지 분류 장치를 이용하는 방법에 있어서, 복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출하는 단계; 상기 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 상기 이미지들의 특징을 추출하기 위한 레이어를 생성하는 단계; 상기 레이어를 이용하여 상기 이미지들의 특징을 추출하는 단계 및 상기 이미지들의 특징에 기반하여 상기 이미지들을 분류하는 단계를 포함한다.

이 때, 상기 픽셀 수를 추출하는 단계는 상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의할 수 있다.

이 때, 상기 픽셀 수를 추출하는 단계는 상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의할 수 있다.

이 때, 상기 픽셀 수를 추출하는 단계는 상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출할 수 있다.

이 때, 상기 레이어를 생성하는 단계는 상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 계산할 수 있다.

이 때, 상기 레이어를 생성하는 단계는 상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성할 수 있다.

이 때, 상기 레이어를 생성하는 단계는 상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성할 수 있다.

이 때, 상기 레이어를 생성하는 단계는 상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성할 수 있다.

이 때, 상기 레이어를 생성하는 단계는 상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling)을 수행할 수 있다.

이 때, 상기 특징을 추출하는 단계는 상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련할 수 있다.

본 발명은 이미지의 특성을 살려 분류에 사용될 수 있는 레이어(layer)를 추가하여 인공지능 기술의 이미지 분류 성능을 향상시킬 수 있다.

또한, 본 발명은 차트 이미지의 특징을 추출하여 차트 이미지에 특화된 분류 알고리즘을 제공할 수 있다.

또한, 본 발명은 이미지가 차트 이미지인지 여부만을 확인하는 이진 분류(binary classification)뿐만 아니라 여러 종류의 차트 이미지 중 어떤 종류의 차트 이미지인지를 확인하는 다중 분류(multi-class classification)의 정확성을 향상시킬 수 있다.

또한, 본 발명은 차트 이미지뿐만 아니라 데이터를 시각적으로 도식화하는 모든 형태의 데이터에 대한 특징을 도출하는데 있어서 높은 정확성을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 이미지 분류 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 퍼셉트론을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 인공신경망을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 컨볼루셔널 인공신경망을 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따른 컨볼루셔널 필터링 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 GoogLeNet 을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 이미지 분류 방법을 나타낸 동작흐름도이다.
도 9은 본 발명의 일실시예에 따른 이미지 특징 추출 과정을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 색상 기반 픽셀 추출 과정을 나타난 도면이다.
도 11은 본 발명의 일실시예에 따른 색상 별 빈도수를 이용한 레이어 생성 과정을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 이미지 분류 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 이미지 분류 장치는 픽셀 추출부(110), 레이어 생성부(120), 특징 추출부(130) 및 이미지 분류부(140)를 포함한다.

픽셀 추출부(110)는 복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출할 수 있다.

이 때, 입력되는 복수개의 이미지들은 차트 및 그래프 등의 인위적으로 만들어진 색상이 포함된 전자 문서 이미지에 상응할 수 있다. 이러한 이미지들은 차트 및 그래프가 아니더라도 이미지에 포함된 색상이 어떠한 의미를 가지고 있을 경우, 본 발명을 이용한 이미지 분류 대상이 될 수 있다.

이 때, 픽셀 추출부(110)는 상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의할 수 있다.

이 때, 픽셀 추출부(110)는 상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의할 수 있다.

이 때, 픽셀 추출부(110)는 상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출할 수 있다.

레이어 생성부(120)는 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 이미지들의 특징을 추출하기 위한 레이어를 생성할 수 있다.

이 때, 레이어 생성부(120)는 상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 산출할 수 있다.

이 때, 레이어 생성부(120)는 색상 별 빈도수의 순위를 설정하여, 기설정된 순위까지의 색상 별 빈도수만 선택할 수 있다.

예를 들어, 레이어 생성부(120)는 상위 5위까지에 상응하는 색상 별 빈도수를 선택할 수 있다.

[수학식 1]

예를 들어, 레이어 생성부(120)는 수학식 1과 같이 3개의 색상 별 픽셀 수 p, q 및 r을 추출하고, 색상 별 픽셀 수를 모두 합산한 전체 픽셀 수 n_i를 산출할 수 있다.

이 때, 레이어 생성부(120)는 상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성할 수 있다.

[수학식 2]

이 때, 레이어 생성부(120)는 상기 수학식 2와 같이 색상 별 픽셀 수 p, q 및 r에 전체 픽셀 수 n_i와 이미지들의 개수 N을 나누어 색상 별 빈도수를 산출할 수 있다.

이 때, 레이어 생성부(120)는 상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성할 수 있다.

이 때, 레이어 생성부(120)는 상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성할 수 있다.

이 때, 액티베이션 함수는 ReLU(Rectified Liniear Unit)를 사용할 수 있다.

이 때, 레이어 생성부(120)는 상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling) 또는 서브 샘플링(Sub sampling)을 수행할 수 있다.

이 때, 레이어 생성부(120)는 상기와 같은 레이어를 생성하여 차트와 같은 이미지들의 특성을 이용할 수 있다. 인공적으로 도식화된 시각화 이미지들은 공통적으로 현실을 찍은 사진이나 그린 그림과 다르게 한 이미지 내에서 색의 편차가 적으며, 같은 정보를 나타내는 지점에서는 정확히 같은 색을 사용하는 경우가 잦기 때문이다.

예를 들어, 레이어는 컨볼루셔널 인공신경망 알고리즘(Convolutional Neural Network, CNN)에서 컨볼루션 과정에 추가될 수 있고, 다운 샘플링(down sampling) 또는 서브 샘플링(Sub sampling) 기술을 통해 컨볼루션에서 사용될 크기에 맞춰 m x n으로 줄여서 사용될 수 있다.

특징 추출부(130)는 레이어를 이용하여 이미지들의 특징을 추출할 수 있다.

이 때, 특징 추출부(130)는 이미지의 특징 추출을 위하여 컨볼루셔널 인공신경망 알고리즘을 수행할 수 있다.

이 때, 특징 추출부(130)는 상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련할 수 있다.

[수학식 3]

상기 수학식 3에서, W는 l번째와 l+1번째 layer사이의 weight vector이며, 함수 f'은 activation 함수의 도함수이고 k는 해당 필터의 index에 상응할 수 있다.

즉, 특징 추출부(130)는 GoogLeNet 형태의 CNN인 경우, 레이어 생성부(120)에서 생성한 레이어가 삽입될 때, 수학식 3과 같이 error를 도출하고, 역전파시켜 레이어를 훈련시킬 수도 있다.

이 때, 특징 추출부(130)는 GoogLeNet 형태의 CNN인 경우, 컨볼루션 레이어들 사이에 레이어 생성부(120)에서 생성한 색상 기반 특징을 추출하는 레이어를 삽입할 수 있다.

이 때, 특징 추출부(130)는 색상 기반 특징을 추출하는 레이어를 이용하여 입력된 이미지들의 특징값을 컨볼루셔널 인공지능망 알고리즘을 통해 추출할 수 있다.

이미지 분류부(140)는 이미지들의 특징에 기반하여 이미지들을 분류할 수 있다.

이 때, 이미지 분류부(130)는 추출된 이미지들의 특징값에 기반하여 컨볼루셔널 인공지능망 알고리즘을 통해 이미지들을 분류할 수 있다.

도 2는 본 발명의 일실시예에 따른 퍼셉트론을 나타낸 도면이다. 도 3은 본 발명의 일실시예에 따른 인공신경망을 나타낸 도면이다.

도 2 및 도 3을 참조하면, 본 발명의 일실시예에 따른 컨볼루셔널 인공신경망 알고리즘은 퍼셉트론이 이전 레이어를 구성하는 N개의 퍼셉트론의 아웃풋과 상기 퍼셉트론과 자신을 잇는 edge의 weight를 곱한 값들을 인풋으로 받아 threshold θ이상인 값들만 합산할 수 있다. 이 때, 액티베이션 함수에 상응하는 함수에 상기 값을 전달하여 함수의 아웃풋을 출력할 수 있다.

전진 전파(Forward propagation)는 네트워크에 대해 주어진 최초 인풋에 대해서 최종 아웃풋이 나올 때까지 모든 퍼셉트론이 이 연산을 수행하는 과정을 forward propagation이라고 하며, 학습용과 평가용으로 나뉘어진 자료를 사용하여 각 퍼셉트론을 잇는 edge의 weight를 업데이트하는 방식으로 트레이닝을 진행할 수 있다

역전파(Backward propagation)는 검증용 데이터 세트를 구성하는 요소가 가지는 아웃풋을 참으로 두고(참인 클래스만 1이고 나머지 아웃풋은 0인 아웃풋으로 고려할 수도 있다.) 학습용 데이터 세트를 forward propagation한 값과(이 경우 0과 1이 아닌 그 사이의 값들로 아웃풋이 구성될 수 있다.) 비교하여 오차를 구하는데 이 과정을 이전 레이어와 연결된 현재 레이어의 모든 퍼셉트론에 대해서 진행할 수 있다. 그리고 그 오차들과 각 퍼셉트론이 가진 activation function의 미분값을 곱한 값을 구하여 이 값들을 모두 더한 값에 learning rate를 곱한 값을 이전 노드에 업데이트하고 값이 가지는 비율을 각 edge의 새로운 weight로 삼는다. 이 때, Backward propagation 은 이 과정을 최종 레이어부터 최초 레이어까지 진행할 수 있다.

이러한 과정을 통해 컨볼루셔널 인공신경망 알고리즘은 데이터의 특징을 추출하여 학습하고, 학습 및 추출한 데이터의 특징에 기반하여 입력되는 데이터를 분류할 수 있다.

도 4는 본 발명의 일실시예에 따른 컨볼루셔널 인공신경망을 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 컨볼루셔널 인공신경망은 convolution과 pooling(또는 Sub sampling)를 수행하여 filter를 생성하고, 생성한 filter에 대한 network을 구축하여 최종적으로 분류 결과를 산출할 수 있다.

이 때, Sub sampling은 max pooling, average pooling 및 L2-norm pooling 등의 다양한 sub sampling 또는 pooling 기능이 사용될 수 있다.

CNN은 전통적인 뉴럴 네트워크 앞에 여러 계층의 컨볼루셔널 계층을 붙인 모양이 되는데, 그 이유는 다음과 같다. CNN은 앞의 컨볼루셔널 계층을 통해서 입력 받은 이미지에 대한 특징(Feature)를 추출하게 되고, 이렇게 추출된 특징을 기반으로 뉴럴 네트워크를 이용하여 분류할 수 있다.

이 때, 본 발명의 본 발명의 특징 추출부(130)와 이미지 분류부(140)는 컨볼루셔널 인공신경망 알고리즘을 사용할 수 있으며, 컨볼루셔널 인공신경망의 구성을 포함할 수도 있다.

도 5 및 도 6은 본 발명의 일실시예에 따른 컨볼루셔널 필터링 과정을 나타낸 도면이다.

도 5를 참조하면, 원본 이미지가 입력되면 이미지를 stride 하여 컨볼루셔널 필터링을 수행할 수 있다.

도 6을 참조하면, stride 된 이미지의 영역은 수용 영역(Receptive Field)로 결정되어, 수용 영역 내에서 컨볼루션 필터링을 수행하는 것을 알 수 있다.

먼저, 수용 영역에서의 픽셀 표현에 대한 행렬을 산출하고 이에 대한, 컨볼루션 필터의 행렬값을 컨볼루션하면 최종적으로 이미지의 특징을 추출할 수 있다.

즉, 특징 추출부(130)는 도 6에 도시된 바와 같은 컨볼루션 필터링을 수행할 때 컨볼루션 필터로 레이어 생성부(120)에서 생성한 레이어를 이용할 수도 있다.

도 7은 본 발명의 일실시예에 따른 GoogLeNet을 나타낸 도면이다.

도 7을 참조하면, GoogLeNet의 형태로 구성된 CNN에서 새롭게 색상을 기반으로 한 레이어가 l번째로 추가된다고 할 때, 상기 layer는 상기 수학식 3과 같이 error를 도출하고 이를 역전파시킴으로써 훈련시킬 수 있다.

특히, 본 발명의 특징 추출부(130)는 GoogLeNet 형태의 CNN인 경우, 레이어 생성부(120)에서 생성한 레이어가 삽입될 때, 수학식 1과 같이 error를 도출하고, 역전파시켜 레이어를 훈련시킬 수도 있다.

이 때, 도 7에 도시된 GoogLeNet 형태의 CNN 구조에서, 굵은 테두리의 박스가 컨볼루션 레이어이며, 이러한 컨볼루션 레이어 사이에 본 발명의 이미지 분류 장치 및 방법을 통해 생성한 색상 기반 레이어를 삽입할 수도 있다.

도 8은 본 발명의 일실시예에 따른 이미지 분류 방법을 나타낸 동작흐름도이다.

도 8을 참조하면, 본 발명의 일실시예에 따른 이미지 분류 방법은 먼저 픽셀 수를 추출할 수 있다(S210).

즉, 단계(S210)는 복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출할 수 있다.

이 때, 단계(S210)는 상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의할 수 있다.

이 때, 단계(S210)는 상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의할 수 있다.

이 때, 단계(S210)는 상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출할 수 있다.

또한, 본 발명의 일실시예에 따른 이미지 분류 방법은 레이어를 생성할 수 있다(S220).

즉, 단계(S220)는 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 이미지들의 특징을 추출하기 위한 레이어를 생성할 수 있다.

이 때, 단계(S220)는 상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 산출할 수 있다.

이 때, 단계(S220)는 색상 별 빈도수의 순위를 설정하여, 기설정된 순위까지의 색상 별 빈도수만 선택할 수 있다.

예를 들어, 단계(S220)는 상위 5위까지에 상응하는 색상 별 빈도수를 선택할 수 있다.

예를 들어, 단계(S220)는 수학식 1과 같이 3개의 색상 별 픽셀 수 p, q 및 r을 추출하고, 색상 별 픽셀 수를 모두 합산한 전체 픽셀 수 n_i를 산출할 수 있다.

이 때, 단계(S220)는 상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성할 수 있다.

이 때, 단계(S220)는 상기 수학식 2와 같이 색상 별 픽셀 수 p, q 및 r에 전체 픽셀 수 n_i와 이미지들의 개수 N을 나누어 색상 별 빈도수를 산출할 수 있다.

이 때, 단계(S220)는 상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성할 수 있다.

이 때, 단계(S220)는 상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성할 수 있다.

이 때, 단계(S220)는 상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling) 또는 서브 샘플링(Sub sampling)을 수행할 수 있다.

이 때, 단계(S220)는 상기와 같은 레이어를 생성하여 차트와 같은 이미지들의 특성을 이용할 수 있다. 인공적으로 도식화된 시각화 이미지들은 공통적으로 현실을 찍은 사진이나 그린 그림과 다르게 한 이미지 내에서 색의 편차가 적으며, 같은 정보를 나타내는 지점에서는 정확히 같은 색을 사용하는 경우가 잦기 때문이다.

또한, 본 발명의 일실시예에 따른 이미지 분류 방법은 이미지의 특징을 추출할 수 있다(S230).

즉, 단계(S230)는 레이어를 이용하여 이미지들의 특징을 추출할 수 있다.

이 때, 단계(S230)는 특징 추출을 위하여 컨볼루셔널 인공신경망 알고리즘을 수행할 수 있다.

이 때, 단계(S230)는 상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련할 수 있다.

즉, 단계(S230)는 GoogLeNet 형태의 CNN인 경우, 생성한 레이어가 삽입될 때, 상기 수학식 3과 같이 error를 도출하고, 역전파시켜 레이어를 훈련시킬 수도 있다.

이 때, 특징 추출부(130)는 GoogLeNet 형태의 CNN인 경우, 컨볼루션 레이어들 사이에 단계(S220)에서 생성한 색상 기반 특징을 추출하는 레이어를 삽입할 수 있다.

이 때, 단계(S230)는 색상 기반 특징을 추출하는 레이어를 이용하여 입력된 이미지들의 특징값을 컨볼루셔널 인공지능망 알고리즘을 통해 추출할 수 있다.

또한, 본 발명의 일실시예에 따른 이미지 분류 방법은 이미지를 분류할 수 있다(S240).

즉, 단계(S240)는 추출된 이미지들의 특징값에 기반하여 컨볼루셔널 인공지능망 알고리즘을 통해 이미지들을 분류할 수 있다.

도 9는 본 발명의 일실시예에 따른 색상 기반 픽셀 추출 과정을 나타난 도면이다.

도 9를 참조하면, 본 발명의 일실시예에 따른 색상 기반 픽셀 추출 과정은 먼저 N개의 이미지가 입력되면, 복수개의 수용 영역을 설정하고, 복수개의 수용 영역들에 존재하는 픽셀 수를 색상 별로 추출할 수 있다.

이 때, 도 9에 도시된 바와 같이, 색상 기반 픽셀 추출 과정은 3개의 색상 별 픽셀 수 p, q 및 r을 추출하고, 색상 별 픽셀 수를 모두 합산한 전체 픽셀 수 n_i를 산출할 수 있다.

도 10은 본 발명의 일실시예에 따른 색상 별 빈도수를 이용한 레이어 생성 과정을 나타낸 도면이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 레이어 생성 과정은 색상 별 픽셀 수 p, q 및 r에 전체 픽셀 수 n_i와 이미지들의 개수 N을 나누어 색상 별 빈도수를 산출할 수 있다.

이 때, 레이어 생성 과정은 상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성할 수 있다.

이 때, 레이어 생성 과정은 상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성할 수 있다.

이 때, 레이어 생성 과정은 상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling) 또는 서브 샘플링(Sub sampling)을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 이미지 분류 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

110: 픽셀 추출부 120: 레이어 생성부
130: 특징 추출부 140: 이미지 분류부

Claims

복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출하는 픽셀 추출부;
상기 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 상기 이미지들의 특징을 추출하기 위한 레이어를 생성하는 레이어 생성부;
상기 레이어를 이용하여 상기 이미지들의 특징을 추출하는 특징 추출부; 및
상기 이미지들의 특징에 기반하여 상기 이미지들을 분류하는 이미지 분류부;
를 포함하고,
상기 픽셀 추출부는
상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의하는 것을 특징으로 하는 이미지 분류 장치.
삭제
청구항 1에 있어서,
상기 픽셀 추출부는
상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의하는 것을 특징으로 하는 이미지 분류 장치.
청구항 3에 있어서,
상기 픽셀 추출부는
상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출하는 것을 특징으로 하는 이미지 분류 장치.
청구항 4에 있어서,
상기 레이어 생성부는
상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 산출하는 것을 특징으로 하는 이미지 분류 장치.
청구항 5에 있어서,
상기 레이어 생성부는
상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성하는 것을 특징으로 하는 이미지 분류 장치.
청구항 6에 있어서,
상기 레이어 생성부는
상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성하는 것을 특징으로 하는 이미지 분류 장치.
청구항 7에 있어서,
상기 레이어 생성부는
상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성하는 것을 특징으로 하는 이미지 분류 장치.
청구항 8에 있어서,
상기 레이어 생성부는
상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling)을 수행하는 것을 특징으로 하는 이미지 분류 장치.
청구항 9에 있어서,
상기 특징 추출부는
상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련하는 것을 특징으로 하는 이미지 분류 장치.
이미지 분류 장치를 이용하는 방법에 있어서,
복수개의 이미지들을 입력 받아 색상 별 픽셀 수를 추출하는 단계;
상기 색상 별 픽셀 수에 기반한 상기 이미지들에 대한 색상 별 빈도수를 산출하여 상기 이미지들의 특징을 추출하기 위한 레이어를 생성하는 단계;
상기 레이어를 이용하여 상기 이미지들의 특징을 추출하는 단계; 및
상기 이미지들의 특징에 기반하여 상기 이미지들을 분류하는 단계;
를 포함하고,
상기 픽셀 수를 추출하는 단계는
상기 이미지들에 대하여 동일한 색상을 포함하는 영역이 기설정된 영역 이상인 경우, 수용 영역(receptive field)으로 정의하는 것을 특징으로 하는 이미지 분류 방법.
청구항 11에 있어서,
상기 픽셀 수를 추출하는 단계는
상기 수용 영역을 색상의 종류에 따라 복수개의 수용 영역들로 정의하는 것을 특징으로 하는 이미지 분류 방법.
삭제
청구항 12에 있어서,
상기 픽셀 수를 추출하는 단계는
상기 복수개의 수용 영역들에 존재하는 픽셀 수를 상기 색상 별로 추출하는 것을 특징으로 하는 이미지 분류 방법.
청구항 14에 있어서,
상기 레이어를 생성하는 단계는
상기 색상 별 픽셀 수, 상기 복수개의 수용 영역들의 전체 픽셀 수 및 상기 복수개의 이미지들의 개수 중 적어도 하나를 이용하여 상기 색상 별 빈도수를 계산하는 것을 특징으로 하는 이미지 분류 방법.
청구항 15에 있어서,
상기 레이어를 생성하는 단계는
상기 복수개의 이미지들에 대한 상기 색상 별 빈도수를 합산한 값을 이용하여 필터를 생성하는 것을 특징으로 하는 이미지 분류 방법.
청구항 16에 있어서,
상기 레이어를 생성하는 단계는
상기 색상 별 빈도수를 상기 수용 영역에서의 픽셀 좌표 마다 산출하여 상기 픽셀 좌표 마다 상기 색상 별 빈도수가 정의된 행렬로부터 상기 필터를 생성하는 것을 특징으로 하는 이미지 분류 방법.
청구항 17에 있어서,
상기 레이어를 생성하는 단계는
상기 필터를 이용하여 입력되는 이미지에 대한 컨볼루션(Convolution)을 수행하여 특징값을 출력하고, 액티베이션 함수(Activation function)를 이용하여 상기 특징값을 비선형 값으로 변환하는 상기 레이어를 생성하는 것을 특징으로 하는 이미지 분류 방법.
청구항 18에 있어서,
상기 레이어를 생성하는 단계는
상기 입력되는 이미지의 사이즈에 상응하도록 상기 레이어에 대한 다운 샘플링(down sampling)을 수행하는 것을 특징으로 하는 이미지 분류 방법.
청구항 19에 있어서,
상기 특징을 추출하는 단계는
상기 레이어를 기존 레이어들 사이에 삽입하고, 상기 레이어와 인접한 기존 레이어와의 오차(error)를 도출하고, 상기 오차에 대한 역전파(Backpropagation)를 수행하여 상기 레이어를 훈련하는 것을 특징으로 하는 이미지 분류 방법.