KR20180004898A - 딥러닝 기반의 이미지 처리 기술 및 그 방법 - Google Patents

Abstract

본 발명은 본 발명은 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 이미지 변환 및 분석 처리방법에 관한 것으로서, 물체의 이미지에 대한 특징점, 색 등의 정보를 추출하여 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 좌표값을 패킷의 형태로 출력하는 신경망 회로와, 복수의 프로세싱 유닛을 포함하고, 상기 추출된 특징점을 중심으로 하여 형성된 이미지 패치 내부의 픽셀들 간의 다중 인지 회로 연산을 수행하는 병렬처리 프로세서와, 상기 신경망 회로와 상기 병렬처리 프로세서 사이에 연결되고, 상기 신경망 회로에서 변환된 상기 좌표값들에 대한 패킷을 상기 병렬처리 프로세서에 전송하기 위한 온 칩 네트워크 장치를 포함하여, 신경회로망으로 전체 영상의 개략적인 처리를 가속화하고, 이를 기반으로 하여 고성능의 병렬처리 디지털 프로세서로 자세한 이미지 처리를 하여줌으로서, 기존의 이미지를 분석하고 대체 이미지로 변환이 가능하도록 할 수 있는 효과가 있다.

Description

딥러닝 기반의 이미지 처리 기술 및 그 방법{IMAGE PROCESSING TECHNOLOGY AND METHOD BASED ON DEEP LEARNING}

본 발명은 컴퓨팅 장치, 좀 더 구체적으로는 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템에 관한 것이다.

최근에 컴퓨터는 머신 비전(machine vision) 또는 객체 인식(object recognition)을 제공한다. 객체 인식은 사용자에게 다양한 유익한 도구들을 제공한다. 예를 들면, 객체 인식은 뉴럴 네트워크(neural network)를 포함하는 알고리즘에 의존한다. 즉, 사용자 장치는 뉴럴 네트워크를 사용하여 입력 이미지에 포함된 객체를 인식할 수 있다. 일반적으로, 뉴럴 네트워크는 트레이닝 이미지(training image)들을 사용하여 객체들을 인식하는 훈련을하게 된다. 이러한 객체 인식 프로세스는, 더 많은 트레이닝 이미지를 사용할수록, 좀 더 높은 식별력을 가질 수 있다.

일반적으로, 뉴럴 네트워크들은 상호 연결된 "뉴런(neuron)"들의 시스템들을 포함한다. 뉴럴 네트워크들은 입력들로부터 값들을 계산하고, 그것들의 적응적 네이처(adaptive nature)의 결과로서 패턴 인식을 할 수 있을 뿐만 아니라 기계를 학습할 수 있다.

이미지 인식을 위한 뉴럴 네트워크는, 메모리 및 프로세싱의 집중을 요하는 학습과 인식을 위해, 데이터 프로세스들을 요구한다. 따라서, 많은 계산이 필요하다. 사실, 웨이트(weight) 값들은, 계산적인 프로세스들을 수행하는 동안, 저장 및 처리를 위해 메모리를 요구한다.

예상할 수 있듯이, 트레이닝 데이터 세트의 크기가 증가할수록 뉴럴 네트워크의 성능은 향상된다. 불행하게도,스마트폰과 같은 모바일 장치에서는 메모리 및 처리 용량에 한계가 있다. 따라서, 점점 널리 사용되는 모바일장치들은 일반적으로 이미지 인식 기술을 사용할 수 없다. 따라서, 제한된 자원을 가지는 컴퓨팅 장치에서 뉴럴 네트워크의 성능을 향상시킬 방법이 요구된다.

본 발명의 목적은 제한된 자원을 통해 객체 인식을 수행할 수 있는 뉴럴 네트워크를 수반한 이미지 분석 및 변환 장치 및 그것을 포함하는 시스템을 제공하는 데 있다.

상기 목적은 본 발명에 따라, 뉴럴 네트워크(neural network)를 수반하는 클라이언트 장치에 있어서: 프로세서; 서버 시스템으로부터 수신되는 상기 뉴럴 네트워크를 저장하는 메모리; 그리고상기 뉴럴 네트워크를 수신하는 입력 장치를 포함하되,상기 뉴럴 네트워크는 상기 서버 시스템에서 상기 클라이언트 장치를 위해 트레인(train)되는 이미지 변환 소프트웨어에 의해 달성된다.

여기서, 상기 입력 장치는 이미지를 캡처(capture)하고, 상기 메모리에 이미지 입력 데이터를 저장한다.

또한, 이미지 입력 데이터를 맵핑하는 다층 퍼셉트론 분류기(multilayer perceptron classifier)를 더 포함할 수 있다.

그리고, 상기 뉴럴 네트워크는 컨볼루셔널(convolutional) 뉴럴 네트워크를 포함할 수 있다.

그리고, 상기 뉴럴 네트워크는 특징 맵(feature map)을 생성할 수 있다.

그리고, 상기 특징 맵은 입력 이미지로부터 유래된 복수의 웨이트(weight) 값들을 포함할 수 있다.

또한, 상기 셀룰러 신경망회로는 시각 집중 알고리즘(Visual Attention Algorithm)을 사용하여 물체의 이미지를 형성하는 특징 맵(Feature map), 윤곽선 추출(Contour extraction), 텍스쳐 추출(Texture extraction) 중 적어도 하나의 동작을 수행하는 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조에 의해서 달성된다.

한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 상기 병렬처리 프로세서는 8개의 프로세싱 유닛에 대하여 물체의 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 상기 물체의 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조에 의해서 달성된다.

또한, 상기 목적은 본 발명의 또 다른 실시 형태에 따라, 상기 복수의 프로세싱 유닛에 대하여 전체 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법에 의해서 달성된다.

본 발명의 실시 예에 따르면, 제한된 자원을 통해 객체 인식을 수행할 수 있는 뉴럴 네트워크를 수반한 클라이언트 장치 및 그것을 포함하는 시스템을 제공할 수 있다.

도 1은 발명의 실시 예에 따른 뉴럴 네트워크를 보여주는 블록도이다.
도 2는 본 발명에 따른 시뮬레이션을 수행하기 위해 사용되는 샘플 컨볼루셔널 뉴럴 네트워크의 데이터 구조를 예시적으로 보여주는 도면이다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.

본 발명에 따른 뉴럴 네트워크(neural network)를 수반하는 클라이언트 장치는 프로세서, 서버 시스템으로부터 수신되는 상기 뉴럴 네트워크를 저장하는 메모리, 그리고 상기 뉴럴 네트워크를 수신하는 입력 장치를 포함하되, 상기 뉴럴 네트워크는 상기 서버 시스템에서 상기 클라이언트 장치를 위해 트레인(train)된다.

실시 예로서, 상기 입력 장치는 이미지를 캡처(capture)하고, 상기 메모리에 이미지 입력 데이터를 저장한다.

실시 예로서, 이미지 입력 데이터를 맵핑하는 다층 퍼셉트론 분류기(multilayer perceptron classifier)를 더 포함한다.

영상을 이용한 학습 데이터 저장장치는, 영상을 포함하는 복수의 이미지들을 수신하는 입력부, 상기 수신된 이미지들을 기초로 저장소를 구축하는 제어 부 및 객체별 데이터가 분류되어 저장되는 데이터베이스를 포함하고, 상기 제어부는, 상기 수신된 이미지들에서 객체의 특징을 검출하는 검출부, 상기 검출된 이미지들을 그룹화(grouping)하고, 상기 그룹화된 이미지들에 태깅(tagging)을 하는 분류부, 상기 태깅된 이미지들을 연대별로 정렬하는 연대별 정렬부 및 상기 정렬된 이미지의 연대와 대응되는 멀티미디어 데이터를 상기 데이터베이스로부터 수신받아 그룹화하는 DB 구축부를 포함하는 것을 특징으로 한다.

실시 예로서, 상기 뉴럴 네트워크의 학습 방법은 역전달 , 자동 디코딩 중 하나를 포함한다.

본 발명에 따른 서버 시스템은 트레이닝 이미지를 수신하는 입력 장치, 적어도 두 레이어 페어를 포함하고, 각 레이어 페어는 컨볼루셔널 레이어 및 서브샘플링 레이어를 포함하는 뉴럴 네트워크, 그리고 다층 퍼셉트론 분류기를 포함하되, 상기 뉴럴 네트워크는 상기 컨볼루셔널 레이어에서 임시 웨이트(weight)의 양자화를 수행하고, 상기 컨볼루셔널 레이어에 적용된 입력에 응답하여 상기 서브샘플링 레이어에서 임시 특징 맵을 생성하고, 상기 다층 퍼셉트론 분류기에서 웨이트의 양자화를 수행하고, 그리고 상기 다층 퍼셉트론 분류기에서 양자화된 웨이트 다층 퍼셉트론에 적용 된 상기 임시 특징 맵(feature map)에 응답하여 분류 출력을 생성한다.

뉴럴 네트워크(neural network)들의 종류는 단일 방향 로직의 하나 또는 두 계층을 가지는 것, 복잡한 다중 입력을 가지는 것, 많은 방향으로 피드백 루프를 가지는 것, 및 많은 계층을 가지는 것을 포함한다. 일반적으로, 이러한 시스템은 그들의 기능들의 제어 및 조직을 결정하기 위해 프로그램 된 알고리즘을 사용한다. 대부분의 시스템들은 처리량의 파라미터들 및 뉴런들로의 다양한 연결들을 변경하기 위하여 "웨이트(weight)들"(값들로 표현될 수 있는)을 사용한다. 뉴럴 네트워크(neural network)들은 트레이닝(training) 데이터의 세트들의 사용을 통하여 완료된 이전의 트레이닝(training)으로부터 자발적으로 학습할 수 있다.

일반적으로, "컨볼루셔널 뉴럴 네트워크(convolutional neural network)"라는 용어는 개별 뉴런(neuron)들이 시야에서 중첩하는 영역들에 응답하는 방식으로 타일처럼 연결되는 피드-포워드 인공 뉴럴 네트워크(feedforward artificial neural network)의 한 종류이다. 컨볼루셔널 네트워크(convolutional network)들은 MLP의 변화들이고, 전처리의 양을 최소화하도록 디자인된다. 화상 인식(image recognition)에 사용될 때, 컨볼루셔널 뉴럴 네트워크(convolutional neural network)는, "수용 필드(receptive field)"라고 불리는, 입력 이미지의 작은 부분들을 보는 스몰 뉴런 콜렉션(small neuron collection)들의 다중 계층들을 사용한다. 이러한 콜렉션(collection)들의 결과들은 타일처럼 배치되어 원본 이미지의 더 좋은 표시를 획득하기 위해 중첩될 수 있다.

이것은 모든 계층에서 반복된다. 유리하게, 컨볼루셔널 뉴럴 네트워크(convolutional neural network)는 컨볼루셔널 계층(convolutional layer)들에서 공유된 웨이트(weight)를 사용할 수 있다. 따라서, 각각의 계층에서 동일한 필터(즉, weights bank)는 각 픽셀에 사용될 수 있다. 이것은 요구되는 메모리 크기의 감소 및 성능 향상모두를 이룰 수 있다.

본 발명의 실시 예에 따르면, 딥 러닝(deep learning)이 사용될 수 있다. 딥 러닝(deep learning)은 앞에서 설명한 단일 계층과 유사한 다층으로 구성된 계층 구조를 포함한다. 추가적으로, 웨이티드 연결(weighted connection)들은 계층 내의 뉴런(neuron)들 사이뿐만 아니라 다수의 계층들 사이를 가로지를 수 있다. 따라서,

딥 러닝(deep learning)은 실질적인 메모리 용량을 요구한다. 예를 들면, 딥 러닝(deep learning)은 역전달(Back-Propagation), Restricted Boltzmann Machine, Auto Encoder Decode 등을 포함할 수 있다. 뉴럴 네트워크(neural network)를 위한 딥 러닝(deep learning) 구조의 실시 예는 이하에서 설명될 것이다.

도 1는 본 발명의 실시 예에 따른 뉴럴 네트워크를 보여주는 블록도이다. 뉴럴 네트워크는 이상에서 설명된 뉴럴 네트워크 또는 모두를 예시적으로 나타낸다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

101 : 입력 이미지
102 : 컨볼루션 레이어
103 : SBSA 레이어
104 : SBSA 레이어
105 : 컨볼루션 레이어
106 : 결과 이미지
107 : 뉴렁 네트워크
201 : 입력 이미지
202 : 데이터 추출 폴링

Claims (9)

1. 뉴럴 네트워크(neural network)를 수반하는 클라이언트 장치에 있어서:
   프로세서;
   서버 시스템으로부터 수신되는 상기 뉴럴 네트워크를 저장하는 메모리; 그리고상기 뉴럴 네트워크를 수신하는 입력 장치를 포함하되,상기 뉴럴 네트워크는 상기 서버 시스템에서 상기 클라이언트 장치를 위해 트레인(train)되는 이미지 변환 소프트웨어.
   
2. 제 1 항에 있어서,
   상기 입력 장치는 이미지를 캡처(capture)하고, 상기 메모리에 이미지 입력 데이터를 저장하는 이미지 변환 소프트웨어.
   
3. 제 1 항에 있어서,
   이미지 입력 데이터를 맵핑하는 다층 퍼셉트론 분류기(multilayer perceptron classifier)를 더 포함하는 이미지 변환 소프트웨어.
   
4. 제 1 항에 있어서,
   상기 뉴럴 네트워크는 컨볼루셔널(convolutional) 뉴럴 네트워크를 포함하는 이미지 변환 소프트웨어.
   
5. 제 1 항에 있어서,
   상기 뉴럴 네트워크는 특징 맵(feature map)을 생성하는 이미지 변환 소프트웨어.
   
6. 제 5 항에 있어서,
   상기 특징 맵은 입력 이미지로부터 유래된 복수의 웨이트(weight) 값들을 포함하는 이미지 변환 소프트웨어.
   
7. 상기 셀룰러 신경망회로는 시각 집중 알고리즘(Visual Attention Algorithm)을 사용하여 물체의 이미지를 형성하는 특징 맵(Feature map), 윤곽선 추출(Contour extraction), 텍스쳐 추출(Texture extraction) 중 적어도 하나의 동작을 수행하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
   
8. 상기 병렬처리 프로세서는 8개의 프로세싱 유닛에 대하여 물체의 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 상기 물체의 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
   
9. 상기 복수의 프로세싱 유닛에 대하여 전체 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법.

Images