KR100956747B1 - 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 - Google Patents
신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 Download PDFInfo
- Publication number
- KR100956747B1 KR100956747B1 KR1020080012058A KR20080012058A KR100956747B1 KR 100956747 B1 KR100956747 B1 KR 100956747B1 KR 1020080012058 A KR1020080012058 A KR 1020080012058A KR 20080012058 A KR20080012058 A KR 20080012058A KR 100956747 B1 KR100956747 B1 KR 100956747B1
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- image
- processor
- parallel
- processing
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 93
- 230000001413 cellular effect Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
- G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 처리방법에 관한 것으로서, 물체의 이미지에 대한 특징점을 추출하여 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 셀룰러 신경망 회로와, 복수의 프로세싱 유닛을 포함하고, 상기 출력된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들 간의 SIMD 연산을 수행하는 병렬처리 프로세서와, 상기 셀룰러 신경망 회로와 상기 병렬처리 프로세서 사이에 연결되고, 상기 신경망 회로에서 변환된 상기 2차원 좌표값들에 대한 패킷을 상기 병렬처리 프로세서에 전송하기 위한 온 칩 네트워크 장치를 포함하여, 신경회로망으로 전체 영상의 개략적인 처리를 가속화하고, 이를 기반으로 하여 고성능의 병렬처리 디지털 프로세서로 자세한 이미지 처리를 하여줌으로서, 저 전력으로 빠르게 실시간으로 물체인식을 가능하게 할 수 있는 효과가 있다.
물체인식, 신경망 회로, 병렬처리 프로세서, SIMD
Description
본 발명은 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 처리방법에 관한 것으로서, 특히, 인간의 뇌에서 일어나는 영상의 특징적인 부분만을 한눈에 파악할 수 있는 시각집중 현상을 모방하고 가속화하는 신경회로망과 픽셀 단위의 자세한 이미지 처리를 위한 병렬처리 디지털 프로세서를 결합한 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 처리방법에 관한 것이다.
물체 인식(Object Recognition) 은 2-D 이미지가 입력으로 주어졌을 때, 이미지의 특징점을 찾고, 그 특징점 각각에 대하여 방향 및 크기 벡터(Descriptor)를 구하며 그것들을 미리 등록된 여러 가지 물체에 대한 벡터집합인 데이터베이스 (Database)와 비교하여 가장 가까운 벡터를 갖는 물체를 찾는 과정으로써, 지능형 로봇의 자율 주행이나 자동차의 크루즈 컨트롤 등의 많은 응용분야에서 사용된다.
신경망 회로는 지속적인 명령어를 처리하는데 뛰어난 컴퓨터와 경험을 통한 일반화에 익숙한 인간과의 차이를 인간 뇌의 뉴럴(Neural) 연결고리를 디지털 컴퓨터 상에서 모델링함으로써 연결해주는 역할을 한다. 이러한 신경망 회로는 데이터 마이닝, 네트워크 관리, 머신 비전, 신호처리 등의 광범위한 분야에서 사용된다. 특히 셀룰러 신경망 회로(Cellular Neural Network)는 근방의 뉴런과만 데이터를 교환하기 때문에 하드웨어로 구현하기에 적합하며, 기본적인 이미지 프로세싱 및 영상 분류 및 분할 등에 많이 사용된다.
이러한 물체 인식을 수행하기 위해서 현재 많이 사용되는 SIFT(Scale Invariant Feature Transform)라는 복잡한 알고리즘을 소프트웨어로 구현하여 고성능의 General Purpose Processor에서 동작시키거나, 픽셀 단위의 이미지 처리에 적합한 수많은 프로세싱 유닛들이 포함된 병렬처리 프로세서를 이용하여 물체 인식 알고리즘의 수행 속도를 가속시키는 방법이 주로 사용되고 있다.
물체 인식의 복잡한 알고리즘으로 인해 연산량이 많고, 이에 따라 일반적인 목적 프로세서(General Purpose Processor)에서 동작시키면 대략 초당 2프레임 정도의 수행 속도에 불과하며 수많은 프로세싱 유닛들을 포함하는 병렬처리 프로세서를 이용하여 물체 인식을 수행할 경우 필요로 하는 프로세싱 유닛의 수에 비례해서 파워소모가 증가하게 되어, 모바일 로봇이나 핸드폰과 같은 저전력 실시간 응용분야에 적용시키기 어려운 문제가 있다.
따라서, 상기와 같은 문제점을 해결하기 위하여, 본 발명은 신경망 회로와 병렬처리 프로세서를 결합하고, 이를 저전력 실시간 물체인식을 위한 하드웨어에 적용하였으며, 신경망 회로와 병렬처리 프로세서를 결합한 물체 인식의 동작을 제공하는 것을 목적으로 한다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조는 물체의 이미지에 대한 특징점을 추출하여 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 셀룰러 신경망 회로와, 복수의 프로세싱 유닛을 포함하고, 상기 출력된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들 간의 SIMD 연산을 수행하는 병렬처리 프로세서와, 상기 셀룰러 신경망 회로와 상기 병렬처리 프로세서 사이에 연결되고, 상기 신경망 회로에서 변환된 상기 2차원 좌표값들에 대한 패킷을 상기 병렬처리 프로세서에 전송하기 위한 온 칩 네트워크 장치를 포함하는 것을 특징으로 한다.
상기 셀룰러 신경망회로는 시각 집중 알고리즘(Visual Attention Algorithm)을 사용하여 물체의 이미지를 형성하는 특징 맵(Feature map), 윤곽선 추출(Contour extraction), 텍스쳐 추출(Texture extraction) 중 적어도 하나의 동작 을 수행하는 것이 바람직하다.
상기 셀룰러 신경망회로는 각 셀이 2-D 배열로 구성된 CNN(Cellular Neural Network)를 포함할 수 있다.
상기 복수의 프로세싱 유닛은 각 1-D 배열이고, 8개의 동일한 프로세싱 유닛으로 구성될 수 있다.
상기 병렬처리 프로세서는 8개의 프로세싱 유닛에 대하여 물체의 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 상기 물체의 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는 것이 바람직하다.
상기와 같은 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법에 있어서, 셀룰러 신경망회로에 의하여 물체의 이미지에 포함된 특징점을 추출하는 제1 단계와, 상기 추출된 특징점을 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 제2 단계와, 상기 출력된 2차원 좌표값을 병렬 처리 프로세서로 전송하는 제3 단계와, 상기 전송된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들간의 SIMD 연산처리하는 제4 단계를 포함할 수 있다.
상기 제1 단계는 상기 신경망회로의 시각 집중 동작에 의해 특징영역을 추출하는 것이 바람직하다.
상기 제4 단계는 상기 복수의 프로세싱 유닛에 대하여 전체 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 이미지의 각 라인에 있 는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는 것이 바람직하다.
상기 제4 단계는 상기 이미지 패치 영역 내부의 연산 결과를 이용하여 각 특징점에 대한 기울기 히스토그램(Orientation histogram) 및 특징벡터를 생성하는 과정과, 데이터베이스에 있는 벡터들과 비교하여 가장 가까운 거리를 갖는 벡터에 해당하는 물체를 인식하는 과정을 더 포함할 수 있다.
상기한 바와 같이, 본 발명에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 처리방법에 의하면 신경회로망으로 전체 영상의 개략적인 처리를 가속화하고, 이를 기반으로 하여 고성능의 병렬처리 디지털 프로세서로 자세한 이미지 처리를 하여줌으로서, 저전력으로 빠르게 실시간으로 물체인식을 가능하게 할 수 있는 효과가 있다.
이하, 상기와 같이 구성된 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및 그를 이용한 처리방법에 대하여 도면을 참조하여 상세하게 설명하기로 한다.
한편, 본 발명의 일 실시예로서, 신경망 회로와 병렬처리 프로세서를 결합한 새로운 형태의 컴퓨터 구조에 가장 적합한 하나의 예로 물체 인식 처리 시스템에 적용하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조의 전체적인 구조를 나타내는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 병렬처리 프로세서의 이미지 처리 방법을 나타내는 도면이며, 도 3은 본 발명의 일 실시예에 따른 병렬처리 프로세서의 특징점을 중심으로 하는 이미지 패치 영역에 대한 처리 방법을 나타내는 도면이다.
도 1에 나타난 바와 같이, 본 발명의 일 실시예에 따른 신경망 회로와 병렬처리 프로세서가 결합된 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조는 물체의 이미지에 대한 특징점을 추출하여 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 셀룰러 신경망 회로(10)와, 복수의 프로세싱 유닛(PE1 내지 PE8, 35)을 포함하고, 상기 출력된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들 간의 SIMD 연산을 수행하는 병렬처리 프로세서(30)와, 상기 셀룰러 신경망 회로(10)와 상기 병렬처리 프로세서(30) 사이에 연결되고, 상기 셀룰러 신경망 회로(10)에서 변환된 상기 좌표값들에 대한 패킷을 상기 병렬처리 프로세서(30)에 전송하기 위한 온 칩 네트워크 장치(20)와, 상기 셀룰러 신경망 회로(10)에서 추출된 특징점에 대한 데이터값을 저장하는 메모리(40)로 구성된다.
여기서, 셀룰러 신경망 회로(10)는 이미지의 특징점을 추출하여 병렬처리 프로세서(30)에 전달함으로써 전체 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 제어하는 역할을 하며, 병렬처리 프로세서(30)는 신경망 회로(10)의 제어 하에서 연산처리를 주로 담당하게 된다.
셀룰러 신경망 회로(10)는 각 셀이 2-D 배열로 구성되어 하드웨어 구현에 유리한 구조인 CNN(Cellular Neural Network)이 사용되고, 병렬처리 프로세서(30)는 픽셀 레벨의 동일한 연산처리를 가속시키기 위한 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛 8개(35)가 1-D 배열로 구성되어 있다.
그리고, 셀룰러 신경망 회로(10)는 인간 뇌의 시각피질(Visual Cortex)에서 일어나는 시각 집중(Visual Attention) 현상을 하드웨어로 구현하기 위하여 신경망 회로 기반의 시각집중 알고리즘을 사용하여 전체 이미지의 특징 맵(Feature map)을 만들거나 윤곽선 추출(Contour extraction), 텍스처 추출(Texture extraction)과 같은 동작을 수행하게 된다.
따라서, 기존의 가우시안 피라미드와 중심 차분 연산(Center-surround Difference Operation)을 이용한 특징 맵 구축 방법을 셀룰러 형태의 신경망 회로에 적용할 수 있도록 신경망 회로 기반의 알고리즘으로 변형함으로써, 특징점을 구하는 시각 집중 현상을 가속화 시킬 수 있게 된다.
또한, 셀룰러 신경망 회로(10)로 전체 영상의 개략적인 처리를 가속화하고, 이를 기반으로 하여 고성능의 병렬처리 디지털 프로세서(30)로 자세한 이미지 처리를 함으로써 600mW 의 저전력으로 초당 22 Frame 의 실시간 물체 인식이 가능하게 된다.
예를 들면, COIL-100과 같이 물체 인식의 실험에 많이 쓰이는 데이터베이스 를 이용하여 테스트를 한 결과, 특징점의 개수는 평균적으로 36%정도 줄었고, 물체 인식률은 기존의 신경망회로가 없는 알고리즘과 비교하였을 때, 거의 차이가 없다는 것을 알 수 있다.
또한, 특징점의 개수가 줄어듦에 따라 물체인식을 위한 벡터를 만드는 과정 및 데이터베이스와의 매칭과정에서 필요한 연산량이 현저히 줄어들게 되어 실시간으로 물체 인식이 가능하게 되는 것이다.
도 2에 나타난 바와 같이, 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조중 병렬처리 프로세서(30)에 대하여 상세하게 설명하자면, 우선 병렬처리 프로세서는 이미지(U)를 세로방향으로 8등분으로 나누어 각각의 이미지 영역(I)을 해당하는 프로세싱 유닛(PE1 내지 PE7)이 동시에 처리하게 된다.
그리고, 가우시안 필터링과 같이 전체 이미지(U)에 대하여 동일한 연산을 수행할 경우, 이미지의 각 라인(L)에 해당하는 픽셀이 동시에 처리되며, 각 라인별로 폭(W)과 높이(H)를 가지는 전체 이미지에 대한 연산이 수행되게 된다.
도 3에 나타난 바와 같이, 병렬처리 프로세서가 신경망회로에서 추출된 특징점들을 중심으로 한 이미지 영역에 대한 연산을 처리하는 방법을 나타내준다.
여기서, 신경망 회로에서 얻어진 특징점(P)을 중심으로 R만큼의 거리에 있는 영역에 포함된 이미지 픽셀(Px)들이 하나의 이미지 패치영역(A)을 형성하게 되고, 이미지 패치 영역(A) 내부에 포함된 픽셀(Px)들 간의 연산을 프로세싱 유닛(PE) 내부의 SIMD 연산유닛을 이용하여 각 픽셀(Px)에 필요한 연산을 동시에 수행하게 된다.
만약 특징점이 프로세싱 유닛(PE) 사이의 경계에 위치하게 된다면, 즉 이미지 패치(A)가 두 개의 프로세싱 유닛(PE)을 다 포함하게 된다면, 온칩 네트워크를 통하여 프로세싱 유닛(PE) 사이의 이미지 전송을 통해서 하나의 프로세싱 유닛(PE) 내부에서 이미지 패치(A)에 대한 연산이 이루어지게 된다.
여기서, R값은 칩 내부의 프로세서 또는 외부 인터페이스에 의해서 셋 팅 될 수 있다.
이하, 상기와 같이 구성된 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법에 대하여 도 4를 참조하여 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법을 나타내는 순서도이다.
도 4에 나타난 바와 같이, 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법은, 셀룰러 신경망회로에 의하여 물체의 이미지에 포함된 특징점을 추출하는 제1 단계(S10)와, 상기 추출된 특징점을 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 좌표값을 패킷의 형태로 출력하는 제2 단계(S20)와, 출력된 좌표값을 병렬 처리 프로세서로 전송하는 제3 단계(S30)와, 전송된 상기 2차원 좌표값을 중심으로 형성된 이미지 패치 내부의 픽셀들간의 SIMD 연산처리하는 제4 단계(S40)와, 상기 이미지 패치내부의 연산 결과를 이용하여 각 특징점에 대한 기울기 히스토그램(Orientation histogram) 및 특징벡터를 생성하는 제5 단계(S50)와, 데이터베이스에 있는 벡터들과 비교하여, 가장 가까운 거리를 갖는 벡터에 해당하는 물체를 인식하는 제6 단계(S60)를 포함하여 구성된다.
또한, 상기 제1 단계(S10)는 상기 신경망회로의 시각 집중 동작에 의해 특징점을 추출하게 된다.
여기서, 신경망 회로에 의해 추출된 특징점은 전체 이미지에 대한 (x,y) 좌표로 나타낼 수 있으며, 그것을 패킷으로 만든 후(S20), 온칩 네트워크에 의해 특징점의 이미지 영역에 해당하는 병렬처리 프로세서에 전달되게 된다(S30).
그리고, 상기 제4 단계(S40)는 상기 병렬처리 프로세서의 8개의 프로세싱 유닛에 전체 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하여 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하여 준다.
그 후에, 상기 제5 단계(S50)에서는 이미지 패치내부의 연산 결과를 이용하여 각 특징점에 대한 기울기 히스토그램(Orientation histogram)을 생성하여 16차의 특징벡터를 생성하여준다.
마지막으로, 상기 제6 단계(S60)에서는 데이터베이스에 있는 벡터들과 비교하여 가장 가까운 거리를 갖는 벡터에 해당하는 물체를 최종 물체 인식 결과로 얻게 된다.
따라서, 신경망 회로에서 전체 이미지에 대해 포괄적으로 특징점 또는 초점이 되는 영역을 설정하게 되고, 병렬처리 프로세서는 전체 이미지에 대해서 연산을 다 처리하지 않고, 신경망 회로에 의해서 추출된 이미지의 특징적인 영역에만 초점을 맞추어서 연산을 처리하기 때문에 물체 인식을 위한 연산량이 현저히 줄어들게 된다.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조의 전체적인 구조를 나타내는 블록도,
도 2는 본 발명의 일 실시예에 따른 병렬처리 프로세서의 이미지 처리 방법을 나타내는 도면,
도 3은 본 발명의 일 실시예에 따른 병렬처리 프로세서의 특징점을 중심으로 하는 이미지 패치 영역에 대한 처리 방법을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법을 나타내는 순서도이다.
Claims (10)
- 물체의 이미지에 대한 특징점을 추출하여 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 셀룰러 신경망 회로;복수의 프로세싱 유닛을 포함하고, 상기 출력된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들 간의 SIMD 연산을 수행하는 병렬처리 프로세서; 및상기 셀룰러 신경망 회로와 상기 병렬처리 프로세서 사이에 연결되고, 상기 신경망 회로에서 변환된 상기 2차원 좌표값들에 대한 패킷을 상기 병렬처리 프로세서에 전송하기 위한 온 칩 네트워크 장치;를 포함하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제1항에 있어서,상기 셀룰러 신경망회로는 시각 집중 알고리즘(Visual Attention Algorithm)을 사용하여 물체의 이미지를 형성하는 특징 맵(Feature map), 윤곽선 추출(Contour extraction), 텍스쳐 추출(Texture extraction) 중 적어도 하나의 동작을 수행하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제1항에 있어서,상기 셀룰러 신경망회로는 각 셀이 2-D 배열로 구성된 CNN(Cellular Neural Network)를 포함하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제1항에 있어서,상기 복수의 프로세싱 유닛은 각 1-D 배열로 구성된, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제4항에 있어서,상기 복수의 프로세싱 유닛은 8개의 동일한 프로세싱 유닛으로 구성된, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제1항에 있어서,상기 병렬처리 프로세서는 8개의 프로세싱 유닛에 대하여 물체의 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 상기 물체의 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조.
- 제1항에 따른 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조를 이용한 물체 인식 처리 방법에 있어서,셀룰러 신경망회로에 의하여 물체의 이미지에 포함된 특징점을 추출하는 제1 단계;상기 추출된 특징점을 상기 물체의 이미지에 대한 2차원 좌표값으로 변환하고, 상기 2차원 좌표값을 패킷의 형태로 출력하는 제2 단계;상기 출력된 2차원 좌표값을 병렬 처리 프로세서로 전송하는 제3 단계; 및상기 전송된 2차원 좌표값을 중심으로 하는 이미지 패치 영역을 설정하여, 상기 설정된 이미지 패치 영역 내부의 픽셀들간의 SIMD 연산처리하는 제4 단계;를 포함하는 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법.
- 제7항에 있어서,상기 제1 단계는 상기 신경망회로의 시각 집중 동작에 의해 특징영역을 추출하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법.
- 제7항에 있어서,상기 제4 단계는 상기 복수의 프로세싱 유닛에 대하여 전체 이미지를 세로로 8등분 한 이미지 영역을 각각의 프로세싱 유닛에 할당하고, 이미지의 각 라인에 있는 픽셀이 동시에 이미지를 처리하여 라인 별로 이미지를 출력 또는 갱신하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법.
- 제7항에 있어서,상기 제4 단계는 상기 이미지 패치 영역 내부의 연산 결과를 이용하여 각 특징점에 대한 기울기 히스토그램(Orientation histogram) 및 특징벡터를 생성하는 과정; 및 데이터베이스에 있는 벡터들과 비교하여 가장 가까운 거리를 갖는 벡터에 해당하는 물체를 인식하는 과정;을 더 포함하는, 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터 구조를 이용한 물체 인식 처리방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080012058A KR100956747B1 (ko) | 2008-02-11 | 2008-02-11 | 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080012058A KR100956747B1 (ko) | 2008-02-11 | 2008-02-11 | 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090086660A KR20090086660A (ko) | 2009-08-14 |
| KR100956747B1 true KR100956747B1 (ko) | 2010-05-12 |
Family
ID=41205905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080012058A KR100956747B1 (ko) | 2008-02-11 | 2008-02-11 | 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100956747B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9589179B2 (en) | 2013-12-19 | 2017-03-07 | Microsoft Technology Licensing, Llc | Object detection techniques |
| US11093439B2 (en) | 2017-10-31 | 2021-08-17 | Samsung Electronics Co., Ltd. | Processor and control methods thereof for performing deep learning |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140033256A (ko) | 2012-07-11 | 2014-03-18 | 삼성전자주식회사 | 전송 스트림 패킷 생성 장치 및 그것의 ｔｓ 패킷 생성 방법 |
| US9449257B2 (en) | 2012-12-04 | 2016-09-20 | Institute Of Semiconductors, Chinese Academy Of Sciences | Dynamically reconstructable multistage parallel single instruction multiple data array processing system |
| KR102011212B1 (ko) * | 2018-02-27 | 2019-08-14 | (주)링크제니시스 | 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법 |
| KR102453370B1 (ko) * | 2018-04-06 | 2022-10-07 | 한국전자기술연구원 | 대규모 심층 신경망의 고속 저전력 처리를 위한 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970017002A (ko) * | 1995-09-22 | 1997-04-28 | 김광호 | 오류 역전파 학습알고리즘을 이용한 신경회로망의 하드웨어 장치 |
| KR20030072880A (ko) * | 2002-03-07 | 2003-09-19 | 삼성전자주식회사 | 영상신호로부터 대상물체를 추적하는 방법 및 그 장치 |
-
2008
- 2008-02-11 KR KR1020080012058A patent/KR100956747B1/ko not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970017002A (ko) * | 1995-09-22 | 1997-04-28 | 김광호 | 오류 역전파 학습알고리즘을 이용한 신경회로망의 하드웨어 장치 |
| KR20030072880A (ko) * | 2002-03-07 | 2003-09-19 | 삼성전자주식회사 | 영상신호로부터 대상물체를 추적하는 방법 및 그 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9589179B2 (en) | 2013-12-19 | 2017-03-07 | Microsoft Technology Licensing, Llc | Object detection techniques |
| US11093439B2 (en) | 2017-10-31 | 2021-08-17 | Samsung Electronics Co., Ltd. | Processor and control methods thereof for performing deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090086660A (ko) | 2009-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179324B (zh) | 基于颜色和深度信息融合的物体六自由度位姿估计方法 | |
| CN109902548B (zh) | 一种对象属性识别方法、装置、计算设备及系统 | |
| KR100956747B1 (ko) | 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법 | |
| CN113065546B (zh) | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 | |
| CN112085123B (zh) | 基于显著点采样的点云数据分类和分割方法 | |
| CN110728209A (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
| EP3438927B1 (en) | Image processing device, semiconductor device, image recognition device, mobile device, and image processing method | |
| CN106228121A (zh) | 手势特征识别方法和装置 | |
| CN111738276A (zh) | 基于多核卷积神经网络的图像处理方法、装置及设备 | |
| CN112464954A (zh) | 一种应用于嵌入式设备的轻量级目标检测网络及训练方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| US8351650B2 (en) | Foreground action estimating apparatus and foreground action estimating method | |
| Shen et al. | Differential features for pedestrian detection: A Taylor series perspective | |
| CN115578590A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
| JP2023131117A (ja) | 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体 | |
| CN114612938A (zh) | 基于多视角三维骨骼信息融合的动态手势识别方法 | |
| WO2011037097A1 (ja) | パターン認識方法及び該方法を用いたパターン認識装置 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| Zhang et al. | Hierarchical and parallel pipelined heterogeneous SoC for embedded vision processing | |
| Katageri et al. | Pointdccnet: 3d object categorization network using point cloud decomposition | |
| CN114817595A (zh) | 基于草图的三维模型检索方法、装置、设备及介质 | |
| CN113487713A (zh) | 一种点云特征提取方法、装置及电子设备 | |
| Chen et al. | Fast and Accurate Homography Estimation Using Extendable Compression Network | |
| CN113393401B (zh) | 物体检测硬件加速器、系统、方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130408 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |