KR102183305B1 - 신경망 피처 벡터 결정 장치 및 방법 - Google Patents
신경망 피처 벡터 결정 장치 및 방법 Download PDFInfo
- Publication number
- KR102183305B1 KR102183305B1 KR1020180090946A KR20180090946A KR102183305B1 KR 102183305 B1 KR102183305 B1 KR 102183305B1 KR 1020180090946 A KR1020180090946 A KR 1020180090946A KR 20180090946 A KR20180090946 A KR 20180090946A KR 102183305 B1 KR102183305 B1 KR 102183305B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- feature vector
- determining
- input
- neural network
- Prior art date
Links
- 239000013598 vector Substances 0.000 title claims abstract description 151
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 84
- 238000003491 array Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명은 신경망 피처 벡터 결정 장치 및 방법에 관한 것으로, 컨텐츠를 분석하여 복수의 입력 어레이들을 생성하는 입력 어레이 생성부, 상기 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정하는 피처 요소 결정부 및 상기 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신하는 피처 벡터 생성부를 포함한다. 따라서, 본 발명은 컨텐츠의 내용을 반영하여 신경망 학습에 사용되는 피처 벡터를 생성할 수 있다.
Description
본 발명은 신경망 피처 벡터 결정 기술에 관한 것으로, 보다 상세하게는 컨텐츠의 내용을 반영하여 신경망 학습에 사용되는 피처 벡터를 생성할 수 있는 신경망 피처 벡터 결정 장치 및 방법에 관한 것이다.
해시 함수(hash function)는 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑하는 함수이다. 해시 함수는 해시 테이블이라는 자료구조에 사용될 수 있고, 매우 빠른 데이터 검색을 위한 컴퓨터 소프트웨어에 널리 사용될 수 있다. 해시 함수는 큰 파일에서 중복되는 레코드를 찾을 수 있기 때문에 데이터베이스 검색이나 테이블 검색의 속도를 가속할 수 있다.
피처 벡터(feature vector)는 분석 대상이 되는 컨텐츠의 특징 정보를 포함하는 차원을 가진 벡터에 해당할 수 있다. 컨텐츠에 따라 피처 벡터를 정의할 수 있고, 피처 벡터를 생성하는 알고리즘이 달라질 수 있다. 일반적으로, 해시 함수를 이용하여 생성된 피처 벡터는 내용의 출현빈도(frequency)를 기초로 하기 때문에 본질적인 특징 정보가 손실되는 문제점을 가지고 있다.
본 발명의 일 실시예는 컨텐츠의 내용을 반영하여 신경망 학습에 사용되는 피처 벡터를 생성할 수 있는 신경망 피처 벡터 결정 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 서로 다른 제1 및 제2 특징 함수들을 적용하여 산출된 제1 및 제2 피처 요소들 중에서 더 큰 값을 결정하여 피처 벡터를 생성할 수 있는 신경망 피처 벡터 결정 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 경계 상수를 통해 특정 범위 값을 가지는 제2 피처 요소를 피처 벡터 생성에 활용함으로써 피처 벡터에 내용 기반의 특징 정보를 반영할 수 있는 신경망 피처 벡터 결정 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 신경망 피처 벡터 결정 장치는 컨텐츠를 분석하여 복수의 입력 어레이들을 생성하는 입력 어레이 생성부, 상기 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정하는 피처 요소 결정부 및 상기 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신하는 피처 벡터 생성부를 포함한다.
상기 입력 어레이 생성부는 상기 컨텐츠를 구성하는 메타데이터, 텍스트, 영상 및 사운드 중 적어도 하나를 기초로 상기 복수의 입력 어레이들을 생성할 수 있다.
상기 피처 요소 결정부는 입력 어레이에 상기 제1 특징 함수를 적용하여 피처 인덱스를 결정하고 상기 피처 인덱스와 연관된 제1 피처 요소를 결정할 수 있다.
상기 피처 요소 결정부는 상기 입력 어레이에 상기 제1 특징 함수를 적용하여 n차원(상기 n은 2이상인 자연수) 피처 인덱스를 결정할 수 있다.
상기 피처 요소 결정부는 입력 어레이에 상기 제2 특징 함수를 적용하여 특정 범위를 갖는 상기 제2 피처 요소를 결정할 수 있다.
상기 피처 요소 결정부는 상기 입력 어레이에 해시 함수를 적용하여 해시값을 산출하고 상기 해시값에 대해 특정 경계 상수를 기초로 모드 연산을 수행하여 상기 제2 피처 요소를 결정할 수 있다.
상기 피처 벡터 생성부는 맥스 풀링(max pooling)을 통해 상기 제1 및 제2 피처 요소들 중 하나를 상기 최종 피처 요소로 결정할 수 있다.
상기 피처 벡터 생성부는 상기 최종 피처 요소를 상기 피처 인덱스와 연관시켜 상기 피처 벡터를 갱신할 수 있다.
실시예들 중에서, 신경망 피처 벡터 결정 방법은 컨텐츠를 분석하여 복수의 입력 어레이들을 생성하는 단계, 상기 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정하는 단계 및 상기 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치 및 방법은 서로 다른 제1 및 제2 특징 함수들을 적용하여 산출된 제1 및 제2 피처 요소들 중에서 더 큰 값을 결정하여 피처 벡터를 생성할 수 있다.
본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치 및 방법은 경계 상수를 통해 특정 범위 값을 가지는 제2 피처 요소를 피처 벡터 생성에 활용함으로써 피처 벡터에 내용 기반의 특징 정보를 반영할 수 있다.
도 1은 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치의 기본 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치에서 수행되는 신경망 피처 벡터 결정 과정을 설명하는 순서도이다.
도 4는 피처 벡터 생성 과정의 일 실시예를 설명하는 예시도이다.
도 5는 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 일 실시예를 설명하는 예시도이다.
도 6은 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 다른 실시예를 설명하는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치에서 수행되는 신경망 피처 벡터 결정 과정을 설명하는 순서도이다.
도 4는 피처 벡터 생성 과정의 일 실시예를 설명하는 예시도이다.
도 5는 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 일 실시예를 설명하는 예시도이다.
도 6은 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 다른 실시예를 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치의 기본 구성을 설명하는 도면이다.
도 1을 참조하면, 신경망 피처 벡터 결정 장치(100)는 프로세서(110), 메모리(130), 사용자 입출력부(150) 및 네트워크 입출력부(170)를 포함할 수 있다.
신경망 피처 벡터 결정 장치(100)는 특정 컨텐츠를 기초로 해시 함수를 적용하여 피처 벡터를 생성할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 신경망 피처 벡터 결정 장치(100)는 생성된 피처 벡터를 학습 데이터로 사용하여 신경망 학습을 수행할 수 있다. 일 실시예에서, 신경망 피처 벡터 결정 장치(100)는 신경망 학습 시스템에 포함되어 구현될 수 있고, 신경망 학습을 위한 전처리 단계에서 학습 데이터를 생성하는 역할을 수행할 수 있다.
프로세서(110)는 특정 컨텐츠를 분석하여 입력 어레이를 생성한 후 해시 함수를 적용하여 피처 벡터를 생성하기 위한 각 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(130)를 관리할 수 있으며, 메모리(130)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(110)는 신경망 피처 벡터 결정 장치(100)의 동작 전반을 제어할 수 있고, 메모리(130), 사용자 입출력부(150) 및 네트워크 입출력부(170)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(110)는 신경망 피처 벡터 결정 장치(100)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(130)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 신경망 피처 벡터 결정 장치(100)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(150)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(150)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(150)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 신경망 피처 벡터 결정 장치(100)는 서버로서 수행될 수 있다.
네트워크 입출력부(170)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치를 설명하는 블록도이다.
신경망 피처 벡터 결정 장치(100)는 입력 어레이 생성부(210), 피처 요소 결정부(230), 피처 벡터 생성부(250) 및 제어부(270)를 포함할 수 있다.
입력 어레이 생성부(210)는 컨텐츠를 분석하여 복수의 입력 어레이들을 생성할 수 있다. 여기에서, 입력 어레이는 해시 함수의 입력으로 사용되고 컨텐츠를 구성하는 일 구성요소에 해당할 수 있다. 입력 어레이 생성부(210)는 컨텐츠로부터 피처 벡터를 생성하는 과정에서 해시 함수의 입력으로 사용될 입력 어레이를 추출할 수 있고 복수의 입력 어레이들을 리스트 형태로 구성할 수 있다. 예를 들어, 컨텐츠가 문서에 해당하는 경우 입력 어레이 생성부(210)는 문서를 구성하는 단어들 중에서 문서 분석에 영향을 줄 수 있는 중요 단어들을 선별할 수 있고 선별된 중요 단어들을 배열로 구성하여 해시 함수의 입력으로 사용할 수 있다.
일 실시예에서, 입력 어레이 생성부(210)는 컨텐츠를 구성하는 메타데이터, 텍스트, 영상 및 사운드 중 적어도 하나를 기초로 복수의 입력 어레이들을 생성할 수 있다. 컨텐츠는 문서, 동영상, 음악 등 다양한 형태로 구현될 수 있고, 입력 어레이 생성부(210)는 각 컨텐츠의 종류에 따라 컨텐츠의 메타데이터 만을 이용하여 복수의 입력 어레이들을 생성하거나 또는 컨텐츠의 텍스트 만을 이용하여 복수의 입력 어레이들을 생성할 수 있다. 신경망 피처 벡터 결정 장치(100)는 분석된 컨텐츠의 유형에 따라 해시 함수를 결정하여 피처 벡터 생성에 사용함으로써 컨텐츠의 유형에 상관없이 일정한 형식의 피처 벡터를 생성할 수 있다.
피처 요소 결정부(230)는 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정할 수 있다. 특징 함수는 피처 벡터를 생성하기 위하여 사용하는 함수에 해당할 수 있고 하나의 함수로 구성되거나 또는 복수의 함수들의 조합으로 구현될 수 있다. 예를 들어, 특징 함수는 하나의 해시 함수와 하나의 모드 연산으로 구성될 수 있고 해시 함수를 통해 산출된 해시값에 모드 연산을 적용하도록 특정 순서에 따라 구현될 수 있다. 피처 요소 결정부(230)는 하나의 입력 어레이에 제1 특징 함수를 적용하여 제1 피처 요소를 결정할 수 있고, 동일한 입력 어레이에 제2 특징 함수를 적용하여 제2 피처 요소를 결정할 수 있다.
일 실시예에서, 피처 요소 결정부(230)는 입력 어레이에 제1 특징 함수를 적용하여 피처 인덱스를 결정하고 피처 인덱스와 연관된 제1 피처 요소를 결정할 수 있다. 피처 인덱스는 피처 벡터의 특정 위치 정보에 해당할 수 있고, 예를 들어, 피처 벡터가 배열로 표현된 경우 피처 인덱스는 배열의 인덱스에 해당할 수 있다. 피처 요소 결정부(230)는 입력 어레이에 제1 특징 함수로서 해시 함수를 적용할 수 있고 해시 함수를 통해 산출된 해시값에 모드 연산을 적용하여 피처 벡터의 피처 인덱스를 결정할 수 있다.
이 경우 모드 연산에 사용하는 상수는 피처 벡터의 차원 수에 대응될 수 있다. 피처 벡터의 차원 수는 피처 벡터를 구성하는 구성 성분의 수에 해당하고, 예를 들어, 피처 벡터가 배열로 표현되고 배열의 크기가 k인 경우 피처 벡터의 차원 수는 k에 해당할 수 있다. 또한, 피처 벡터의 차원 수는 피처 벡터의 크기에 해당할 수 있다. 피처 요소 결정부(230)는 피처 인덱스 위치에 저장된 피처 벡터의 구성 성분 값을 제1 피처 요소로서 결정할 수 있다.
일 실시예에서, 피처 요소 결정부(230)는 입력 어레이에 제1 특징 함수를 적용하여 n차원(상기 n은 2이상인 자연수) 피처 인덱스를 결정할 수 있다. 피처 인덱스는 피처 벡터의 특정 위치 정보로서 피처 벡터의 구조에 따라 다차원 값을 가질 수 있다. 예를 들어, 피처 벡터가 배열로 표현되고 2차원 배열의 구조에 해당하는 경우 피처 인덱스는 2차원 형태의 값으로 표현될 수 있고 2차원 배열의 특정 위치와 대응될 수 있다. 피처 요소 결정부(230)는 피처 벡터의 모든 위치와 대응되는 피처 인덱스를 출력으로 제공할 수 있는 제1 특징 함수를 구성하여 적용할 수 있다.
일 실시예에서, 피처 요소 결정부(230)는 입력 어레이에 제2 특징 함수를 적용하여 특정 범위를 갖는 제2 피처 요소를 결정할 수 있다. 제2 특징 함수는 제1 특징 함수와 같이 해시 함수와 모드 연산으로 구성될 수 있다. 제2 특징 함수는 제1 특징 함수를 구성하는 해시 함수와 서로 다른 해시 함수로 구성될 수 있다. 보다 구체적으로, 피처 요소 결정부(230)는 입력 어레이에 대해 해시 함수와 모드 연산으로 구성된 제2 특징 함수를 적용할 수 있고 제2 특징 함수에 의해 산출되는 제2 피처 요소는 특정 범위 내의 값에 해당할 수 있다.
일 실시예에서, 피처 요소 결정부(230)는 입력 어레이에 해시 함수를 적용하여 해시값을 산출하고 해시값에 대해 특정 경계 상수를 기초로 모드 연산을 수행하여 제2 피처 요소를 결정할 수 있다. 특정 경계 상수는 제2 피처 요소에 해당하는 값의 범위를 결정하는 상수에 해당할 수 있다. 예를 들어, 피처 요소 결정부(230)는 특정 경계 상수 B를 모드 연산에 사용하여 0 부터 B-1 사이의 값을 가지는 제2 피처 요소를 결정할 수 있다. 피처 요소 결정부(230)는 특정 경계 상수를 조절하여 제2 피처 요소의 범위를 결정할 수 있다.
피처 벡터 생성부(250)는 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신할 수 있다. 피처 벡터 생성부(250)는 제1 피처 요소를 선택한 경우 피처 벡터를 그대로 유지할 수 있고, 제2 피처 요소를 선택한 경우 제1 피처 요소가 저장된 위치에 제1 피처 요소 대신에 제2 피처 요소를 덮어씀으로써 피처 벡터를 갱신할 수 있다.
일 실시예에서, 피처 벡터 생성부(250)는 맥스 풀링(max pooling)을 통해 제1 및 제2 피처 요소들 중 하나를 최종 피처 요소로 결정할 수 있다. 여기에서, 맥스 풀링(max pooling)은 비교 대상 값들 중에서 최대값을 선택하는 방법에 해당할 수 있다. 피처 벡터 생성부(250)는 맥스 풀링을 통해 제1 및 제2 피처 요소들 중 더 큰 값을 선택하여 최종 피처 요소로 결정할 수 있다. 신경망 피처 벡터 결정 장치(100)는 피처 벡터 생성부(250)를 통해 피쳐의 빈도수 정보가 아닌 피처의 본질적인 정보를 기초로 피처 벡터를 생성하여 신경망의 입력 데이터로 활용할 수 있다.
일 실시예에서, 피처 벡터 생성부(250)는 맥스 풀링(max pooling)을 통해 제1 및 제2 피처 요소들 중 하나를 최종 피처 요소로 결정할 수 있고, 동일한 입력 어레이에 제3 특징 함수를 적용한 값을 기초로 최종 피처 요소의 값을 1 증가시키거나 또는 1 감소시킬 수 있다. 이 경우, 제3 특징 함수는 결과로서 0 또는 1을 제공할 수 있는 결정 함수 g(도 4 참조)에 해당할 수 있다.
일 실시예에서, 피처 벡터 생성부(250)는 최종 피처 요소를 피처 인덱스와 연관시켜 피처 벡터를 갱신할 수 있다. 피처 벡터 생성부(250)는 최종 피처 요소를 결정한 다음 제1 피처 요소와 연관된 피처 인덱스의 위치에 해당 최종 피처 요소를 저장하여 피처 벡터를 갱신할 수 있다. 따라서, 피처 벡터 생성부(250)는 최종 피처 요소로서 제1 피처 요소가 결정된 경우에는 피처 벡터를 그대로 유지할 수 있고, 최종 피처 요소로서 제2 피처 요소가 결정된 경우에만 피처 벡터를 갱신할 수 있다. 피처 벡터 생성부(250)는 입력 어레이 생성부(210)에 의해 생성된 복수의 입력 어레이들 모두에 대해 최종 피처 요소를 선택하고 피처 벡터를 갱신하는 과정을 반복 수행하여 최종적인 피처 벡터를 생성할 수 있다.
제어부(270)는 신경망 피처 벡터 결정 장치(100)의 전체적인 동작을 제어하고, 입력 어레이 생성부(210), 피처 요소 결정부(230) 및 피처 벡터 생성부(250) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 신경망 피처 벡터 결정 장치에서 수행되는 신경망 피처 벡터 결정 과정을 설명하는 순서도이다.
도 3을 참조하면, 신경망 피처 벡터 결정 장치(100)는 입력 어레이 생성부(210)를 통해 컨텐츠를 분석하여 복수의 입력 어레이들을 생성할 수 있다(단계 S310). 신경망 피처 벡터 결정 장치(100)는 피처 요소 결정부(230)를 통해 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정할 수 있다(단계 S330). 신경망 피처 벡터 결정 장치(100)는 피처 벡터 생성부(250)를 통해 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신할 수 있다(단계 S550).
도 4는 피처 벡터 생성 과정의 일 실시예를 설명하는 예시도이다.
도 4를 참조하면, 피처 벡터의 일반적인 생성 과정은 문자열 배열 F의 각 원소에 대해 해시 함수 H를 적용하여 피처 벡터 V의 인덱스를 결정하고 동일한 원소에 결정 함수 g를 적용하여 해당 인덱스의 값에 1을 더하거나 또는 1을 빼는 연산을 통해 피처 벡터를 갱신하는 과정을 포함할 수 있다. 최종적인 피처 벡터 V는 입력 배열인 문자열 배열 F의 모든 원소에 대해 상기 과정을 반복 수행한 결과로서 생성될 수 있다.
피처 벡터의 일반적인 생성 과정은 다음과 같이 표현될 수 있다.
여기에서, V는 피처 벡터, F는 문자열 배열, n은 피처 벡터 V의 크기, H는 해시 함수, g는 결정 함수에 해당할 수 있다. 또한, 결정 함수 g의 출력값은 0 또는 1에 해당할 수 있다.
도 5는 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 일 실시예를 설명하는 예시도이다.
도 5를 참조하면, 신경망 피처 벡터 결정 장치(100)는 문자열 배열 F의 각 원소에 대해 제1 특징 함수를 적용하여 제1 피처 요소를 결정할 수 있다. 이 때, 제1 특징 함수는 해시 함수 H를 적용한 후 상수 n으로 모드 연산을 수행하는 것에 해당할 수 있다. 신경망 피처 벡터 결정 장치(100)는 제1 특징 함수를 통해 산출된 피처 인덱스를 기초로 피처 벡터 V에서 피처 인덱스에 해당하는 값을 제1 피처 요소로 결정할 수 있다.
또한, 신경망 피처 벡터 결정 장치(100)는 동일한 원소에 대해 제2 특징 함수를 적용하여 제2 피처 요소를 결정할 수 있다. 이 때, 제2 특징 함수는 해시 함수 H와 다른 해시 함수 G를 적용한 후 경계 상수 B로 모드 연산을 수행하는 것에 해당할 수 있다. 따라서, 제2 특징 함수를 통해 결정되는 제2 피처 요소는 0부터 B-1까지의 범위 내에 존재하는 값에 해당할 수 있다. 신경망 피처 벡터 결정 장치(100)는 제2 특징 함수를 통해 산출된 제2 피처 요소와 제1 특징 함수를 통해 결정된 제1 피처 요소 중 더 큰 값을 최종 피처 요소로 결정할 수 있고 최종 피처 요소를 반영하여 피처 벡터 V를 갱신할 수 있다.
신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정은 다음과 같이 표현될 수 있다.
여기에서, V는 피처 벡터, F는 문자열 배열, n은 피처 벡터 V의 크기, H는 해시 함수, G는 결정 함수, B는 경계 상수에 해당할 수 있다. 또한, 결정 함수 B는 해시 함수로서 해시 함수 H와 서로 다를 수 있다.
도 6은 신경망 피처 벡터 결정 장치에서 피처 벡터를 생성하는 과정의 다른 실시예를 설명하는 예시도이다.
도 6을 참조하면, 신경망 피처 벡터 결정 장치(100)는 m개의 n차원 부분 벡터들로 구성된 피처 벡터 V를 생성할 수 있다. 신경망 피처 벡터 결정 장치(100)는 피처 요소 결정부(230)를 통해 입력 어레이인 문자열 배열 F의 각 원소에 제1 특징 함수를 적용하여 2차원 피처 인덱스를 결정할 수 있다. 피처 인덱스는 피처 벡터의 특정 위치 정보로서 피처 벡터의 구조에 따라 다차원 값을 가질 수 있다.
도 6에서, 피처 벡터 V가 n차원 부분 벡터 3개로 구성된 경우 n * m 행렬로 표현될 수 있고, 피처 인덱스는 2차원 형태의 값 (3, 0)으로 표현될 수 있고 n * m 행렬의 3행 0열에 해당하는 위치와 대응될 수 있다. 피처 요소 결정부(230)는 피처 벡터의 모든 위치와 대응되는 피처 인덱스를 출력으로 제공할 수 있는 제1 특징 함수를 구성하여 적용할 수 있다. 피처 요소 결정부(230)는 제1 특징 함수를 통해 n*m 개의 서로 다른 인덱스 값을 출력할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 신경망 피처 벡터 결정 장치
110: 프로세서 130: 메모리
150: 사용자 입출력부 170: 네트워크 입출력부
210: 입력 어레이 생성부 230: 피처 요소 결정부
250: 피처 벡터 생성부 270: 제어부
110: 프로세서 130: 메모리
150: 사용자 입출력부 170: 네트워크 입출력부
210: 입력 어레이 생성부 230: 피처 요소 결정부
250: 피처 벡터 생성부 270: 제어부
Claims (9)
- 컨텐츠를 분석하여 복수의 입력 어레이들을 생성하는 입력 어레이 생성부;
상기 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정하는 피처 요소 결정부; 및
상기 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신하는 피처 벡터 생성부를 포함하되,
상기 피처 요소 결정부는 입력 어레이에 상기 제1 특징 함수를 적용하여 피처 인덱스를 결정하고 상기 피처 벡터에서 해당 피처 인덱스에 대응되는 구성 성분 값을 상기 제1 피처 요소로 결정하며 상기 입력 어레이에 상기 제2 특징 함수를 적용하여 특정 범위를 갖고 상기 구성 성분 값을 대체 가능한 제2 피처 요소를 결정하고,
상기 피처 벡터 생성부는 맥스 풀링(max pooling)을 통해 상기 제1 및 제2 피처 요소들 중 더 큰 값을 상기 최종 피처 요소로 결정하는 것을 특징으로 하는 신경망 피처 벡터 결정 장치.
- 제1항에 있어서, 상기 입력 어레이 생성부는
상기 컨텐츠를 구성하는 메타데이터, 텍스트, 영상 및 사운드 중 적어도 하나를 기초로 상기 복수의 입력 어레이들을 생성하는 것을 특징으로 하는 신경망 피처 벡터 결정 장치.
- 삭제
- 제1항에 있어서, 상기 피처 요소 결정부는
상기 입력 어레이에 상기 제1 특징 함수를 적용하여 n차원(상기 n은 2이상인 자연수) 피처 인덱스를 결정하는 것을 특징으로 하는 신경망 피처 벡터 결정 장치.
- 삭제
- 제1항에 있어서, 상기 피처 요소 결정부는
상기 입력 어레이에 해시 함수를 적용하여 해시값을 산출하고 상기 해시값에 대해 특정 경계 상수를 기초로 모드 연산을 수행하여 상기 제2 피처 요소를 결정하는 것을 특징으로 하는 신경망 피처 벡터 결정 장치.
- 삭제
- 제1항에 있어서, 상기 피처 벡터 생성부는
상기 최종 피처 요소를 상기 피처 인덱스와 연관시켜 상기 피처 벡터를 갱신하는 것을 특징으로 하는 신경망 피처 벡터 결정 장치.
- 신경망 피처 벡터 결정 장치에서 수행되는 신경망 피처 벡터 결정 방법에 있어서,
컨텐츠를 분석하여 복수의 입력 어레이들을 생성하는 단계;
상기 복수의 입력 어레이들 각각에 관해 제1 및 제2 특징 함수들을 적용하여 제1 및 제2 피처 요소들을 결정하는 단계; 및
상기 제1 및 제2 피처 요소들 중 하나를 결정하여 최종 피처 요소로 피처 벡터를 갱신하는 단계를 포함하되,
상기 피처 요소들을 결정하는 단계는 입력 어레이에 상기 제1 특징 함수를 적용하여 피처 인덱스를 결정하고 상기 피처 벡터에서 해당 피처 인덱스에 대응되는 구성 성분 값을 상기 제1 피처 요소로 결정하며 상기 입력 어레이에 상기 제2 특징 함수를 적용하여 특정 범위를 갖고 상기 구성 성분 값을 대체 가능한 제2 피처 요소를 결정하는 단계를 포함하고,
상기 피처 벡터를 갱신하는 단계는 맥스 풀링(max pooling)을 통해 상기 제1 및 제2 피처 요소들 중 더 큰 값을 상기 최종 피처 요소로 결정하는 단계를 포함하는 것을 특징으로 하는 신경망 피처 벡터 결정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090946A KR102183305B1 (ko) | 2018-08-03 | 2018-08-03 | 신경망 피처 벡터 결정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180090946A KR102183305B1 (ko) | 2018-08-03 | 2018-08-03 | 신경망 피처 벡터 결정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200015300A KR20200015300A (ko) | 2020-02-12 |
| KR102183305B1 true KR102183305B1 (ko) | 2020-11-26 |
Family
ID=69569781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180090946A KR102183305B1 (ko) | 2018-08-03 | 2018-08-03 | 신경망 피처 벡터 결정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102183305B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743576B (zh) * | 2020-05-29 | 2024-05-07 | 精工爱普生株式会社 | 数据获取方法和装置、相似度计算方法和装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013068884A (ja) * | 2011-09-26 | 2013-04-18 | Nippon Telegr & Teleph Corp <Ntt> | ハッシュ関数生成方法、ハッシュ値演算方法、ハッシュ関数生成装置、ハッシュ値演算装置、ハッシュ関数生成プログラム及びハッシュ値演算プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100729107B1 (ko) | 2005-10-27 | 2007-06-14 | 한국전력공사 | 부분방전 원인 자동 추론용 신경망 회로의 입력벡터생성방법 |
| KR20120052610A (ko) * | 2010-11-16 | 2012-05-24 | 삼성전자주식회사 | 신경망 학습을 통한 동작 인식 방법 및 장치 |
| EP3114540B1 (en) * | 2014-03-06 | 2021-03-03 | Progress, Inc. | Neural network and method of neural network training |
| KR101899101B1 (ko) * | 2016-06-01 | 2018-09-14 | 서울대학교 산학협력단 | 인공 신경망 기반 예측 모델 생성 장치 및 방법 |
-
2018
- 2018-08-03 KR KR1020180090946A patent/KR102183305B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013068884A (ja) * | 2011-09-26 | 2013-04-18 | Nippon Telegr & Teleph Corp <Ntt> | ハッシュ関数生成方法、ハッシュ値演算方法、ハッシュ関数生成装置、ハッシュ値演算装置、ハッシュ関数生成プログラム及びハッシュ値演算プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200015300A (ko) | 2020-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11194780B2 (en) | Early exit from table scans of loosely ordered and/or grouped relations using nearly ordered maps | |
| JP4295062B2 (ja) | 反復マッチングを利用した画像検索方法及び装置 | |
| US9875245B2 (en) | Content item recommendations based on content attribute sequence | |
| JP5755823B1 (ja) | 類似度算出システム、類似度算出方法およびプログラム | |
| WO2020064988A1 (en) | Scalable and compressive neural network data storage system | |
| US20200175022A1 (en) | Data retrieval | |
| US10838944B2 (en) | System and method for maintaining a multi-level data structure | |
| CN115080039A (zh) | 前端代码生成方法、装置、计算机设备、存储介质和产品 | |
| JP7014086B2 (ja) | 解析装置、解析方法及びプログラム | |
| Zhou et al. | Adversarial attack and defense in deep ranking | |
| JP6329778B2 (ja) | ストレージシステム、インデクシング方法、インデクシングプログラム | |
| US8463784B1 (en) | Improving data clustering stability | |
| KR102183305B1 (ko) | 신경망 피처 벡터 결정 장치 및 방법 | |
| KR102679888B1 (ko) | 비전 트랜스포머의 정규화 장치 및 방법 | |
| KR102289411B1 (ko) | 가중치 기반의 피처 벡터 생성 장치 및 방법 | |
| KR20200057832A (ko) | 기초 메타학습장치에 대한 앙상블가중치를 결정하는 방법 및 장치 | |
| KR102225820B1 (ko) | 악성코드 분석용 머신러닝을 위한 하이브리드 피처 벡터 생성 장치 및 방법 | |
| JP6327918B2 (ja) | 画像検索装置及びその制御方法 | |
| KR102389555B1 (ko) | 가중 트리플 지식 그래프를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| JP6336827B2 (ja) | 画像検索装置、画像検索方法および検索システム | |
| US20230384917A1 (en) | Zoom action based image presentation | |
| KR102452777B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 기록 매체 | |
| CN118133044A (zh) | 问题扩展方法、装置、计算机设备、存储介质和产品 | |
| CN118295664A (zh) | 代码生成方法、装置、计算机设备、存储介质和产品 | |
| CN117194610A (zh) | 文本处理方法、装置、计算设备、以及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180803 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200427 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201020 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201120 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201123 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |