KR20220135949A - 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법 - Google Patents

차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법 Download PDF

Info

Publication number
KR20220135949A
KR20220135949A KR1020210042322A KR20210042322A KR20220135949A KR 20220135949 A KR20220135949 A KR 20220135949A KR 1020210042322 A KR1020210042322 A KR 1020210042322A KR 20210042322 A KR20210042322 A KR 20210042322A KR 20220135949 A KR20220135949 A KR 20220135949A
Authority
KR
South Korea
Prior art keywords
data
embedding
module
vector
neural network
Prior art date
Application number
KR1020210042322A
Other languages
English (en)
Inventor
김재근
김두민
이학준
이일영
Original Assignee
주식회사 이큐인베스트먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이큐인베스트먼트 filed Critical 주식회사 이큐인베스트먼트
Priority to KR1020210042322A priority Critical patent/KR20220135949A/ko
Publication of KR20220135949A publication Critical patent/KR20220135949A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

본 발명은 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법에 관한 것이다. 이를 위하여, 특정 종목의 상기 거래 데이터와 상기 시장 이슈 텍스트 데이터를 임베딩하여 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 생성하는 임베딩 단계; 상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈에 의해 유사 차트 분류 벡터가 출력되는 유사 차트 분류 단계; 상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs에서 상기 시계열 방향성 세트 정보가 출력되는 시계열 방향성 세트 정보 출력 단계; 상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM에서 상기 추세 예측 정보가 출력되는 추세 예측 단계;를 포함할 수 있다.

Description

차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법{Artificial Neural Network Stock Trading Device and Method Using Chart Similarity Analysis}
본 발명은 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법에 관한 것이다.
최근 인공신경망과 같은 머신러닝 기술, 딥러닝 기술의 발전으로 퀀트 펀드가 다시 주목받고 있다. 퀀트 펀드는 사람의 판단보다 계량화된 데이터가 주는 신호에 따라 투자한다. 그래서 여러 데이터를 가지고 일정한 규칙을 만든 후 컴퓨터가 이를 바탕으로 빠르고 일관성 있게 매매하는 시스템 트레이딩 방식으로 운용된다.
시스템 트레이딩은 ‘현재에 기반한 미래’보다 ‘과거에 기반한 현재’를 중시한다. 그래서 현재의 자산 가격 움직임에 따라 민감하게 매수와 매도를 반복한다. 현재 대부분의 퀀트 펀드들은 주식 현물과 선물의 가격 차를 이용하는 차익 거래를 중심으로 운용된다.
시스템 트레이딩은 파생 상품 시장을 중심으로 성장해 왔다. 이후 시스템 트레이딩은 주식이나 원자재 등을 매매하는 데까지 범위가 확대됐다. 시스템 트레이딩이 시세가 급변동하는 하는 주식시장에서 그 효력을 단단히 발휘했기 때문이다. 기존의 시스템 트레이딩은 특정 추세가 나타난 뒤 반전될 때까지 포지션을 유지하는 모멘텀 투자 방식으로 운영되는 것이 대부분이다. 이러한 점 때문에, 기존의 퀀트 펀드들은 시장의 변동성이 죽어 있을 때 그다지 큰 힘을 발휘하지 못하는 약점도 지니고 있다. 2011년 한국에서도 여러 자산 운용사들이 퀀트 펀드를 속속 내놓았지만 시장이 박스권에서 움직이면서 이들에 대한 관심이 멀어진 것이 이를 대변한다.
실제로 2008년 금융 위기는 르네상스 테크놀로지스의 메달리온 펀드와 같은 초대형 퀀트 펀드를 만든 반면 상당수의 퀀트 펀드들이 몰락한 계기가 되기도 했다. 일례로 세계 최대의 금융 투자회사인 골드만삭스가 운용한 퀀트 펀드인 글로벌 에쿼티 오퍼튜니티즈 펀드는 2007년 8월 초 금융 위기가 닥쳤을 때 한 주 동안에만 30% 이상의 손실을 보기도 했다. 결국 골드만삭스는 2010년 퀀트 펀드 운용 부서 자체를 없애 버렸다.
이때, 머신러닝이나 딥러닝을 이용한 시스템 트레이딩은 시계열 예측을 이용한 방법과 텍스트 마이닝을 이용한 방법 등이 있다.
대한민국 공개특허공보 10-2011-0011205, 주식 거래 상황 그래픽 장치 대한민국 공개특허공보 특2002-002461, 인터넷상에서 증권시장의 매매패턴 정보를 제공하는 증권정보 시스템 대한민국 등록특허공고 10-2124979, 증권 거래를 위한 주문 집행을 수행하는 서버 및 방법
본 발명의 목적은 차트 유사도와 딥러닝을 활용하여 증권 거래 주문 집행을 수행하는 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법을 제공하는 데에 있다.
이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.
본 발명의 목적은, 거래 데이터 및 시장 이슈 텍스트 데이터를 기초로 추세를 분류하고 미래 추세를 예측하여 주문 데이터를 생성하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및 상기 프로그램 코드를 처리하는 처리 모듈;을 포함하고, 상기 프로그램 코드는, 특정 종목의 상기 거래 데이터와 상기 시장 이슈 텍스트 데이터를 임베딩하여 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 생성하는 임베딩 단계; 상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈에 의해 유사 차트 분류 벡터가 출력되는 유사 차트 분류 단계; 상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs에서 상기 시계열 방향성 세트 정보가 출력되는 시계열 방향성 세트 정보 출력 단계; 상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM에서 상기 추세 예측 정보가 출력되는 추세 예측 단계; 및 상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 생성 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되는 것을 특징으로 하는, 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치를 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 거래 데이터 임베딩 모듈이, 특정 종목의 거래 데이터를 임베딩하여 거래 임베딩 벡터를 생성하는 거래 임베딩 단계; 시장 이슈 텍스트 데이터 임베딩 모듈이, 상기 특정 종목의 시장 이슈 텍스트 데이터를 임베딩하여 시장 이슈 임베딩 벡터를 생성하는 시장 이슈 임베딩 단계; 상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈이, 상기 유사 차트 분류 벡터를 출력하는 유사 차트 분류 단계; 상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs 모듈이, 상기 시계열 방향성 세트 정보를 출력하는 시계열 방향성 세트 정보 출력 단계; 상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM 모듈이, 상기 추세 예측 정보를 출력하는 추세 예측 단계; 및 상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 모듈이, 상기 주문 데이터를 출력하는 주문 단계;를 포함하는 것을 특징으로 하는, 차트 유사도 분석을 이용한 주식 거래 인공신경망 방법을 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 특정 종목의 거래 데이터를 임베딩하여 거래 임베딩 벡터를 생성하는 거래 데이터 임베딩 모듈; 상기 특정 종목의 시장 이슈 텍스트 데이터를 임베딩하여 시장 이슈 임베딩 벡터를 생성하는 시장 이슈 텍스트 데이터 임베딩 모듈; 상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈; 상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs 모듈; 상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM 모듈; 및 상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 모듈;을 포함하는 것을 특징으로 하는, 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치를 제공하여 달성될 수 있다.
상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.
첫째, 본 발명의 일실시예에 따르면, 금융 도메인 특화 언어셋의 센티멘탈 애널리시스를 통해 추세를 분류하고, 태스크를 파인튜닝 할 수 있게 되는 효과가 발생된다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)와 주문 클라이언트의 관계를 도시한 모식도,
도 2는 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)의 구성을 도시한 모식도,
도 3은 본 발명의 일실시예에 따른 유사 차트 분류 모듈(10)을 도시한 모식도,
도 4는 본 발명의 일실시예에 따라 convolution neural network이 이용된 유사 차트 분류 인공신경망 모듈(103)을 도시한 것,
도 5는 본 발명의 일실시예에 따른 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet의 예시도,
도 6은 본 발명의 일실시예에 따른 유사 차트 분류 벡터의 예시를 도시한 것,
도 7은 본 발명의 일실시예에 따른 추세 예측 모듈(11)을 LSTM으로 구성한 실시예를 도시한 모식도,
도 8은 본 발명의 일실시예에 따른 강화학습 모듈(13)를 도시한 모식도,
도 9는 본 발명의 일실시예에 따른 강화학습 모듈(13)의 동작예를 도시한 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
차트 유사도 분석을 이용한 주식 거래 인공신경망 장치
도 1은 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)와 주문 클라이언트의 관계를 도시한 모식도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)는 거래 데이터 및 시장 이슈 텍스트 데이터를 수신하여 특정 종목에 대해 생성된 주문 명령을 스마트폰이나 태블릿, 노트북, 데스크탑 PC 등을 포함하는 주문 클라이언트에 송신할 수 있다.
도 2는 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)의 구성을 도시한 모식도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)는 특정 종목의 거래 데이터(100) 및 시장 이슈 텍스트 데이터(200)를 수신하여 특정 종목에 대한 주문 데이터(300)를 생성할 수 있다. 본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)는 유사 차트 분류 모듈(10), 추세 예측 모듈(11), 주문 모듈(12)을 포함할 수 있다.
유사 차트 분류 모듈(10)은 특정 종목의 거래 데이터(100) 및 시장 이슈 텍스트 데이터(200)를 수신하여 추세(Momentum)의 방향성을 정의할 수 있는 최적의 구간을 계산한 뒤 해당 구간의 추세 방향성을 분류하는 모듈이다.
유사 차트 분류 모듈(10)은 거래 데이터 임베딩 모듈(101), 시장 이슈 텍스트 데이터 임베딩 모듈(102), 유사 차트 분류 인공신경망 모듈(103)을 포함할 수 있다. 도 3은 본 발명의 일실시예에 따른 유사 차트 분류 모듈(10)을 도시한 모식도이다. 도 3에 도시된 바와 같이, 거래 데이터 임베딩 모듈(101)은 거래 데이터(100)를 수신하고 거래 임베딩 벡터를 출력하도록 구성될 수 있다. 이때, 본 발명의 일실시예에 따른 거래 데이터(100)는 특정 종목의 틱 데이터(Tick data), RSI, MA, MFI 등의 Price factor, 오더북 데이터(Order books data), 환율, 국채 금리, 금, 비트코인 등의 시장 보조 데이터(Market data)를 포함할 수 있다.
시장 이슈 텍스트 데이터 임베딩 모듈(102)은 시장 이슈 텍스트 데이터(200)를 입력받아 시장 이슈 임베딩 벡터를 출력하도록 구성될 수 있다. 이대, 본 발명의 일실시예에 따른 시장 이슈 텍스트 데이터(200)는 특정 종목에 대한 뉴스 데이터, 소셜미디어 데이터(Youtube, Facebook, Instagram 등), 커뮤니티 데이터(Reddit, Naver, Kakao 등), 검색 데이터(Google trend, Naver trend 등)을 포함할 수 있다.
유사 차트 분류 인공신경망 모듈(103)은 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고, 유사 차트 분류 벡터를 출력 데이터로 하는 인공신경망으로 구성될 수 있다.
유사 차트 분류 인공신경망 모듈(103)의 인공신경망으로는 Convolution neural network이 이용될 수 있다. 도 4는 본 발명의 일실시예에 따라 convolution neural network이 이용된 유사 차트 분류 인공신경망 모듈(103)을 도시한 것이다. 도 4에 도시된 바와 같이, 유사 차트 분류 인공신경망 모듈(103)의 분류 모델은 Convolution Neural Network으로 구성될 수 있고, 구체적으로는 특정 매트릭스 사이즈로 구성되는 적어도 하나 이상의 Convolution layer, 적어도 하나 이상의 Pooling layer, 적어도 하나 이상의 Fully connected layer 등으로 구성될 수 있다. 결국, 본 발명의 일실시예에 따른 유사 차트 분류 인공신경망 모듈(103)은 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 수신하여 매트릭스 형태의 입력 데이터로 이용하고, 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 CNN으로 분류하여 유사 차트 분류 벡터를 생성하여, 제1LSTMs인 추세 예측 모듈에 제공하도록 구성될 수 있다.
유사 차트 분류 인공신경망 모듈(103)은 거래 데이터(100) 및 시장 이슈 텍스트 데이터(200)를 매트릭스 데이터 형태로 임베딩하여 작전 구간을 분류하는 인공신경망 중 하나인 ConvNet으로 구성될 수 있다. 본 발명의 일실시예에 따른 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet(Convolutional Neural Network)은 인공 신경망(Neural Network)의 한 종류로 주로 매트릭스를 인식하는데 사용한다. 예를 들어, 2012년 이미지 인식 경연 대회인 ILSVRC 에서 세계 유수의 기관을 제치고 큰 격차로 캐나다의 토론토 대학의 슈퍼비전이 우승하게 되는데, 그때 사용된 방법이 ConvNet에 기반한다. 기존에는 SIFT, HOG방식 등의 Computer vision이 주로 이용되었었다. ConvNet의 구체적인 설명은 아래와 같다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet은 일반적인 인공 신경망과 같이 각 뉴런이 학습 가능한 가중치(weight)와 바이어스(bias)로 구성되어 있다. 각 뉴런은 입력을 받아 내적 연산(dot product)을 한 뒤 선택에 따라 비선형(non-linear) 연산을 한다. 전체 네트워크는 일반 신경망과 마찬가지로 미분 가능한 하나의 스코어 함수(score function)을 갖게 된다. 입력 레이어(input layer)에서 원본 매트릭스(raw image)를 읽고 출력 레이어(output layer)에서 각 클래스에 대한 점수를 구하게 된다. 또한, ConvNet은 마지막 레이어에 SVM/Softmax와 같은 손실 함수(loss function)을 가지며, 일반 신경망을 학습시킬 때 사용하던 각종 기법들을 동일하게 적용할 수 있다.
일반적인 인공 신경망과 달리 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet 아키텍쳐는 입력 데이터가 매트릭스(또는, 매트릭스)라는 가정 덕분에 매트릭스 데이터가 갖는 특성들을 인코딩할 수 있다. 이러한 아키텍쳐는 포워드 함수(forward function)을 더욱 효과적으로 구현할 수 있고, 매트릭스 데이터를 이용하여 네트워크를 학습시키는데 필요한 모수(parameter)의 수를 크게 줄일 수 있게 해준다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet은 입력받은 벡터를 일련의 히든 레이어(hidden layer)를 통해 변형(transform) 시킨다. 각 히든 레이어는 뉴런들로 이뤄져 있으며, 각 뉴런은 앞쪽 레이어(previous layer)의 모든 뉴런과 연결되어 있다. 이를 "fully connected" 라고 한다. 같은 레이어 내에 있는 뉴런들끼리는 연결이 존재하지 않고 서로 독립적이다. 마지막 Fully-connected 레이어는 출력 레이어라고 불리며, 분류 모델에서는 복수의 클래스 중 어느 클래스에 속하는지에 대한 클래스 점수(class score)를 나타낸다.
일반적인 인공 신경망은 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet과 달리 매트릭스를 다루기에 적절하지 않다. CIFAR-10 데이터의 경우 각 매트릭스가 32x32x3(가로와 세로가 32, 3개 컬러 채널)로 이뤄져 있어서 첫 번째 히든 레이어 내의 하나의 뉴런의 경우 32x32x3=3072개의 가중치가 필요하지만, 더 큰 매트릭스를 사용할 경우에는 같은 구조를 이용하는 것이 불가능하다. 예를 들어 200x200x3의 크기를 가진 매트릭스는 같은 뉴런에 대해 200x200x3=120,000개의 가중치를 필요로 하기 때문이다. 게다가, 이런 뉴런이 레이어 내에 복수로 존재하므로 모수의 개수가 크게 증가하게 된다. 이와 같이 Fully-connectivity는 심한 낭비이며 많은 수의 모수는 곧 오버피팅(overfitting)으로 귀결된다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet은 입력이 매트릭스로 이뤄져 있다는 특징을 살려 좀 더 합리적인 방향으로 아키텍쳐를 구성할 수 있다. 특히 일반 신경망과 달리, ConvNet의 레이어들은 가로, 세로, 깊이의 3개 차원을 갖게 된다. 여기에서 말하는 깊이란 전체 신경망의 깊이(depth)가 아니라 액티베이션 볼륨(activation volume)에서의 3번째 차원을 이야기 한다. 예를 들어 CIFAR-10 매트릭스는 32x32x3(가로, 세로, 깊이)의 차원을 갖는 입력 액티베이션 볼륨(activation volume)이라고 볼 수 있다. ConvNet 아키텍쳐에서 하나의 레이어에 위치한 뉴런들은 일반 신경망과는 달리 앞 레이어의 전체 뉴런이 아닌 일부에만 연결이 되어 있다. ConvNet 아키텍쳐는 전체 매트릭스를 클래스 점수들로 이뤄진 하나의 벡터로 만들어주기 때문에 마지막 출력 레이어는 1x1x10(10은 CIFAR-10 데이터의 클래스 개수)의 차원을 가지게 된다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet의 각 레이어는 미분 가능한 변환 함수를 통해 하나의 액티베이션 볼륨을 또다른 액티베이션 볼륨으로 변환(transform) 시킨다. ConvNet 아키텍쳐에서는 크게 컨볼루셔널 레이어(convolutional layer), 풀링 레이어(pooling layer), Fully-connected 레이어라는 3개 종류의 레이어가 사용된다. 전체 ConvNet 아키텍쳐는 이 3종류의 레이어들을 쌓아 만들어진다.
도 5는 본 발명의 일실시예에 따른 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet의 예시도이다. 도 5에 도시된 바와 같이, 간단한 ConvNet을 예시로 들자면, [INPUT-CONV-RELU-POOL-FC]으로 구축할 수 있다. 입력 데이터인 거래 임베딩 벡터와 시장 이슈 임베딩 벡터가 concat 된 형태의 입력 벡터의 경우, INPUT 입력 매트릭스가 가로 32, 세로 32, 그리고 RGB 채널을 가지는 경우 입력의 크기는 [32x32x3]이다. CONV 레이어(Conv. Filter)는 입력 매트릭스의 일부 영역과 연결되어 있으며, 이 연결된 영역과 자신의 가중치의 내적 연산(dot product)을 계산하게 된다. 결과 볼륨은 [32x32x12]와 같은 크기를 갖게 된다. RELU 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(activation function)이다. RELU 레이어는 볼륨의 크기를 변화시키지 않는다([32x32x12]). 그 결과 Activation map 1을 생성한다. POOL 레이어(pooling)는 "가로,세로" 차원에 대해 다운샘플링(downsampling)을 수행해 [16x16x12]와 같이 줄어든 볼륨(Activation map 2)을 출력한다. FC (fully-connected) 레이어는 클래스 점수들을 계산해 [1x1x10]의 크기를 갖는 볼륨(output layer)을 출력한다. "10"은 10개 카테고리에 대한 클래스 점수에 해당한다. FC 레이어는 이전 볼륨의 모든 요소와 연결되어 있다.
이와 같이, 유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet은 픽셀 값으로 이뤄진 원본 매트릭스를 각 레이어를 거치며 추세 방향성에 대한 클래스 점수로 변환(transform)시킨다. 어떤 레이어는 모수 (parameter)를 갖지만 어떤 레이어는 모수를 갖지 않는다. 특히 CONV/FC 레이어들은 단순히 입력 볼륨만이 아니라 가중치(weight)와 바이어스(bias)도 포함하는 액티베이션(activation) 함수이다. 반면 RELU/POOL 레이어들은 고정된 함수이다. CONV/FC 레이어의 모수 (parameter)들은 각 매트릭스에 대한 클래스 점수가 해당 매트릭스의 레이블과 같아지도록 그라디언트 디센트(gradient descent)로 학습된다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet의 CONV 레이어의 모수(parameter)들은 일련의 학습가능한 필터들로 이뤄져 있다. 각 필터는 가로/세로 차원으로는 작지만 깊이 (depth) 차원으로는 전체 깊이를 아우른다. 포워드 패스(forward pass) 때에는 각 필터를 입력 볼륨의 가로/세로 차원으로 슬라이딩시키며(정확히는 convolve시키며) 2차원의 액티베이션 맵 (activation map)을 생성한다. 필터를 입력 위로 슬라이딩 시킬 때, 필터와 입력 볼륨 사이에서 내적 연산(dot product)이 이뤄진다. 이러한 과정으로 ConvNet은 입력 데이터의 특정 위치의 특정 패턴에 대해 반응하는(activate) 필터를 학습하게 된다. 이런 액티베이션 맵(activation map)을 깊이(depth) 차원으로 쌓은 것이 곧 출력 볼륨이 된다. 그러므로 출력 볼륨의 각 요소들은 입력의 작은 영역만을 취급하고, 같은 액티베이션 맵 내의 뉴런들은 같은 필터를 적용한 결과이므로 같은 모수들을 공유한다.
유사 차트 분류 인공신경망 모듈(103)에 포함되는 ConvNet에 이용될 수 있는 네트워크 구조들의 예시는 다음과 같다.
LeNet. 최초의 성공적인 ConvNet 애플리케이션들은 1990년대에 Yann LeCun이 만들었다. 그 중에서도 zip 코드나 숫자를 읽는 LeNet 아키텍쳐가 가장 유명하다.
AlexNet. 컴퓨터 비전 분야에서 ConvNet을 유명하게 만든 것은 Alex Krizhevsky, Ilya Sutskever, Geoff Hinton이 만든 AlexNet이다. AlexNet은 ImageNet ILSVRC challenge 2012에 출전해 2등을 큰 차이로 제치고 1등을 했다 (top 5 에러율 16%, 2등은 26%). 아키텍쳐는 LeNet과 기본적으로 유사지만, 더 깊고 크다. 또한, 과거에는 하나의 CONV 레이어 이후에 바로 POOL 레이어를 쌓은 것과 달리 여러 개의 CONV 레이어들을 쌓는 방식으로 구성하였다.
ZF Net. ILSVRC 2013년의 승자는 Matthew Zeiler와 Rob Fergus가 만들었다. 저자들의 이름을 따 ZFNet이라고 불린다. AlexNet에서 중간 CONV 레이어 크기를 조정하는 등 하이퍼파라미터들을 수정해 만들었다.
GoogLeNet. ILSVRC 2014의 승자는 Szegedy et al. 이 구글에서 만들었다. 이 모델의 가장 큰 기여는 파라미터의 개수를 엄청나게 줄여주는 Inception module을 제안한 것이다(4M, AlexNet의 경우 60M). 뿐만 아니라, ConvNet 마지막에 FC 레이어 대신 Average 풀링을 사용해 별로 중요하지 않아 보이는 파라미터들을 많이 줄이게 된다.
VGGNet. ILSVRC 2014에서 2등을 한 네트워크는 Karen Simonyan과 Andrew Zisserman이 만든 VGGNet이라고 불리우는 모델이다. 이 모델의 가장 큰 기여는 네트워크의 깊이가 좋은 성능에 있어 매우 중요한 요소라는 것을 보여준 것이다. 이들이 제안한 여러 개 모델 중 가장 좋은 것은 16개의 CONV/FC 레이어로 이뤄지며, 모든 컨볼루션은 3x3, 모든 풀링은 2x2만으로 이뤄져 있다. 비록 GoogLeNet보다 매트릭스 분류 성능은 약간 낮지만, 여러 Transfer Learning 과제에서 더 좋은 성능을 보인다는 것이 나중에 밝혀졌다. 그래서 VGGNet은 최근에 매트릭스 feature 추출을 위해 가장 많이 사용되고 있다. VGGNet의 단점은, 매우 많은 메모리를 사용하며(140M), 많은 연산량을 필요로 한다는 것이다.
ResNet. Kaiming He et al.이 만든 Residual Network가 ILSVRC 2015에서 우승을 차지했다. Skip connection이라는 특이한 구조를 사용하며 batch normalizatoin을 많이 사용했다는 특징이 있다. 이 아키텍쳐는 마지막 레이어에서 FC 레이어를 사용하지 않는다.
도 6은 본 발명의 일실시예에 따른 유사 차트 분류 벡터의 예시를 도시한 것이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 유사 차트 분류 벡터는 현재 이전의 시간 구간인 분류 구간에 대하여 상승, 보합, 하락, 상승 후 보합, 보합 후 상승, 하락 후 보합, 보합 후 하락, 상승 후 하락, 하락 후 상승 등의 class로 분류한 방향성 정보를 의미할 수 있으며, 이러한 유사 차트 분류 인공신경망 모듈(103)은 이러한 카테고리화 된 유사 차트 분류 벡터와 해당 유사 차트 분류 벡터에 대응되는 거래 데이터(100) 및 시장 이슈 텍스트 데이터(200)로 기학습될 수 있다.
추세 예측 모듈(11)은 유사 차트 분류 벡터(210)를 기초로 특정 시점에 대한 시계열 방향성 세트를 생성하는 구성이다. 도 7은 본 발명의 일실시예에 따른 추세 예측 모듈(11)을 LSTM으로 구성한 실시예를 도시한 모식도이다. 도 7에 도시된 바와 같이, 추세 예측 모듈(11)은 복수개의 LSTM을 포함할 수 있다. 제1LSTM(11)는 유사 차트 분류 벡터를 기초로 시계열 방향성 세트 정보를 생성하도록 구성될 수 있다. 본 발명의 일실시예에 따른 복수개의 제1LSTM(11)은 시계열로 구성되는 복수개의 제1LSTM으로 구성되고, 각각의 제1LSTM은 하나의 특정 방향성에 대응되는 시계열 분석 Neural Network으로 구성될 수 있다. 본 발명의 일실시에에 따른 제1LSTM은 CNN인 유사 차트 분류 모듈(10)에서 특정 방향성로 분류되는 복수개의 유사 차트 분류 벡터를 시계열적으로 연속 수신하여 시계열 방향성 세트를 출력할 수 있다.
복수개의 제1LSTM(11)는 이러한 제1LSTM이 시계열적으로 복수개 구성될 수 있다. 제1LSTMs에서는 특정 방향성에 대응되는 제1LSTM이 시계열적으로 복수개 구성되어 분류되는 방향성이 변화될 때마다 다른 제1LSTM으로 넘어가게 구성될 수 있다. 이러한 복수개의 제1LSTM에 의해 복수개의 특정 유사 차트 분류 벡터를 시계열적으로 포함하는 시계열 방향성 세트 정보가 생성될 수 있는데, 이러한 시계열 방향성 세트 정보는 시계열적으로 복수개가 구비될 수 있고, 각각의 시계열 방향성 세트 정보는 특정 유사 차트 분류 벡터를 단위로 시계열적인 페어와이즈 조합(pairwise)으로 구성될 수 있다. 시계열적인 페어와이즈 조합으로 구성된 복수개의 시계열 방향성 세트 정보는 제2LSTM(12)의 입력 데이터로 입력될 수 있다. 본 발명의 일실시예에 따라 시계열 페어와이즈 조합으로 구성된 복수개의 시계열 방향성 세트 정보를 이용하는 경우, 단순히 특정 시간의 값을 이용하는 것보다 제2LSTM(12)에 대한 입력 데이터의 표준화/정규화가 가능해지는 효과가 발생된다. 예를 들어, 방향성 A와 방향성 B는 시계열적 측면의 데이터 양의 관점에서 상호 동일하지 않은 데이터의 개수를 가지고 있을 확률이 높은데, 이를 그대로 입력하는 경우 정교한 방향성 예측 값이 출력되지 않을 확률이 높다. 즉, 빈도가 드믄 방향성 또는 시간이 짧은 방향성가 전체 패턴 분석에 기여하지 못할 수 있기 때문이다. 하지만, 본 발명의 일실시예에 따라 시계열 페어와이즈 조합으로 구성된 복수개의 시계열 방향성 세트 정보를 이용하는 경우, 드믄 방향성나 시간이 짧은 방향성 정보도 표준화 덕분에 전체 패턴 분석에 기여할 수 있게 되는 효과가 발생된다.
추세 예측 모듈(11)은 시계열 방향성 세트 정보를 이용하여 추세 예측 정보를 생성하는 모듈이다. 도 5에 도시된 바와 같이, 추세 예측 모듈(11)은 제2LSTM(12)을 의미할 수 있다. 제2LSTM(12)는 복수개의 시계열 방향성 세트 정보를 연속적으로 수신하여 추세 예측 정보를 생성할 수 있다. 이렇게 생성된 추세 예측 정보는 사용자가 예측하고 싶어하는 특정 매매 이벤트의 Ground truth 값과 Loss Function의 학습을 통해 특정 매매 이벤트를 예측하는데 이용될 수 있다.
주문 모듈(12)은 추세 예측 정보를 기반으로 특정 종목에 대한 매매 주문인 주문 데이터(300)를 생성하는 모듈이다. 주문 모듈(12)은 생성된 주문 데이터(300)를 네트워크로 연결된 주문 클라이언트에 송신하도록 구성될 수 있다.
본 발명의 일실시예에 따른 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치(1)는 추세 예측 모듈(11)의 파라미터 및 하이퍼 파라미터(학습률, 훈련 횟수, 은닉층의 뉴런 수, 정규화 파라미터 등)을 튜닝하는 강화학습 모듈(13)을 더 포함할 수 있다. 본 발명의 일실시예에 따른 강화학습 모듈(13)에 대하여, 도 8은 본 발명의 일실시예에 따른 강화학습 모듈(13)를 도시한 모식도이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 강화학습 모듈(13)는 특정 상태에서의 가치를 출력하는 가치 함수를 학습하는 인공신경망인 가치망(131) 및 파라미터 조건의 확률을 출력하는 정책 함수를 학습하는 정책망(130)을 포함할 수 있고, 본 발명의 일실시예에 따른 정책망(130) 및 가치망(131)은 추세 예측 모듈(11)에 연결되도록 구성될 수 있다. 또한, 정책망(130)과 가치망(131)은 추세 예측 모듈(11)과 연결되어 최적 파라미터 조건 정보를 출력할 수 있고, 추세 예측 모듈(11)은 출력된 최적 파라미터 조건 정보를 기초로 하여 네트워크가 튜닝될 수 있다.
강화학습의 관점에서, 본 발명의 일실시예에 따른 강화학습 모듈(13)의 Objective는 추세 예측에 따른 수익률의 성과를 향상시키는 것이고, 상태(State)는 현재 거래 데이터(틱 데이터(Tick data), RSI, MA, MFI 등의 Price factor, 오더북 데이터(Order books data)), 시장 보조 데이터(환율, 국채 금리, 금, 비트코인, 날짜, 요일, 다른 종목의 거래 데이터)를 의미할 수 있고, 액션(Action)은 추세 예측 모듈(11)에 구성된 LSTM에 대한 파라미터의 설정을 의미할 수 있으며, 보상(Reward)은 특정 기간 동안의 수익률 데이터의 상승 또는 하강을 의미할 수 있다.
정책망(130)은 강화학습 모듈(13)의 각 상태에서 추세 예측 모듈(11)에 구성된 LSTM에 대한 파라미터의 특정 조건들의 확률을 결정하는 인공신경망이고, 정책 함수를 학습하여 파라미터 조건 및 컨피던스(Confidence)을 출력하게 된다. 정책망의 Cost function은 정책함수와 가치망의 Cost Function을 곱하여 크로스 엔트로피(Cross Entropy)를 계산한 뒤 Policy gradient를 취한 함수일 수 있고, 예를 들면, 아래 수학식 1과 같이 구성될 수 있다. 정책망은 크로스 엔트로피와 가치망의 cost function인 시간차 에러의 곱을 기초로 back propagation 될 수 있다.
Figure pat00001
수학식 1에서, π는 정책 함수, θ는 정책망 파라미터, πθ(ai│si)는 현재 에피소드에서 특정 액션(특정 속성의 파라미터 조건)을 할 가능성, V는 가치 함수, w는 가치망 파라미터, si는 현재 에피소드인 i의 상태 정보, Si+1은 다음 에피소드인 i+1의 상태 정보, ri+1은 다음 에피소드에서 획득하는 것으로 예상되는 보상, Vw(si)는 현재 에피소드에서의 보상 가능성, Vw(si+1)는 다음 에피소드에서의 보상 가능성, γ는 감가율을 의미할 수 있다. 이때, ri+1은 추세 예측 모듈(11)에서 수신하도록 구성될 수 있다. 결국, 본 발명의 일실시예에 따른 정책망(130)은 Policy gradient를 통해 초기에는 추세 예측 모듈(11)의 파라미터 조건 히스토리를 모사하는 파라미터 조건을 출력하게 된다.
본 발명의 일실시예에 따른 정책망(130)은 강화학습이 진행되기 이전에 기존의 파라미터 조건 데이터와 이에 따른 수익률 데이터를 기초로 지도학습(Supervised Learning)되어 정책망의 weight가 업데이트 됨으로써 정책의 기초를 학습할 수 있다. 즉, 정책망의 weight는 기존의 파라미터 조건 데이터 및 수익률 데이터를 토대로 지도학습되어 설정될 수 있다. 이에 따르면, 기존의 거래 데이터에 의해 정책망이 매우 빠르게 학습될 수 있는 효과가 발생된다.
또한, 본 발명의 일실시예에 따르면 정책망(130)의 지도학습 시에 랜덤 벡터를 포함하여 기존의 파라미터 조건 데이터와 이에 따른 수익률 데이터를 기초로 지도학습이 되도록 구성될 수 있다. 랜덤 벡터는 예를 들면 가우시안 확률 분포(Gaussian distribution)를 이용할 수 있다. 이에 따르면, 정책망이 랜덤한 확률로 도전적인 파라미터 조건 정책을 출력할 수 있게 되는 효과가 발생된다. 정책망(130)의 지도학습 시에 기존의 파라미터 조건 데이터와 이에 따른 수익률 데이터를 기초로 지도학습이 되도록 구성하면 파라미터 조건의 설정이 기존의 정책 내에서 최적화되는 결과가 나타나게 된다. 하지만, 본 발명의 일실시예에 따라 정책망의 지도학습 시에 랜덤 벡터를 포함하게 되면 강화학습이 진행될수록 정책망이 기존의 정책보다 더 효과적인 파라미터 조건을 학습할 수 있게 되는 효과가 발생된다.
가치망(131)은 강화학습 모듈(13)가 가질 수 있는 각 상태(State)에서 보상(Reward)을 달성할 가능성을 도출하는 인공신경망이고, 가치 함수를 학습하게 된다. 가치망(131)은 에이전트(agent)인 강화학습 모듈(13)가 어떤 방향으로 업데이트 될 지에 대한 방향성을 제시해주게 된다. 이를 위해, 가치망(131)의 입력 변수는 강화학습 모듈(13)의 상태에 대한 정보인 상태 정보로 설정되고, 가치망(131)의 출력 변수는 강화학습 모듈(13)가 보상을 달성할 가능성인 보상 가능성 정보로 설정될 수 있다. 본 발명의 일실시예에 따른 보상 가능성 정보는 아래 수학식과 같은 Q-function으로 계산될 수 있다.
Figure pat00002
위 수학식 2에서 Qπ는 특정 정책 π에서 상태 s, 액션 a인 경우 미래에 예상되는 전체 보상 가능성 정보를 의미하고, R은 특정 기간의 보상, gamma는 감가율을 의미할 수 있다. St는 시간 t의 상태, At는 시간 t의 액션, E는 기대값을 의미할 수 있다. 본 발명의 일실시예에 따른 보상 가능성 정보(Q value)는 정책망(130)의 업데이트 방향 및 크기를 규정하게 된다.
이때, 가치망의 Cost function은 가치 함수에 대한 MSE(Mean Square error) 함수일 수 있고, 예를 들면 아래 수학식 3과 같이 구성될 수 있다. 가치망(131)은 가치망의 cost function인 시간차 에러를 기초로 back propagation 될 수 있다.
Figure pat00003
수학식 2에서, V는 가치 함수, w는 가치망 파라미터, si는 현재 에피소드인 i의 상태 정보, Si+1은 다음 에피소드인 i+1의 상태 정보, ri+1은 다음 에피소드에서 획득하는 것으로 예상되는 보상, Vw(si)는 현재 에피소드에서의 보상 가능성, Vw(si+1)는 다음 에피소드에서의 보상 가능성, γ는 감가율을 의미할 수 있다. 이때, ri+1은 추세 예측 모듈(11)에서 수신하도록 구성될 수 있다.
이에 따라, 가치망은 파라미터 조건 설정 장치의 상태가 변경될 때 수학식 1의 Cost Function을 Gradient descent 시키는 방향으로 업데이트 할 수 있다.
본 발명의 일실시예에 따르면 가치망을 정책망과 별도로 학습시키면서, 가치망의 Q value가 랜덤에서 시작하지 않고 Supervised되게 되므로 빠른 학습이 가능해지는 효과가 발생된다. 이에 따르면 매우 복잡도가 높은 파라미터 조건의 조합을 선택하는 액션(action)에 있어서 탐구(exploration) 부담을 크게 줄일 수 있게 되는 효과가 발생된다.
본 발명의 일실시예에 따른 강화학습 모듈(13)에 따르면, 지도학습을 마친 정책망(130)이 현재 에피소드 i의 파라미터 조건을 설정하게 되면 가치망(131)이 설정된 파라미터 조건을 진행할 경우의 보상을 예측하도록 학습된다. 학습을 마친 강화학습 모듈(13)의 정책망(130)과 가치망(131)은 최적 조건 탐색 모듈(132)을 활용한 시뮬레이션과 조합되어 최종적으로 파라미터 조건을 선정하는데 활용된다.
또한, 본 발명의 일실시예에 따른 가치망(131)에 따르면 파라미터 조건 및 컨피던스(Confidence)을 출력하는 정책망의 업데이트가 매 에피소드마다 진행될 수 있는 효과가 발생된다. 기존의 강화학습에서는 강화학습 모델의 업데이트가 모든 에피소드가 종료된 이후에 진행되는 문제가 있어서, 파라미터 조건 설정 모델에 적용하는데는 어려움이 있었다.
최적 조건 탐색 모듈(132)은 정책망과 가치망에서 계산되는 복수의 에이전트(agent)를 기초로 다양한 상태 및 다양한 액션에 대한 복수회의 시뮬레이션을 진행하여 추세 예측 모듈(11)에 대한 최적의 파라미터 조건을 탐색하는 구성이다. 본 발명의 일실시예에 따른 최적 조건 탐색 모듈(132)은, 예를 들어, 몬테카를로 트리 탐색을 활용할 수 있고, 트리의 각 노드는 상태(state)를, 각 연결(edge)은 해당 상태에 대한 특정 액션에 따라 예상되는 가치(value)를 나타내며, 현재 상태를 뿌리 노드로 두고 새로운 액션을 취해 새로운 상태로 전이될 때 마다 잎(leaf) 노드가 확장되는 구조이다. 본 발명의 일실시예에 따른 최적 조건 탐색 모듈(132)에서 최적의 파라미터 조건 설정은 몬테카를로 트리 탐색이 활용되는 경우, Selection, Expansion, Evaluation, Backup의 4 단계로 처리될 수 있다.
최적 조건 탐색 모듈(132)의 Selection 단계는, 현재 상태로부터 잎 노드가 나올 때까지 선택 가능한 액션 중 가장 가치가 높은 액션을 선택하며 진행하는 단계이다. 이 때 연결(edge)에 저장해 둔 가치함수의 값과 탐구-이용 균형을 맞추기 위한 방문빈도 값을 이용한다. Selection 단계에서 액션 선택을 위한 수학식은 아래와 같다.
Figure pat00004
위 수학식 4에서 at는 시간t에서의 액션(파라미터 조건 설정의 수행)이고, Q(st,a)는 트리에 저장된 가치함수의 값이며, u(st,a)는 해당 상태-액션 쌍의 방문횟수에 반비례하는 값으로 탐구(exploration)와 이용의 균형을 맞추기 위해 사용된 것이다.
최적 조건 탐색 모듈(132)의 Expansion 단계는, 시뮬레이션이 잎 노드까지 진행되면 지도학습으로 학습된 정책망의 확률에 따라 액션하여 새로운 노드를 잎 노드로 추가하는 단계이다.
최적 조건 탐색 모듈(132)의 Evaluation 단계는, 새로 추가된 잎 노드로부터 가치망을 사용해 판단한 가치(보상 가능성)와 잎 노드로부터 정책망을 사용해 파라미터 조건 에피소드가 끝날 때까지 진행해 얻은 보상을 통해 잎 노드의 가치를 평가하는 단계이다. 아래 수학식은 새로운 잎 노드의 가치를 평가하는 예시이다.
Figure pat00005
위 수학식 5에서 V(sL)은 잎 노드의 가치, λ는 mixing 파라미터, vθ(sL)은 가치망을 통해 얻은 가치, zL은 시뮬레이션을 계속하여 얻은 보상을 의미할 수 있다.
최적 조건 탐색 모듈(132)의 Backup 단계는, 새로 추가된 잎 노드의 가치를 반영하여 시뮬레이션 중 방문한 노드들의 가치를 재평가하고 방문 빈도를 업데이트하는 단계이다. 아래 수학식은 노드 가치 재평가 및 방문 빈도 업데이트의 예시이다.
Figure pat00006
Figure pat00007
위 수학식 6에서 sL i는 i번째 시뮬레이션에서의 잎 노드를, 1(s,a,i)는 i번째 시뮬레이션에서 연결 (s,a)를 방문했는지를 나타내고, 트리 탐색이 완료되면 알고리즘은 뿌리 노드로부터 가장 많이 방문된 연결(s,a)을 선택하도록 구성될 수 있다. 본 발명의 일실시예에 따른 최적 조건 탐색 모듈(132)에 따르면 정책망에 의해 선별되는 복수의 파라미터 조건에 대해 가치망을 기초로 복수회 시뮬레이션을 선행하여 최적의 파라미터 조건을 선택할 수 있게되는 효과가 발생된다.
본 발명의 일실시예에 따르면, 복수의 에이전트(Agent)가 구성되도록 강화학습 모듈(13)가 구성될 수 있다. 복수의 에이전트가 구성되면 특정 상태, 특정 파라미터 조건 각각에 대해 파라미터 조건 설정 모듈이 설정하는 파라미터 조건이 상호 경쟁하여, 가장 최적의 추세 예측을 위한 파라미터 조건을 설정할 수 있게 되는 효과가 발생된다.
도 9는 본 발명의 일실시예에 따른 강화학습 모듈(13)의 동작예를 도시한 흐름도이다. 도 9에 도시된 바와 같이, 복수의 종목에서 추세를 예측하는 추세 예측 모듈(11)에 의해 상태 s(t)가 입력되면 가치망(131)에 의해 정책망(130)의 복수개의 에이전트(agent)들에 의해 다양한 파라미터 조건들이 최적 조건 탐색 모듈(132)에 입력되고, 최적 조건 탐색 모듈(132)에 의해 출력되는 액션(action)인 파라미터 조건 및 컨피던스(Confidence) a(t)에 의해 파라미터 조건이 진행되는 것으로 에피소드 t가 종료되고 에피소드 t+1이 시작된다. 에피소드 t+1에서는 다시 a(t)에 의한 상태 변화인 s(t+1)이 추세 예측 모듈(11)에 의해 입력되고, a(t)에 따른 보상인 r(t+1)이 곧바로 입력되어 가치망(131) 및 정책망(130)을 업데이트하게 된다.
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.
본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.
본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.
그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.
1: 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치
10: 유사 차트 분류 모듈
11: 추세 예측 모듈
12: 주문 모듈
100: 거래 데이터
101: 거래 데이터 임베딩 모듈
102: 시장 이슈 텍스트 데이터 임베딩 모듈
103: 유사 차트 분류 인공신경망 모듈
110: 제1LSTMs
111: 제2LSTM
200: 시장 이슈 텍스트 데이터
300: 주문 데이터

Claims (3)

  1. 거래 데이터 및 시장 이슈 텍스트 데이터를 기초로 추세를 분류하고 미래 추세를 예측하여 주문 데이터를 생성하도록 구성되는 프로그램 코드를 저장하는 메모리 모듈; 및
    상기 프로그램 코드를 처리하는 처리 모듈;
    을 포함하고,
    상기 프로그램 코드는,
    특정 종목의 상기 거래 데이터와 상기 시장 이슈 텍스트 데이터를 임베딩하여 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 생성하는 임베딩 단계;
    상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈에 의해 유사 차트 분류 벡터가 출력되는 유사 차트 분류 단계;
    상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs에서 상기 시계열 방향성 세트 정보가 출력되는 시계열 방향성 세트 정보 출력 단계;
    상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM에서 상기 추세 예측 정보가 출력되는 추세 예측 단계; 및
    상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 생성 단계;
    를 포함하여 컴퓨터 상에서 수행되도록 구성되는 것을 특징으로 하는,
    차트 유사도 분석을 이용한 주식 거래 인공신경망 장치.
  2. 거래 데이터 임베딩 모듈이, 특정 종목의 거래 데이터를 임베딩하여 거래 임베딩 벡터를 생성하는 거래 임베딩 단계;
    시장 이슈 텍스트 데이터 임베딩 모듈이, 상기 특정 종목의 시장 이슈 텍스트 데이터를 임베딩하여 시장 이슈 임베딩 벡터를 생성하는 시장 이슈 임베딩 단계;
    상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈이, 상기 유사 차트 분류 벡터를 출력하는 유사 차트 분류 단계;
    상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs 모듈이, 상기 시계열 방향성 세트 정보를 출력하는 시계열 방향성 세트 정보 출력 단계;
    상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM 모듈이, 상기 추세 예측 정보를 출력하는 추세 예측 단계; 및
    상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 모듈이, 상기 주문 데이터를 출력하는 주문 단계;
    를 포함하는 것을 특징으로 하는,
    차트 유사도 분석을 이용한 주식 거래 인공신경망 방법.
  3. 특정 종목의 거래 데이터를 임베딩하여 거래 임베딩 벡터를 생성하는 거래 데이터 임베딩 모듈;
    상기 특정 종목의 시장 이슈 텍스트 데이터를 임베딩하여 시장 이슈 임베딩 벡터를 생성하는 시장 이슈 텍스트 데이터 임베딩 모듈;
    상기 거래 임베딩 벡터 및 시장 이슈 임베딩 벡터를 입력 데이터로 하고 기존의 특정 구간에 대한 추세 방향성을 의미하는 유사 차트 분류 벡터를 출력 데이터로 하는 유사 차트 분류 인공신경망 모듈;
    상기 유사 차트 분류 벡터를 입력 데이터로 하고 시계열 방향성 세트 정보를 출력 데이터로 하는 복수의 순환 신경망(Recurrent Neural Network)인 복수의 제1LSTMs 모듈;
    상기 시계열 방향성 세트 정보를 입력 데이터로 하고 추세 예측 정보를 출력 데이터로 하는 순환 신경망(Recurrent Neural Network)인 제2LSTM 모듈; 및
    상기 추세 예측 정보를 기초로 상기 특정 종목을 특정 가격에서 매매하는 주문 데이터를 생성하는 주문 데이터를 생성하는 주문 모듈;
    을 포함하는 것을 특징으로 하는,
    차트 유사도 분석을 이용한 주식 거래 인공신경망 장치.

KR1020210042322A 2021-03-31 2021-03-31 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법 KR20220135949A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210042322A KR20220135949A (ko) 2021-03-31 2021-03-31 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210042322A KR20220135949A (ko) 2021-03-31 2021-03-31 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220135949A true KR20220135949A (ko) 2022-10-07

Family

ID=83595978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210042322A KR20220135949A (ko) 2021-03-31 2021-03-31 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220135949A (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020002461A (ko) 1999-05-20 2002-01-09 황규언 광학활성을 유발하는 7-피롤리딘 치환체를 갖는광학활성의 퀴놀린 카르복실산 유도체 및 그의 제조방법
KR20110011205A (ko) 2009-07-28 2011-02-08 (주)한국거래소 주식거래 상황 그래픽 처리 장치
KR102124979B1 (ko) 2019-07-31 2020-06-22 (주)크래프트테크놀로지스 증권 거래를 위한 주문 집행을 수행하는 서버 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020002461A (ko) 1999-05-20 2002-01-09 황규언 광학활성을 유발하는 7-피롤리딘 치환체를 갖는광학활성의 퀴놀린 카르복실산 유도체 및 그의 제조방법
KR20110011205A (ko) 2009-07-28 2011-02-08 (주)한국거래소 주식거래 상황 그래픽 처리 장치
KR102124979B1 (ko) 2019-07-31 2020-06-22 (주)크래프트테크놀로지스 증권 거래를 위한 주문 집행을 수행하는 서버 및 방법

Similar Documents

Publication Publication Date Title
Singh et al. How are reinforcement learning and deep learning algorithms used for big data based decision making in financial industries–A review and research agenda
Dash et al. A hybrid stock trading framework integrating technical analysis with machine learning techniques
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
Chen et al. Constructing a stock-price forecast CNN model with gold and crude oil indicators
Wang et al. DeepTrader: a deep reinforcement learning approach for risk-return balanced portfolio management with market conditions Embedding
Kamara et al. An ensemble of a boosted hybrid of deep learning models and technical analysis for forecasting stock prices
McNelis Neural networks in finance: gaining predictive edge in the market
Huge et al. Differential machine learning
Korczak et al. Deep learning for financial time series forecasting in a-trader system
Castellani Evolutionary generation of neural network classifiers—An empirical comparison
Khan et al. A study of forecasting stocks price by using deep Reinforcement Learning
Li et al. Stock trading strategies based on deep reinforcement learning
Ansari et al. A deep reinforcement learning-based decision support system for automated stock market trading
Jiang et al. An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing
Zhu et al. Self-organizing learning array and its application to economic and financial problems
Maratkhan et al. Deep learning-based investment strategy: technical indicator clustering and residual blocks
KR20220135950A (ko) 강화학습을 이용한 주식 거래 인공신경망 장치 및 방법
KR102409041B1 (ko) 액터 크리틱 모델을 이용한 포트폴리오 자산배분 강화학습방법
Fang et al. Neural network-based automatic factor construction
Sutkatti et al. Stock market forecasting techniques: A survey
Lemke et al. Self-organizing data mining for a portfolio trading system
Snow Machine learning in asset management
Necula Deep learning for distribution channels’ management
Kalaycı et al. Optimal model description of finance and human factor indices
KR20220135949A (ko) 차트 유사도 분석을 이용한 주식 거래 인공신경망 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination