KR20220093924A - 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치 - Google Patents

해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치 Download PDF

Info

Publication number
KR20220093924A
KR20220093924A KR1020200185103A KR20200185103A KR20220093924A KR 20220093924 A KR20220093924 A KR 20220093924A KR 1020200185103 A KR1020200185103 A KR 1020200185103A KR 20200185103 A KR20200185103 A KR 20200185103A KR 20220093924 A KR20220093924 A KR 20220093924A
Authority
KR
South Korea
Prior art keywords
hashtag
generation model
feature
cycle
input
Prior art date
Application number
KR1020200185103A
Other languages
English (en)
Other versions
KR102571595B1 (ko
Inventor
맹성현
강준모
김정환
신수원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200185103A priority Critical patent/KR102571595B1/ko
Publication of KR20220093924A publication Critical patent/KR20220093924A/ko
Application granted granted Critical
Publication of KR102571595B1 publication Critical patent/KR102571595B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content

Abstract

해시태그 추출 장치의 동작 방법으로서, 학습 데이터로 입력된 학습 문서들에서, 학습 문서별로 상황 자질들을 포함하는 상황 자질 리스트를 생성하는 단계, 그리고 추론 주기마다, 입력으로부터 정답으로 남아있는 해시태그 레이블들 중 하나를 추론하도록 순환 생성 모델을 학습시키는 단계를 포함한다. 상기 학습시키는 단계는 상기 추론 주기마다 상기 상황 자질 리스트와 상기 순환 생성 모델에서 이전 추론 주기까지 추론된 해시태그 열을 포함하는 입력을 생성하고, 각 추론 주기의 입력을 상기 순환 생성 모델로 제공한 후, 상기 순환 생성 모델에서 추론된 해시태그가 상기 정답으로 남아있는 해시태그 레이블들 중 하나에 해당하도록 상기 순환 생성 모델을 학습시킬 수 있다.

Description

해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING HASHTAGS BASED ON RECURRENT GENERATION MODEL WITH HASHTAG FEEDBACK}
본 발명은 해시태그 추천에 관한 것이다.
해시태그 추천은 입력된 이미지 혹은 텍스트에 가장 알맞은 해시태그 리스트를 출력하는 것으로서, 이상적으로 가장 적절한 해시태그가 리스트 내에서 가장 앞 쪽에 오는 것을 목표로 한다. 이러한 특징 때문에, 전통적인 해시태그 추천 모델은 입력에 관계된 해시태그들의 순위를 선정하는 방식(랭킹 방식)을 사용한다.
하지만, 이러한 순위 선정 방식 기반의 해시태그 추천 모델은 입력과의 관련성이 높은 해시태그 추론에 집중하기 때문에, 추론 과정에서 출력되는 해시태그들의 상호의존 관계를 명시적으로 고려하지 못하는 한계가 있다.
해결하고자 하는 과제는, 입력에 대해 출력된 해시태그를, 다음 해시태그 획득을 위한 입력으로 사용하는 해시태그 피드백 구조를 통해 해시태그들을 순차적으로 출력하는 순환 생성 모델을 학습시키고, 순환 생성 모델로부터 시간에 따라 순차적으로 출력된 해시태그 리스트를 입력에 관계된 해시태그로 추천하는 방법 및 장치를 제공하는 것이다.
해결하고자 하는 과제는, 이미지, 장소, 시간, 텍스트와 같이 서로 다른 형태의 상황 자질들(context features)을 고수준의 텍스트로 변환하고, 상황 자질들의 상호 작용을 자기-주의(Self-Attention)를 통해 초기 융합(Early Fusion)하는 방법 및 장치를 제공하는 것이다.
해결하고자 하는 과제는, 입력과 정답의 관계를 일대다(one-to-many)로 설정하여 정답에 포함된 해시태그 레이블들의 순위에 무관하게(orderlessness) 순환 생성 모델을 학습시키고, 추출 단계마다 최대 확률로 해시태그를 생성하는 그리디 서치(Greedy Search)를 통해 순환 생성 모델의 성능을 최대화하는 방법 및 장치를 제공하는 것이다.
한 실시예에 따른 해시태그 추출 장치의 동작 방법으로서, 학습 데이터로 입력된 학습 문서들에서, 학습 문서별로 상황 자질들을 포함하는 상황 자질 리스트를 생성하는 단계, 그리고 추론 주기마다, 입력으로부터 정답으로 남아있는 해시태그 레이블들 중 하나를 추론하도록 순환 생성 모델을 학습시키는 단계를 포함한다. 상기 학습시키는 단계는 상기 추론 주기마다 상기 상황 자질 리스트와 상기 순환 생성 모델에서 이전 추론 주기까지 추론된 해시태그 열을 포함하는 입력을 생성하고, 각 추론 주기의 입력을 상기 순환 생성 모델로 제공한 후, 상기 순환 생성 모델에서 추론된 해시태그가 상기 정답으로 남아있는 해시태그 레이블들 중 하나에 해당하도록 상기 순환 생성 모델을 학습시킨다.
상기 순환 생성 모델은 상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 입력된 정보들이 내부에서 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 상기 [MASK] 토큰의 위치에서 출력하고, 출력한 해시태그를 포함하는 해시태그 열을 다음 추론 주기에 입력받는 언어모델일 수 있다.
상기 상황 자질 리스트는 텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함할 수 있다.
상기 상황 자질 리스트를 생성하는 단계는 각 학습 문서에 포함된 이미지를 문장 형태의 텍스트로 변환하여 텍스트 형태의 이미지 자질을 생성할 수 있다.
상기 상황 자질 리스트를 생성하는 단계는 각 학습 문서에서 사용자에 의해 입력되거나 선택된 고수준의 장소 정보를 장소 자질로 생성할 수 있다.
상기 상황 자질 리스트를 생성하는 단계는 각 학습 문서에 포함된 시간 정보를 계절, 요일, 그리고 시간대 중 적어도 하나로 변환한 시간 자질을 생성할 수 있다.
상기 동작 방법은 해시태그 추천이 요청된 타겟 문서를 입력받는 단계, 상기 타겟 문서에 포함된 상황 자질들을 포함하는 상기 타겟 문서의 상황 자질 리스트를 생성하는 단계, 상기 타겟 문서의 상황 자질 리스트와 학습된 상기 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을 포함하는 입력을, 상기 순환 생성 모델로 반복적으로 입력하는 단계, 그리고 상기 순환 생성 모델에서의 해시태그 추론이 종료하면, 추론 주기마다 상기순환 생성 모델에서 생성된 해시태그들을 출력하는 단계를 더 포함할 수 있다.
다른 실시예에 따른 해시태그 추출 장치의 동작 방법으로서, 해시태그 추천이 요청된 타겟 문서를 입력받는 단계, 상기 타겟 문서로부터 추출한 정보를 이용하여, 텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함하는 상황 자질 리스트를 생성하는 단계, 상기 상황 자질 리스트와 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을, 현재 추론 주기의 입력으로 생성하고, 상기 현재 추론 주기의 입력을 상기 순환 생성 모델로 입력하는 과정을 반복하는 단계, 그리고 상기 순환 생성 모델에서의 해시태그 추론이 종료하면, 추론 주기마다 상기 순환 생성 모델에서 생성된 해시태그들을 상기 타겟 문서의 추천 리스트로 출력하는 단계를 포함한다.
상기 순환 생성 모델은 상기 상황 자질 리스트와 이전 추론 주기까지 생성된 해시태그 열을 내부에서 양방향 인코딩하고, 양방향 인코딩으로 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 생성하는 언어모델일 수 있다.
상기 순환 생성 모델은 상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 상기 [MASK] 토큰의 위치에서, 상기 상황 자질 리스트와 상기 해시태그 열이 융합된 결과에 따라 추론된 상기 하나의 해시태그를 출력할 수 있다.
한 실시예에 따른 해시태그 추출 장치로서, 명령어들을 포함하는 메모리, 그리고 상기 명령어들을 실행하여 입력된 문서의 해시태그들을 추천하는 프로세서를 포함한다. 상기 프로세서는 상기 문서로부터 추출한 정보를 이용하여, 텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함하는 상황 자질 리스트를 생성하고, 상기 상황 자질 리스트와 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을, 현재 추론 주기의 입력으로 생성하며, 상기 현재 추론 주기의 입력을 상기 순환 생성 모델로 입력하는 과정을 반복한 후, 추론 주기마다 상기 순환 생성 모델에서 생성된 해시태그들을 출력한다.
상기 순환 생성 모델은 상기 상황 자질 리스트와 이전 추론 주기까지 생성된 해시태그 열을 내부에서 양방향 인코딩하고, 양방향 인코딩으로 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 생성하는 언어모델일 수 있다.
상기 순환 생성 모델은 상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 상기 [MASK] 토큰의 위치에서, 상기 상황 자질 리스트와 상기 해시태그 열이 융합된 결과에 따라 추론된 상기 하나의 해시태그를 출력할 수 있다.
상기 프로세서는 상기 문서에 포함된 이미지가 포함된 경우, 상기 이미지를 문장 형태의 텍스트로 변환하여 상기 텍스트 형태의 이미지 자질을 생성하고, 상기 문서에 사용자에 의해 입력되거나 선택된 고수준의 장소 정보가 포함된경우, 상기 장소 정보를 상기 장소 자질로 생성하고, 상기 문서에 시간 정보가 포함된 경우, 상기 시간 정보를 계절, 요일, 그리고 시간대 중 적어도 하나로 변환한 시간 자질을 생성할 수 있다.
실시예에 따르면 상호의존 관계(inter-dependency)를 가진 해시태그들을 추출할 수 있다.
실시예에 따르면 각종 소셜 미디어 서비스에서 게시물을 업로드한 사용자에게 게시물에 적합한 해시태그들을 자동 추천할 수 있다.
실시예에 따르면 게시물의 해시태그 추출 이외에도, 문서의 키워드 추출 및 문서 요약에 사용될 수 있고, 정보 검색 시스템에서 질의 확장 기술로서 사용될 수 있다.
도 1은 순위 기반 해시태그 추출 모델을 개념적으로 설명하는 도면이다.
도 2는 본 개시에 따른 해시태그 피드백 기반 순환 생성 모델을 개념적으로 설명하는 도면이다.
도 3은 본 개시에 따른 BERT 기반 순환 생성 모델의 동작을 설명하는 도면이다.
도 4는 한 실시예에 따른 해시태그 추출 장치의 구성도이다.
도 5는 한 실시예에 따른 순환 생성 모델의 학습 방법의 흐름도이다.
도 6은 한 실시예에 해시태그 추출 방법의 흐름도이다.
도 7은 한 실시예에 따른 해시태그 추출 장치의 하드웨어 구성도이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
설명에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
설명에서, "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.
설명에서, 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
설명에서, 흐름도에 기재된 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다.
설명에서, "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
설명에서, 장치는 적어도 하나의 프로세서가 명령어들(instructions)을 실행함으로써, 본 개시의 동작을 수행할 수 있도록 구성 및 연결된다. 컴퓨터 프로그램은 프로세서가 본 개시의 동작을 실행하도록 기술된 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장될 수 있다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다.
본 개시의 “모델”은 적어도 하나의 태스크(task)를 학습하는 기계학습모델(machine learning model)로서, 프로세서에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다. 본 개시의 “모델”은 입력 데이터, 태스크 종류, 학습 방법 등에 맞게, 다양한 인공지능(Artificial Intelligence, AI) 모델을 이용하여 구성될 수 있다. 본 개시에서는, 사전 학습된 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)를 사용하는 것으로 설명하나, 본 개시에서 설명한 방법으로 동작 가능한 다른 언어모델이 사용될 수 있다.
본 개시에서 “해시태그(hashtag)”는 소셜 미디어 서비스의 게시물에 해시기호(#)와 함께 태깅되는 태그만을 의미하는 것은 아니고, 각종 문서에 태깅되는 메타데이터를 의미할 수 있고, 간단히 태그로 부르거나, 요약어, 검색어(키워드)로 부를 수 있다.
도 1은 순위 기반 해시태그 추출 모델을 개념적으로 설명하는 도면이다.
도 1을 참고하면, 전통적인 해시태그 추천 모델은 입력인 상황(Context)에 관계된 해시태그들을 순위에 따라 출력하는 랭킹 모델(Rank Model)(10)일 수 있다. 랭킹 모델(10)이 해시태그들의 순위를 선정하는 방법은 다양할 수 있다.
랭킹 모델(10)은 대표적으로, 입력 임베딩과 해시태그들의 임베딩을 같은 공간에 사상하는 방식으로 순위를 선정할 수 있다. 이 방식의 랭킹 모델은 주어진 입력에 관련이 있는 태그의 거리를 가깝게 만들고, 관련이 없는 태그의 거리를 멀어지게 만드는 학습을 한 후, 추론 과정에서 입력에 대해 거리가 가장 가까운 N개의 태그들을 출력할 수 있다.
또 다른 방식으로, 랭킹 모델(10)은 입력에 대해 지정된 개수만큼의 해시태그들을 출력하고, 확률과 같은 점수를 기초로 해시태그 순위를 직접 선정할 수 있다.
하지만, 이러한 랭킹 모델(10)은 순위 선정 방식 기반으로 해시태그를 추천하기 때문에, 입력과의 관련성이 높은 해시태그들을 독립적으로 추론한다. 따라서, 추론 과정에서 출력되는 해시태그들이 상호의존 관계를 고려하여 추출되는 것은 아니다. 다음에서 랭킹 모델(10)에서 추출되는 해시태그들의 한계를 극복하기 위해 상호의존 관계를 가지는 해시태그들을 추출하는 방법에 대해 설명한다.
도 2는 본 개시에 따른 해시태그 피드백 기반 순환 생성 모델을 개념적으로 설명하는 도면이고, 도 3은 본 개시에 따른 BERT 기반 순환 생성 모델의 동작을 설명하는 도면이다.
도 2를 참고하면, 해시태그 피드백 기반 순환 생성 모델(Recurrent Generation Model)(100)은 입력에 대해 하나의 해시태그를 출력하고, 출력된 해시태그를 다음 해시태그 획득을 위한 입력으로 사용하는 순환 피드백 구조를 가진다.
순환 생성 모델(100)은 주기마다 하나의 해시태그를 출력하고, 순차적으로 출력된 #Tag1 #Tag2 #Tag 3 … #TagN이 입력에 대한 해시태그 리스트로 제공될 수 있다. 순환 생성 모델(100)은 이전 주기들에서 출력된 해시태그들을 사용하여 이번 주기의 해시태그를 출력하므로, 순환 생성 모델(100)을 통해 추출된 해시태그들은 상호의존 관계를 가지도록 연관된다.
순환 생성 모델(100)은 상황 자질들(context features), 그리고 이전에 생성된 해시태그들을 입력받고, 입력으로부터 해시태그를 추론하는 태스크를 학습한다. 예를 들어, 해시태그를 생성할 문서가 인스타그램 등의 소셜 미디어에 게시된 게시물인 경우, 게시물은 이미지, 장소, 시간, 텍스트로 구성될 수 있다. 그러면, 이미지, 장소, 시간, 텍스트와 같이 서로 다른 형태의 상황 자질들은 모두 텍스트로 전처리되어 순환 생성 모델(100)로 입력된다.
문서에 포함된 이미지는, 이미지를 설명하는 문장 형태의 텍스트(예를 들면, 사과를 먹는 사람)로 변환된 후, 순환 생성 모델(100)로 입력된다. 이미지를 설명하는 텍스트는 이미지 캡셔닝(image captioning) 기술을 사용하여 이미지로부터 추출될 수 있다. 예를 들면, 이미지 캡셔닝 기술은 Microsoft Azure Computer Vision API에 의해 제공될 수 있다.
장소 자질은 저수준의 GPS 정보 대신, 위치를 나타내는 텍스트(예를 들면, My home, XX National Park)를 의미한다. 따라서, 사용자가 입력하거나 선택한 고수준의 장소 자질이 순환 생성 모델(100)로 입력될 수 있다. 또는 장소 자질은 문서에 포함된 GPS 정보와 지도 정보로부터 추론되고, 추론된 장소 자질이 순환 생성 모델(100)로 입력될 수 있다.
시간 자질은 계절, 요일, 시간대로 변환된 텍스트를 의미한다. 예를 들면, 문서에 포함된 시간 표현인 “2020-07-01 (Wed) 14:52:00”은 “Summer, Weekend, Afternoon”으로 변환된 후, 순환 생성 모델(100)로 입력될 수 있다.
텍스트 자질은 문서에 기재된 텍스트 설명으로서, 텍스트 그대로 순환 생성 모델(100)로 입력되거나, 적정한 길이나 내용으로 편집된 후 순환 생성 모델(100)로 입력될 수 있다.
도 3을 참고하면, 순환 생성 모델(100)은 사전 학습된 언어모델인 BERT(Bidirectional Encoder Representations from Transformers)를 사용할 수 있다. BERT는 대량의 웹 말뭉치 데이터를 사용해 사전 학습된 언어모델로서, 자기-주의(Self-Attention)를 통해 내부적으로 양방향 인코딩을 제공할 수 있다. 순환 생성 모델(100)은 BERT의 텍스트 처리 능력을 최대한 활용하기 위해 서로 다른 형태의 자질들을 고수준의 텍스트 형태로 변환하고, 자기-주의를 통해 초기부터 상호작용을 통한 정보 융합(Early Fusion) 방식으로 입력 정보를 인코딩할 수 있다.
순환 생성 모델(100)의 입력은, 이미지 자질, 장소 자질, 시간 자질, 텍스트 자질로 구성된 상황 자질 리스트 그리고 입력의 맨끝에 부가되는 [MASK] 토큰으로 구성되고, 상황 자질 리스트와 [MASK] 토큰 사이에는, 이전에 생성된 해시태그들이 포함된다.
s번째 주기에 순환 생성 모델(100)로 입력되는 입력 Is는 수학식 1과 같이 표현될 수 있다. 수학식 1에서, C는 상황 자질 리스트이고,
Figure pat00001
는 (s-1)번째 주기까지 생성된 해시태그 열(
Figure pat00002
)일 수 있다.
Figure pat00003
상황 자질 리스트 C는 이미지 자질, 장소 자질, 시간 자질, 텍스트 자질로 구성되는 [img,loc,time,txt]로 구성될 수 있고, 각 자질들은 수학식 2와 같이 해당 자질을 구분할 수 있는 구분자 [IMG], [LOC], [TIME], [SEP]와 함께 입력된다.
Figure pat00004
입력 Is에 포함된 정보들은 BERT 기반 순환 생성 모델(100)을 통과하면서 [MASK] 토큰으로 융합되고, [MASK] 토큰 위치에서 s번째 해시태그
Figure pat00005
가 출력된다. 순환 생성 모델(100)은 입력 Is에 대해 가능한 해시태그들 중에서, 최대 확률을 가지는 해시태그
Figure pat00006
를 출력한다. 출력된
Figure pat00007
는, 해시태그 열
Figure pat00008
에 추가되고, (s+1)번째 주기의 입력 Is+1에 사용된다.
도 4는 한 실시예에 따른 해시태그 추출 장치의 구성도이다.
도 4를 참고하면, 해시태그 추출 장치(200)는 전처리기(210), 순환 생성 모델(100)을 학습시키는 학습기(230), 그리고 학습된 순환 생성 모델(100)을 이용하여 타겟 문서에 해시태그 리스트를 추천하는 해시태그 추천기(250)를 포함할 수 있다.
전처리기(210), 학습기(230), 해시태그 추천기(250), 그리고 순환 생성 모델(100)은 적어도 하나의 프로세서에 의해 동작할 수 있다. 해시태그 추출 장치(200)를 구성하는 일부 장치는 분리되어 구현될 수 있는데, 설명의 편의를 위해 통합 구현된 것으로 설명한다. 예를 들면, 해시태그 추천기(250)는 학습 완료된 순환 생성 모델(100)과 연동하면 되므로, 순환 생성 모델(100)을 학습시키는 학습기(230)와 항상 함께 구현될 필요가 없다.
전처리기(210)는 게시물 등의 문서에 포함된 서로 다른 형태의 상황 자질들을 순환 생성 모델(100)의 입력에 사용되는 텍스트로 변환하고, 텍스트로 변환된 상황 자질들을 구분자로 구분한 후, 전처리한 상황 자질 리스트를 학습기(230) 또는 해시태그 추천기(250)로 전달한다. 상황 자질 리스트는 이미지 자질, 장소 자질, 시간 자질, 텍스트 자질 중 적어도 일부 자질을 포함할 수 있다.
학습기(230)는 학습 데이터(training data)의 상황 자질 리스트, 그리고 이의 정답(ground truth)인 해시태그 레이블들을 이용하여 순환 생성 모델(100)을 학습시킨다. 학습기(230)는 입력에 대한 레이블들을 일대다(one-to-many, 1-to-M) 관계로 설정하고, 순환 생성 모델(100)의 출력값이, 정답으로 남아있는 해시태그 레이블들 중 어느 하나가 되도록 학습시킬 수 있다.
일반적인 언어 생성은 언어의 추출 순서가 중요한 반면, 해시태그 생성은 해시태그의 추출 순서가 정해질 필요가 없다. 예를 들어, 어느 문서에서 태그1, 태그2의 순서로 등장했다고 할지라도, 다른 문서에서도 이러한 순서로 등장한다는 보장이 없다. 즉 태그1 다음에, 반드시 태그2가 나올 필요가 없으며, 태그2, 태그3, 태그4, …, 태그N 모두가 정답이 될 수 있다. 따라서, 학습기(230)는 입력에 대한 레이블들을 일대다(1-to-M) 관계로 설정하고, 순환 생성 모델(100)을 학습시킨다.
학습기(230)의 학습 방법은 다음과 같다.
학습 데이터의 상황 정보 리스트 C와 이의 정답인 N개의 해시태그 레이블들이 주어진 경우, 학습기(230)는 수학식 3과 같이 N개의 학습 인스턴스들(training instances)을 생성한다.
Figure pat00009
학습기(230)는 이전 주기에 생성된 해시태그 열을 포함하는 학습 인스턴스를 순환 생성 모델(100)로 입력하고, 입력으로부터 해시태그를 추론하는 태스크를 수행하도록 순환 생성 모델(100)를 학습시킨다.
순환 생성 모델(100)의 [MASK] 토큰의 표현 결과인 h[MASK]는 분류기인 완전 연결 소프트맥스 레이어(fully-conneted softmax layer)로 전달된다. 완전 연결 소프트맥스 레이어는 입력 학습 인스턴스에 대해 순환 생성 모델(100)에서 추론된 해시태그들을, 해시태그 사전 공간에서의 확률 분포로 표시하고, 최대 확률의 해시태그가 남아있는 해시태그 레이블들 중 하나와 일치하는지 판단한다. 이때, 일반적인 언어 생성에서 사용되는 빔 서치(Beam Search) 대신, 학습기(230)는 추출 단계마다 최대 확률로 해시태그를 생성하는 그리디 서치(Greedy Search)를 통해 순환 생성 모델(100)의 성능을 최대화한다. 일반적인 언어 생성은 순차적으로 추론되는 단어들의 순차적인 연결 가능성이 중요한 반면, 해시태그 생성은 추론되는 해시태그들 간의 관련성이 중요하므로, 추출 단계마다 최대 확률로 해시태그를 생성하는 특징이 있다.
이를 통해, 순환 생성 모델(100)은 (i-1)개의 해시태그들을 포함하는 학습 인스턴스로부터 i번째 해시태그를 추론하는데, i번째 해시태그가 [N-(i-1)]개의 해시태그 레이블들 중 하나에 해당하도록 만드는 태스크를 학습한다.
해시태그 추천기(250)는 학습된 순환 생성 모델(100)을 이용하여 타겟 문서에 해시태그 리스트를 추천한다. 해시태그 추천기(250)는 전처리기(210)로부터 타겟 문서의 상황 자질 리스트를 획득하고, 상황 자질 리스트와 순환 생성 모델(100)에서 이전 주기까지 생성된 해시태그 열을 포함하는 입력을, 순환 생성 모델(100)로 반복적으로 입력한 후, 순환 생성 모델(100)에서 순차적으로 생성된 해시태그들을 획득할 수 있다.
도 5는 한 실시예에 따른 순환 생성 모델의 학습 방법의 흐름도이다.
도 5를 참고하면, 해시태그 추출 장치(200)는 학습 데이터로 입력된 학습 문서들에서, 학습 문서별로 해당 학습 문서에 포함된 서로 다른 형태의 상황 자질들을 텍스트로 변환하고, 텍스트로 변환된 상황 자질들을 포함하는 상황 자질 리스트를 생성한다(S110). 상황 자질 리스트는 이미지 자질, 장소 자질, 시간 자질, 텍스트 자질 중 적어도 일부 자질을 포함할 수 있다. 이때, 해시태그 추출 장치(200)는 이미지를 설명하는 문장 형태의 텍스트로 이미지 자질을 생성할 수 있다. 해시태그 추출 장치(200)는 문서에서 사용자에 의해 입력되거나 선택된 고수준의 장소 정보를 장소 자질로 생성할 수 있다. 해시태그 추출 장치(200)는 문서에 포함된 시간 정보를 계절, 요일, 시간대로 변환한 시간 자질을 생성할 수 있다.
해시태그 추출 장치(200)는 상황 자질 리스트와 이전 주기까지 추론된 해시태그 열을 포함하는 입력을 순차적으로 생성하고, 각 입력으로부터 정답으로 남아있는 해시태그 레이블들 중 하나를 추론하는 태스크를 수행하도록 순환 생성 모델(100)을 학습시킨다(S120). 순환 생성 모델(100)은 BERT 기반 언어모델일 수 있고, 해시태그 피드백 구조를 가지를 수 있다.
해시태그 추출 장치(200)는 순환 생성 모델(100)의 학습 완료 여부를 판단하고(S130), 학습 완료 전이면 학습을 계속하고, 학습 완료된 경우, 학습 완료된 순환 생성 모델(100)을 출력한다(S140).
도 6은 한 실시예에 해시태그 추출 방법의 흐름도이다.
도 6을 참고하면, 해시태그 추출 장치(200)는 해시태그 추천이 요청된 타겟 문서를 입력받는다(S210).
해시태그 추출 장치(200)는 타겟 문서에 포함된 상황 자질들을 텍스트로 변환하고, 텍스트로 변환된 상황 자질들을 포함하는 상황 자질 리스트를 생성한다(S220).
해시태그 추출 장치(200)는 상황 자질 리스트 그리고 학습된 순환 생성 모델(100)에서 이전 주기까지 생성된 해시태그 열을, 순환 생성 모델(100)로 반복적으로 입력한다(S230).
해시태그 추출 장치(200)는 순환 생성 모델(100)에서의 해시태그 추론이 종료하면, 추론 주기마다 순환 생성 모델(100)에서 생성된 해시태그들을 포함하는 해시태그 리스트를 출력한다(S240). 해시태그 리스트는 타겟 문서의 해시태그로서 추천될 수 있다.
도 7은 한 실시예에 따른 해시태그 추출 장치의 하드웨어 구성도이다.
도 7을 참고하면, 해시태그 추출 장치(200)는 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치로 구현될 수 있다. 해시태그 추출 장치(200)는 하나 이상의 프로세서(21), 프로세서(21)에 의하여 수행되는 컴퓨터 프로그램을 로드하는 메모리(23), 컴퓨터 프로그램 및 각종 데이터를 저장하는 저장 장치(25), 통신 인터페이스(27), 그리고 이들을 연결하는 버스(29)를 포함할 수 있다. 이외에도, 해시태그 추출 장치(200)는 다양한 구성 요소가 더 포함될 수 있다.
프로세서(21)는 해시태그 추출 장치(200)의 동작을 제어하는 장치로서, 컴퓨터 프로그램에 포함된 명령어들을 처리하는 다양한 형태의 프로세서일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다.
메모리(23)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(23)는 본 개시의 동작을 실행하도록 기술된 명령어들이 프로세서(21)에 의해 처리되도록 해당 컴퓨터 프로그램을 저장 장치(25)로부터 로드할 수 있다. 메모리(23)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다.
저장 장치(25)는 컴퓨터 프로그램, 각종 데이터를 비임시적으로 저장할 수 있다. 저장 장치(25)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
통신 인터페이스(27)는 유/무선 통신을 지원하는 유/무선 통신 모듈일 수 있다.
버스(29)는 해시태그 추출 장치(200)의 구성 요소 간 통신 기능을 제공한다.
컴퓨터 프로그램은, 프로세서(21)에 의해 실행되는 명령어들(instructions)을 포함하고, 비일시적-컴퓨터 판독가능 저장매체(non-transitory computer readable storage medium)에 저장되며, 명령어들은 프로세서(21)가 본 개시의 동작을 실행하도록 만든다. 컴퓨터 프로그램은 네트워크를 통해 다운로드되거나, 제품 형태로 판매될 수 있다. 순환 생성 모델(100)은 프로세서(21)에 의해 실행되는 컴퓨터 프로그램으로 구현될 수 있다.
이와 같이, 실시예에 따르면 상호의존 관계(inter-dependency)를 가진 해시태그들을 추출할 수 있다. 실시예에 따르면 각종 소셜 미디어 서비스에서 게시물을 업로드한 사용자에게 게시물에 적합한 해시태그들을 자동 추천할 수 있다. 실시예에 따르면 게시물의 해시태그 추출 이외에도, 문서의 키워드 추출 및 문서 요약에 사용될 수 있고, 정보 검색 시스템에서 질의 확장 기술로서 사용될 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 해시태그 추출 장치의 동작 방법으로서,
    학습 데이터로 입력된 학습 문서들에서, 학습 문서별로 상황 자질들을 포함하는 상황 자질 리스트를 생성하는 단계, 그리고
    추론 주기마다, 입력으로부터 정답으로 남아있는 해시태그 레이블들 중 하나를 추론하도록 순환 생성 모델을 학습시키는 단계를 포함하고,
    상기 학습시키는 단계는
    상기 추론 주기마다 상기 상황 자질 리스트와 상기 순환 생성 모델에서 이전 추론 주기까지 추론된 해시태그 열을 포함하는 입력을 생성하고, 각 추론 주기의 입력을 상기 순환 생성 모델로 제공한 후, 상기 순환 생성 모델에서 추론된 해시태그가 상기 정답으로 남아있는 해시태그 레이블들 중 하나에 해당하도록 상기 순환 생성 모델을 학습시키는, 동작 방법.
  2. 제1항에서,
    상기 순환 생성 모델은
    상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 입력된 정보들이 내부에서 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 상기 [MASK] 토큰의 위치에서 출력하고, 출력한 해시태그를 포함하는 해시태그 열을 다음 추론 주기에 입력받는 언어모델인, 동작 방법.
  3. 제1항에서,
    상기 상황 자질 리스트는
    텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함하는, 동작 방법.
  4. 제1항에서,
    상기 상황 자질 리스트를 생성하는 단계는
    각 학습 문서에 포함된 이미지를 문장 형태의 텍스트로 변환하여 텍스트 형태의 이미지 자질을 생성하는, 동작 방법.
  5. 제1항에서,
    상기 상황 자질 리스트를 생성하는 단계는
    각 학습 문서에서 사용자에 의해 입력되거나 선택된 고수준의 장소 정보를 장소 자질로 생성하는, 동작 방법.
  6. 제1항에서,
    상기 상황 자질 리스트를 생성하는 단계는
    각 학습 문서에 포함된 시간 정보를 계절, 요일, 그리고 시간대 중 적어도 하나로 변환한 시간 자질을 생성하는, 동작 방법.
  7. 제1항에서,
    해시태그 추천이 요청된 타겟 문서를 입력받는 단계,
    상기 타겟 문서에 포함된 상황 자질들을 포함하는 상기 타겟 문서의 상황 자질 리스트를 생성하는 단계,
    상기 타겟 문서의 상황 자질 리스트와 학습된 상기 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을 포함하는 입력을, 상기 순환 생성 모델로 반복적으로 입력하는 단계, 그리고
    상기 순환 생성 모델에서의 해시태그 추론이 종료하면, 추론 주기마다 상기순환 생성 모델에서 생성된 해시태그들을 출력하는 단계
    를 더 포함하는 동작 방법.
  8. 해시태그 추출 장치의 동작 방법으로서,
    해시태그 추천이 요청된 타겟 문서를 입력받는 단계,
    상기 타겟 문서로부터 추출한 정보를 이용하여, 텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함하는 상황 자질 리스트를 생성하는 단계,
    상기 상황 자질 리스트와 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을, 현재 추론 주기의 입력으로 생성하고, 상기 현재 추론 주기의 입력을 상기 순환 생성 모델로 입력하는 과정을 반복하는 단계, 그리고
    상기 순환 생성 모델에서의 해시태그 추론이 종료하면, 추론 주기마다 상기 순환 생성 모델에서 생성된 해시태그들을 상기 타겟 문서의 추천 리스트로 출력하는 단계
    를 포함하는 동작 방법.
  9. 제8항에서,
    상기 순환 생성 모델은
    상기 상황 자질 리스트와 이전 추론 주기까지 생성된 해시태그 열을 내부에서 양방향 인코딩하고, 양방향 인코딩으로 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 생성하는 언어모델인, 동작 방법.
  10. 제9항에서,
    상기 순환 생성 모델은
    상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 상기 [MASK] 토큰의 위치에서, 상기 상황 자질 리스트와 상기 해시태그 열이 융합된 결과에 따라 추론된 상기 하나의 해시태그를 출력하는, 동작 방법.
  11. 해시태그 추출 장치로서,
    명령어들을 포함하는 메모리, 그리고
    상기 명령어들을 실행하여 입력된 문서의 해시태그들을 추천하는 프로세서를 포함하고,
    상기 프로세서는
    상기 문서로부터 추출한 정보를 이용하여, 텍스트 형태의 이미지 자질, 장소 자질, 시간 자질, 그리고 텍스트 자질 중 적어도 일부를 포함하는 상황 자질 리스트를 생성하고,
    상기 상황 자질 리스트와 순환 생성 모델에서 이전 추론 주기까지 생성된 해시태그 열을, 현재 추론 주기의 입력으로 생성하며, 상기 현재 추론 주기의 입력을 상기 순환 생성 모델로 입력하는 과정을 반복한 후, 추론 주기마다 상기 순환 생성 모델에서 생성된 해시태그들을 출력하는, 해시태그 추출 장치.
  12. 제11항에서,
    상기 순환 생성 모델은
    상기 상황 자질 리스트와 이전 추론 주기까지 생성된 해시태그 열을 내부에서 양방향 인코딩하고, 양방향 인코딩으로 융합된 결과에 따라 최대 확률로 추론된 하나의 해시태그를 생성하는 언어모델인, 해시태그 추출 장치.
  13. 제11항에서,
    상기 순환 생성 모델은
    상기 상황 자질 리스트, 상기 해시태그 열, 그리고 [MASK] 토큰을 입력받고, 상기 [MASK] 토큰의 위치에서, 상기 상황 자질 리스트와 상기 해시태그 열이 융합된 결과에 따라 추론된 상기 하나의 해시태그를 출력하는, 해시태그 추출 장치.
  14. 제11항에서,
    상기 프로세서는
    상기 문서에 포함된 이미지가 포함된 경우, 상기 이미지를 문장 형태의 텍스트로 변환하여 상기 텍스트 형태의 이미지 자질을 생성하고,
    상기 문서에 사용자에 의해 입력되거나 선택된 고수준의 장소 정보가 포함된경우, 상기 장소 정보를 상기 장소 자질로 생성하고,
    상기 문서에 시간 정보가 포함된 경우, 상기 시간 정보를 계절, 요일, 그리고 시간대 중 적어도 하나로 변환한 시간 자질을 생성하는, 해시태그 추출 장치.
KR1020200185103A 2020-12-28 2020-12-28 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치 KR102571595B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200185103A KR102571595B1 (ko) 2020-12-28 2020-12-28 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200185103A KR102571595B1 (ko) 2020-12-28 2020-12-28 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220093924A true KR20220093924A (ko) 2022-07-05
KR102571595B1 KR102571595B1 (ko) 2023-08-28

Family

ID=82401789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200185103A KR102571595B1 (ko) 2020-12-28 2020-12-28 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102571595B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240330B1 (ko) * 2012-07-16 2013-03-11 한국과학기술정보연구원 다차원 문서 분류 시스템 및 방법
KR20170004154A (ko) * 2015-07-01 2017-01-11 네이버 주식회사 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템
KR101782590B1 (ko) * 2016-05-23 2017-10-23 주식회사 즐라이몬스터 이미지 분석기반의 관계형 태그생성 및 추천 방법
KR20190063978A (ko) * 2017-11-30 2019-06-10 굿모니터링 주식회사 비정형 데이터의 카테고리 자동분류 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240330B1 (ko) * 2012-07-16 2013-03-11 한국과학기술정보연구원 다차원 문서 분류 시스템 및 방법
KR20170004154A (ko) * 2015-07-01 2017-01-11 네이버 주식회사 문서를 이미지 기반 컨텐츠로 요약하여 제공하는 방법 및 시스템
KR101782590B1 (ko) * 2016-05-23 2017-10-23 주식회사 즐라이몬스터 이미지 분석기반의 관계형 태그생성 및 추천 방법
KR20190063978A (ko) * 2017-11-30 2019-06-10 굿모니터링 주식회사 비정형 데이터의 카테고리 자동분류 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김선민 외 1명, "딥러닝을 이용한 이미지 레이블 추출 기반 해시태그 추천 시스템 설계 및 구현", 한국전자통신학회논문지 Volume 15 Issue 4, 2020.08., pp.709-716. 1부.* *

Also Published As

Publication number Publication date
KR102571595B1 (ko) 2023-08-28

Similar Documents

Publication Publication Date Title
Mathews et al. Semstyle: Learning to generate stylised image captions using unaligned text
US11743551B2 (en) Video caption generating method and apparatus, device, and storage medium
AU2022255037B2 (en) Linguistically-driven automated text formatting
JP6871809B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3885966B1 (en) Method and device for generating natural language description information
CN111263238B (zh) 基于人工智能的生成视频评论的方法及设备
CN111434118B (zh) 用户感兴趣信息生成的装置和方法
WO2023029501A1 (zh) 智能问诊方法、装置、电子设备及存储介质
CN116932708A (zh) 大语言模型驱动的开放域自然语言推理问答系统及方法
CN114648032A (zh) 语义理解模型的训练方法、装置和计算机设备
US20230123328A1 (en) Generating cascaded text formatting for electronic documents and displays
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN110750669B (zh) 一种图像字幕生成的方法及系统
KR102571595B1 (ko) 해시태그 피드백 구조의 순환 생성 모델 기반 해시태그 추출 방법 및 장치
CN112035633A (zh) 数据处理方法、装置、对话设备及存储介质
CN115438210A (zh) 文本图像生成方法、装置、终端及计算机可读存储介质
CN111368531B (zh) 翻译文本处理方法、装置、计算机设备和存储介质
CN114331932A (zh) 目标图像生成方法和装置、计算设备以及计算机存储介质
CN111428005A (zh) 标准问答对确定方法、装置及电子设备
JP7359196B2 (ja) 情報処理装置、情報処理方法、及び、情報処理プログラム
KR20220062986A (ko) 비지도 기반 질의 생성 모델의 학습 방법 및 장치
CN116186312A (zh) 用于数据敏感信息发现模型的多模态数据增强方法
CN117828054A (zh) 一种基于人工智能的心理知识图谱的对话方法及设备
CN115982313A (zh) 信息处理方法、装置、计算机设备和存储介质
CN116562261A (zh) 内容挖掘方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant