WO2020117028A1 - 질의 응답 장치 및 방법 - Google Patents

질의 응답 장치 및 방법 Download PDF

Info

Publication number
WO2020117028A1
WO2020117028A1 PCT/KR2019/017311 KR2019017311W WO2020117028A1 WO 2020117028 A1 WO2020117028 A1 WO 2020117028A1 KR 2019017311 W KR2019017311 W KR 2019017311W WO 2020117028 A1 WO2020117028 A1 WO 2020117028A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature vector
data
question
shot
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/017311
Other languages
English (en)
French (fr)
Inventor
장병탁
최성호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SNU R&DB Foundation
Original Assignee
Seoul National University R&DB Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University R&DB Foundation filed Critical Seoul National University R&DB Foundation
Priority to CN201980031584.XA priority Critical patent/CN112106043B/zh
Priority to US17/057,793 priority patent/US11379519B2/en
Priority claimed from KR1020190162788A external-priority patent/KR102211939B1/ko
Publication of WO2020117028A1 publication Critical patent/WO2020117028A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the embodiments disclosed herein relate to a hierarchical video story modeling and a query response device and method to respond to a query targeting a video using the hierarchical video story modeling.
  • VQA Visual Question Answering
  • the question and answer problem of video story is evaluated as a field that is difficult to solve due to the characteristics of the video itself that contains a lot of information different from simple images and the difficulty of the problem due to various types of queries coming from the characteristic. .
  • the above-described background technology is technical information acquired by the inventor for the derivation of the present invention or acquired in the derivation process of the present invention, and is not necessarily a known technology disclosed to the general public before filing the present invention. .
  • the embodiments disclosed herein are intended to present a device and method for querying and answering questions.
  • the embodiments disclosed in the present specification have an object to provide a query response device and method for performing a question and answer on a video story using attention according to a query.
  • the embodiments disclosed herein have an object to propose a question and answer apparatus and method for modeling a video story hierarchically and performing question and answer based thereon.
  • the embodiments disclosed in the present specification provide a query response device and method for performing appropriate responses to queries by classifying speakers or emotions by using audio information included in a video data set together with image frames and subtitle information. Has its purpose.
  • the question and answer method performed by the question and answering apparatus includes: classifying image frames, audio data, and subtitle data included in video data of the data set into shot units based on the same single subtitle; Extracting a shot feature vector by calculating a feature vector of each image frame, audio data, and subtitle data included in the shot; Extracting a feature vector of each of question data and a plurality of option data corresponding to the question data from a pair of question and answer included in the data set; Calculating video feature vectors by inputting the shot feature vectors into a plurality of layers of neural networks, and then adding and summing the calculated attention weights based on the query data to the output vectors of each layer; And selecting a final answer from the plurality of option data based on the similarity between the video feature vector and the option feature vector.
  • any one of the problem solving means of the present invention it is possible to present a query answering apparatus and method for performing a question and answer on a video story using attention based on a query.
  • any one of the problem solving means of the present invention it is possible to present a question and answer apparatus and method for modeling a video story hierarchically and performing question and answer based thereon.
  • an apparatus and method for answering a query using audio information included in a video data set together with image frame and subtitle information to classify a speaker or emotion to perform an appropriate response to a query Can be presented.
  • FIG. 1 is a diagram illustrating the configuration of a query response device according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of a data set used in a query response device according to an embodiment.
  • FIG. 3 is a diagram showing a step-by-step method for answering a query performed by a query response device according to an embodiment.
  • FIG. 4 is a diagram conceptually illustrating a process of extracting a shot feature from a question and answer method according to an embodiment.
  • FIG. 5 is a diagram conceptually illustrating a process of selecting a final answer according to a question in a method for answering a question according to an embodiment.
  • the question and answer method performed by the question and answer device is the same as the image frame, audio data, and subtitle data included in the video data of the data set.
  • the question and answer apparatus includes a storage unit for storing a data set including video data and a pair of question and answer; Then, the image frame, audio data, and subtitle data included in the video data are divided into shot units based on the same single subtitle, and then the image frame, audio data, and subtitle data included in each shot are analyzed to analyze the shot.
  • Extracting a feature vector inputting the shot feature vector into a plurality of layers of neural networks, extracting a feature vector of each of question data and a plurality of option data corresponding to the question data from the question-and-answer pair, and extracting the feature vector It may include a control unit for calculating a video feature vector using the output vector of each layer of the neural network, and selecting a final answer from the plurality of option data based on the similarity between the video feature vector and the option feature vector.
  • a computer-readable recording medium in which a program for performing a query and response method is recorded, wherein the query and response method includes the same image frame, audio data, and subtitle data included in video data of a data set.
  • the computer program is performed by a question and answering device and stored in a medium to perform a question and answer method, wherein the question and answer method includes image frames, audio data, and subtitles included in video data of a data set.
  • the query response device 10 may be configured as an information processing device that analyzes a video and calculates an optimal response to a query for a video.
  • the question and answer device 10 may include a storage unit 11, an input/output unit 12, a control unit 13, and a communication unit 14.
  • the storage unit 11 may store various data or programs necessary for answering questions.
  • the storage unit 11 may store a data set necessary for a learning process of a query response to a video.
  • the data set may include information about image frames, audio data, subtitle data included in video data, query data corresponding to the video data, option data to be answered, and correct answer data.
  • the data set may include a training set, a validation set, and a test set for video.
  • the storage unit 11 learns a query response to a video and, accordingly, a program that enables to perform a response to the query, and data associated with each model or neural network used for learning and query response, at least temporarily. It can be retained or renewed.
  • the input/output unit 12 is configured to receive data or a user command, calculate data according to a user's input, and output a processed result.
  • the input/output unit 12 may include user input means such as a keyboard, mouse, and touch panel, and output means such as a monitor or speaker.
  • control unit 13 is a configuration including at least one processor, such as a CPU, and can control the overall operation and configuration of the query response device 10.
  • the controller 13 may execute a program stored in the storage 11 or read data to perform video story modeling and select an appropriate response to the query accordingly.
  • controller 13 models the video plot by analyzing the video image frame, audio, and subtitles, respectively.
  • the detailed process of the controller 13 modeling a video story and performing a question and answer accordingly will be described in more detail later.
  • the communication unit 14 is configured to allow the query and answering device 10 to exchange data with other devices.
  • the communication unit 14 receives the video data set to be analyzed by the control unit 13, or receives and provides data related to neural networks required in the process of the control unit 13 analyzing the video data set or modeling a video story using the data set. It might be.
  • the communication unit 14 may communicate with another terminal to transmit a query received from the other terminal to the control unit 13 or provide a response calculated by the control unit 13 to the other terminal.
  • FIG. 2 is a diagram illustrating an example of a data set used in a query response device according to an embodiment.
  • the video data set includes image frame, audio, and subtitle data constituting specific video content as shown in FIG. 2.
  • the data set includes a pair of questions and answers, wherein the pair of questions and answers may include question data and a plurality of options data for the questions.
  • the correct answer data among the options may be included to be distinguishable from other options.
  • the embodiment illustrated in FIG. 2 illustrates the FriendsQA data set including a pair of questions and answers for the video of the American drama “Friends”.
  • the data set includes image frames, audio data, and subtitle data of a scene constituting a specific episode, and one or more options data including question data for a related video and corresponding answers.
  • the image frame, audio data, and subtitle data may be classified in units of shots based on the subtitle data. That is, a set of image frames, audio data, and corresponding subtitle data within a time range in which one subtitle is displayed may be divided into one shot.
  • the query response method performed by the query response device 10 will be described with reference to FIGS. 3 to 5.
  • FIG. 3 is a diagram showing a step-by-step method of answering a query performed by a question-and-answer apparatus according to an embodiment
  • FIG. 4 is a diagram conceptually showing a process of extracting a shot feature in a question-and-answer method according to an embodiment
  • 5 is a diagram conceptually illustrating a process of selecting a final answer according to a question in a method for answering a question according to an embodiment.
  • the question and answer device 10 prepares a video data set to perform video story modeling (S310).
  • the data set may include image frames, audio data and subtitle data constituting a video, and question data and option data constituting a question-and-answer pair.
  • the query response device 10 may classify image frames, audio data, and subtitle data in units of shots. That is, the query response device 10 divides one segment from the start to the end of one subtitle into each shot (S320).
  • step S330 the process of extracting the characteristics of the shot in step S330 may be further divided into steps S331 to S334.
  • the question and answer device 10 may extract an audio feature vector (a i ) (S331).
  • step S331 it is performed as a process of extracting characteristics of the sound included in the audio data.
  • step S331 may be performed using a convolutional neural network (CNN) model based on Mel-Frequency Cepstral Coefficients (MFCC).
  • CNN convolutional neural network
  • MFCC Mel-Frequency Cepstral Coefficients
  • 40 ms of Hamming windows are applied by dividing the section so as to overlap by 25 ms to extract the lowest 39-dimensional feature.
  • 1-D CNN with a large number of filters is applied twice, and audio characteristics of a fixed dimension are extracted using global max pooling. can do.
  • a 300-dimensional audio feature vector (a i ) may be extracted by applying a full connected layer of one layer to the extracted audio feature.
  • the query response device 10 may extract the subtitle feature vector s i (S332 ).
  • the query response device 10 performs word embedding using a natural language processing model in step S332, and inputs a feature of a word unit into a neural network model to calculate a feature vector of a fixed dimension.
  • the query response device 10 performs word embedding using a pre-trained model for natural language processing in step S332, and bidirectionally characterizes this word unit.
  • LSTM long short-term memory
  • the audio feature vector (a i ) and the subtitle feature vector (s i ) through the multi-mode joint embedding (Multimodal Joint Embedding) image feature vector ( v i ) can be used as the attention feature vector.
  • the joint embedding vector (e i ) can be created by embedding the audio feature vector (a i ) and the subtitle feature vector (s i ) in the same dimension as the image feature vector (v i ) to be described later. have.
  • the query response device 10 may use the joint embedding vector e i as the attention-focused feature vector in the process of calculating the image frame feature vector v i .
  • the query response device 10 may extract the image frame feature vector v i for each shot (S333 ).
  • the question and answer device 10 may sample 3 image frames per second for one shot. Then, the question and answer device 10 may input the sampled image into the neural network to calculate a feature vector for each image.
  • the query response device 10 may extract a (7, 7, 2048) dimensional tensor by applying ImageNet pre-trained ResNet-152 for each sampled image. Then, the extracted tensor and the joint embedding vector (e i ) obtained above can be dot product to obtain the (7, 7) dimensional attention map.
  • the question and answer device 10 may obtain a feature vector by multiplying the extracted tensor by multiplying each attention weight included in the attention map and adding all 49 2,048-dimensional feature vectors.
  • a variable length feature vector can be obtained for one shot, which can be averaged and expressed as the image frame feature vector (v i ) for one shot.
  • the query response device 10 may obtain one shot feature vector by concatenating three feature vectors obtained for one shot.
  • the query response device 10 may calculate a question feature vector q for each question (S340), and extract a feature feature vector ⁇ i for each option (S350).
  • the query answering device 10 uses a natural language processing model to perform word embedding as in the case of extracting the subtitle feature vectors s i above. And input feature of word unit into neural network model to calculate feature vector of fixed dimension. For example, as shown in FIG.
  • the query response device 10 performs word embedding using a pre-trained model for natural language processing, and the bi-directional long- and short-term memory of the characteristics of this word unit (LSTM: Long Short-Term Memory) It is possible to extract the question feature vector (q) and the option feature vector ( ⁇ i ) by obtaining a fixed dimension feature vector as input to the model.
  • LSTM Long Short-Term Memory
  • the question and answer device 10 may linearly transform the question feature vector q to calculate a focused feature vector to be used in step S380, which will be described later (S360).
  • the query response device 10 may hierarchically represent each shot feature vector calculated through step S330 through multiple layers of convolution.
  • the model proposed in one embodiment is a method using multiple layers of neural networks, for example, 1-D CNN of three layers.
  • the query response device 10 may embed a shot feature vector in each layer of three 1-D CNNs (S370).
  • the query response device 10 may calculate multiple levels of output vectors by global max-pooling.
  • the question-and-answer apparatus 10 may calculate weighted sums by adding the weights of each attention included in the attention-focused feature vector calculated in step S360 to the output vectors of each layer and adding them (S380). Since the weighted sum is focused on the question, it becomes the'video feature vector' most suitable for the question.
  • the question and answer device 10 selects a final answer from one of the plurality of options based on the dot-product similarity between the video feature vector and the option feature vector ⁇ i .
  • the question and answering device 10 may train a plurality of layers of neural networks so that the final answer becomes a preset correct answer while repeating the above-described process for a plurality of question and answer pairs.
  • the query response device 10 may provide a user with an appropriate response corresponding to the user's query using a plurality of layers of neural networks learned through the data set as described above.
  • the term' ⁇ unit' used in the embodiment means software or hardware components such as a field programmable gate array (FPGA) or ASIC, and' ⁇ unit' performs certain roles. However,' ⁇ wealth' is not limited to software or hardware.
  • The' ⁇ unit' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example,' ⁇ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, and procedures. , Subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables.
  • the functions provided within the components and' ⁇ units' may be combined into a smaller number of components and' ⁇ units', or separated from additional components and' ⁇ units'.
  • components and' ⁇ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.
  • the query response method may be implemented as a computer program (or computer program product) including instructions executable by a computer.
  • the computer program includes programmable machine instructions processed by a processor and may be implemented in a high-level programming language, object-oriented programming language, assembly language, or machine language.
  • the computer program may be recorded on a tangible computer-readable recording medium (eg, memory, hard disk, magnetic/optical medium, or solid-state drive (SSD), etc.).
  • a method for answering a query may be implemented by executing a computer program as described above by a computing device.
  • the computing device may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device.
  • a processor may include at least some of a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device.
  • Each of these components is connected to each other using various buses, and can be mounted on a common motherboard or mounted in other suitable ways.
  • the processor is capable of processing instructions within the computing device, such as to display graphical information for providing a graphical user interface (GUI) on an external input or output device, such as a display connected to a high-speed interface. Examples are commands stored in memory or storage devices. In other embodiments, multiple processors and/or multiple buses may be used in conjunction with multiple memories and memory types as appropriate. Also, the processor may be implemented as a chipset formed by chips including a plurality of independent analog and/or digital processors.
  • Memory also stores information within computing devices.
  • the memory may consist of volatile memory units or a collection thereof.
  • the memory may consist of non-volatile memory units or a collection thereof.
  • the memory may also be other types of computer readable media, such as magnetic or optical disks.
  • the storage device may provide a large storage space for the computing device.
  • the storage device may be a computer-readable medium or a configuration including such a medium, and may include, for example, devices within a storage area network (SAN) or other configurations, and may include floppy disk devices, hard disk devices, optical disk devices, Or a tape device, flash memory, or other similar semiconductor memory device or device array.
  • SAN storage area network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

질의 응답 장치에 의해 수행되는 질의 응답 방법은 데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계; 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계; 상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계; 복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함한다.

Description

질의 응답 장치 및 방법
본 명세서에 개시되는 실시예들은 계층적 비디오 스토리 모델링과 이를 이용하여 비디오를 대상으로 하는 질의에 응답하는 질의 응답 장치 및 방법에 대한 것이다.
2019년 과제정보 및 사사표기
1-1. 과제고유번호 : 1711081135
1-2. 사사표기 : 본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 혁신성장동력프로젝트사업의 연구결과로 수행되었음(IITP-2017-0-01772-003).
2-1. 과제고유번호 : 1711081008
2-2. 사사표기 : 본 연구는 과학기술정보통신부 및 정보통신기술진흥센터의 SW컴퓨팅산업원천기술개발(R&D, 정보화)의 연구결과로 수행되었음(IITP-2015-0-00310-005).
최근 비디오 스토리 모델링 분야는 시각 및 자연어 처리 연구를 융합하는 고난도의 분야로 새롭게 떠오르고 있다. 이러한 시각 및 자연어 처리의 융합된 영역을 다루는 대표적인 기술로서 Visual Question Answering(VQA) 기술이 있다. VQA기술은 비디오에 내포된 의미나 줄거리에 대한 질의에 응답할 수 있도록 비디오에 포함된 데이터를 분석하고 그에 따라 질문에 대한 답변을 추론한다.
그러나 비디오 스토리 질의응답 문제는 단순한 이미지와는 차원이 다르게 많은 정보를 내포하는 비디오 자체의 특성과, 그 특성에서 오는 질의의 다양한 종류로 인한 문제 난이도의 증가로 인해, 해결하기 어려운 분야로 평가 받고 있다.
그에 따라 데이터 세트의 수집이 어려울 뿐 아니라, 현재 선행되어 있는 비디오 스토리 질의응답 데이터 세트는 여러 한계점을 가지고 있다.
또한 종래의 비디오 질의응답 모델들은 자막과 영상의 이미지 프레임 정보만을 사용했기 때문에, 자막이나 영상에서 추론되지 않는 등장인물의 목소리에 담긴 화자나 감정에 대한 정보를 이용하기 어렵다는 문제가 있었다.
따라서 비디오 질의응답의 난이도를 개선함과 동시에, 화자나 감정을 구분하여 질의에 대한 적절한 응답을 추론을 수행할 수 있는 방법이 요구된다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은 질의 응답 장치 및 방법을 제시하는 데에 그 목적이 있다.
본 명세서에서 개시되는 실시예들은 질의에 따른 주의집중을 이용하여 비디오 스토리에 대한 질의응답을 수행하는 질의 응답 장치 및 방법을 제시하는 데에 그 목적이 있다.
본 명세서에 개시되는 실시예들은 계층적으로 비디오 스토리를 모델링하고 그에 기초하여 질의응답을 수행하는 질의 응답 장치 및 방법을 제시하는 데에 그 목적이 있다.
나아가 본 명세서에 개시되는 실시예들은 비디오 데이터 세트에 포함된 오디오 정보를 이미지 프레임 및 자막 정보와 함께 이용하여 화자나 감정을 구분하여 질의에 대한 적절한 응답을 수행하는 질의 응답 장치 및 방법을 제시하는 데에 그 목적이 있다.
질의 응답 장치에 의해 수행되는 질의 응답 방법은, 데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계; 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계; 상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계; 복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 질의 응답 장치 및 방법을 제시할 수 있다.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 질의에 따른 주의집중을 이용하여 비디오 스토리에 대한 질의응답을 수행하는 질의 응답 장치 및 방법을 제시할 수 있다.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 계층적으로 비디오 스토리를 모델링하고 그에 기초하여 질의응답을 수행하는 질의 응답 장치 및 방법을 제시할 수 있다.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 비디오 데이터 세트에 포함된 오디오 정보를 이미지 프레임 및 자막 정보와 함께 이용하여 화자나 감정을 구분하여 질의에 대한 적절한 응답을 수행하는 질의 응답 장치 및 방법을 제시할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 질의 응답 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 질의 응답 장치에서 사용하는 데이터 세트의 일례를 도시한 도면이다.
도 3은 일 실시예에 따른 질의 응답 장치에 의해 수행되는 질의 응답 방법을 단계적으로 도시한 도면이다.
도 4는 일 실시예에 따른 질의 응답 방법에서 샷 특징을 추출하는 과정을 개념적으로 도시한 도면이다.
도 5는 일 실시예에 따른 질의 응답 방법에서 질문에 따른 최종 답안을 선택하는 과정을 개념적으로 도시한 도면이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 질의 응답 장치에 의해 수행되는 질의 응답 방법은, 데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계; 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계; 상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계; 복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함한다.
다른 실시예에 따르면, 질의 응답 장치는 비디오 데이터와 질의응답 쌍을 포함하는 데이터 세트를 저장하는 저장부; 그리고 상기 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분한 후, 각각의 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를 분석함으로써 샷 특징벡터를 추출하고, 복수의 계층의 신경망에 상기 샷 특징벡터를 입력하며, 상기 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하여, 상기 복수의 계층의 신경망의 각 계층의 출력벡터를 이용하여 비디오 특징벡터를 산출하고, 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 제어부를 포함할 수 있다.
또 다른 실시예에 따르면, 질의 응답 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 질의 응답 방법은 데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계; 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계; 상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계; 복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함한다.
또 다른 실시예에 따르면, 질의 응답 장치에 의해 수행되며, 질의 응답 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램으로서, 상기 질의 응답 방법은, 데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계; 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계; 상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계; 복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함한다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐 아니라, ‘그 중간에 다른 구성을 사이에 두고 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 질의 응답 장치의 구성을 도시한 도면이다. 질의 응답 장치(10)는 비디오를 분석하여 비디오에 대한 질의에 대하여 최적의 응답을 산출하는 정보 처리 장치로 구성될 수 있다.
구체적으로 질의 응답 장치(10)는 저장부(11), 입출력부(12), 제어부(13), 그리고 통신부(14)를 포함할 수 있다.
저장부(11)는 질의응답에 필요한 각종 데이터나 프로그램들을 저장할 수 있다. 저장부(11)는 비디오에 대한 질의 응답의 학습 과정에 필요한 데이터 세트를 저장할 수 있다. 이때 데이터 세트는 비디오 데이터에 포함되는 이미지 프레임, 오디오 데이터, 자막 데이터와 해당 비디오 데이터에 대응하는 질의 데이터와 응답이 될 선택지 데이터, 정답 데이터 등에 대한 정보를 포함할 수 있다. 특히 데이터 세트는 비디오에 대한 학습(training) 세트, 확인(Validation) 세트, 테스트(Test) 세트를 모두 포함할 수 있다.
또한 저장부(11)는 비디오에 대한 질의응답을 학습하고, 그에 따라 질의에 대한 응답을 수행할 수 있도록 하는 프로그램과, 학습 및 질의응답에 이용되는 각각의 모델이나 신경망에 연관된 데이터들을 적어도 일시적으로 보유하거나 갱신할 수 있다.
한편 입출력부(12)는 데이터나 사용자 명령을 수신하고, 사용자의 입력에 따라 데이터를 연산하고 처리한 결과를 출력하는 구성이다. 일 실시예에 따르면 입출력부(12)는 키보드나 마우스, 터치패널 등의 사용자 입력수단과, 모니터나 스피커 등의 출력수단을 포함할 수 있다.
그리고 제어부(13)는 CPU 등과 같은 적어도 하나의 프로세서를 포함하는 구성으로서, 질의 응답 장치(10)의 전반적인 동작과 구성을 제어할 수 있다. 특히 제어부(13)는 저장부(11)에 저장된 프로그램을 실행하거나 데이터를 읽어 비디오 스토리 모델링을 수행하고 그에 따라 질의에 대한 적절한 응답을 선택할 수 있다.
특히 제어부(13)는 비디오의 이미지 프레임과, 오디오, 자막을 각각 분석하여 비디오 줄거리를 모델링한다. 제어부(13)가 비디오 스토리를 모델링하고 그에 따라 질의 응답을 수행하는 구체적인 과정은 추후 더욱 구체적으로 설명한다.
한편 통신부(14)는 질의 응답 장치(10)가 다른 장치와 데이터를 교환하도록 하는 구성이다. 통신부(14)는 제어부(13)가 분석할 비디오 데이터 세트를 수신하거나, 제어부(13)가 비디오 데이터 세트를 분석하거나 이를 이용하여 비디오 스토리를 모델링하는 과정에서 필요한 신경망과 관련된 데이터를 수신하여 제공할 수도 있다. 나아가 통신부(14)는 타 단말과 통신하여 제어부(13)로 타 단말에서 수신한 질의를 전달하거나 제어부(13)가 연산한 응답을 타 단말로 제공할 수도 있다.
이하에서는 질의 응답 장치(10)가 구체적으로 수행하는 질의 응답 과정을 설명한다. 다만 이에 앞서 우선 비디오 스토리 모델링에 이용하는 데이터 세트에 대해 설명한다. 도 2는 일 실시예에 따른 질의 응답 장치에서 사용하는 데이터 세트의 일례를 도시한 도면이다.
우선 비디오 데이터 세트는 도 2에 도시된 바와 같이 특정 비디오 콘텐트를 구성하는 이미지 프레임, 오디오, 자막 데이터를 포함한다. 그리고 데이터 세트에는 질의응답 쌍이 포함되는데, 이때 질의응답 쌍에는 질문 데이터와 질문 대한 복수의 선택지 데이터가 포함될 수 있다. 또한 이때 선택지 중 정답 데이터가 다른 선택지와 구분 가능하게 포함될 수 있다.
도 2에 도시된 실시예는 미국 드라마 ‘프렌즈’의 영상에 대한 질의응답 쌍을 포함하는 FriendsQA 데이터 세트를 예시한 것이다. 도시된 것처럼 데이터 세트에는 특정 에피소드를 구성하는 장면의 이미지 프레임들과 오디오 데이터, 자막 데이터가 포함되며, 관련 영상에 대한 질문 데이터와 대응하는 정답을 포함하는 선택지 데이터가 하나 이상 포함된다.
일 실시예에서 이미지 프레임과 오디오 데이터, 그리고 자막 데이터는, 자막 데이터를 기준으로 샷(Shot) 단위로 구분될 수 있다. 즉 하나의 자막이 표시되는 시간 범위 내의 이미지 프레임과 오디오 데이터, 그리고 해당 자막 데이터의 집합이 하나의 샷을 구성하도록 구분될 수 있다.
질의 응답 장치(10)가 수행하는 질의 응답 방법은 도 3 내지 도 5를 참조하여 설명한다.
도 3은 일 실시예에 따른 질의 응답 장치에 의해 수행되는 질의 응답 방법을 단계적으로 도시한 도면이고, 도 4는 일 실시예에 따른 질의 응답 방법에서 샷 특징을 추출하는 과정을 개념적으로 도시한 도면이며, 도 5는 일 실시예에 따른 질의 응답 방법에서 질문에 따른 최종 답안을 선택하는 과정을 개념적으로 도시한 도면이다.
도면에 도시된 바와 같이 질의 응답 장치(10)는 비디오 스토리 모델링을 수행할 비디오 데이터 세트를 준비한다(S310).
이때 데이터 세트는 상술한 바와 같이 비디오를 구성하는 이미지 프레임, 오디오 데이터 및 자막 데이터와, 질의응답 쌍을 구성하는 질문 데이터 및 선택지 데이터를 포함할 수 있다.
그리고 질의 응답 장치(10)는 이미지 프레임, 오디오 데이터, 그리고 자막 데이터를 샷 단위로 구분할 수 있다. 즉 질의 응답 장치(10)는 하나의 자막의 시작부터 끝까지의 한 세그먼트(Segment)를 각각의 샷으로 구분한다(S320).
이때 샷으로 나누어진 비디오는 X={v i, a i, s i)} i=1, …, |X|이라고 정의할 수 있다. 이때 v i는 이미지 시퀀스(image sequence)의 특징벡터이며, a i는 추출된 오디오의 특징벡터, s i는 자막을 워드 임베딩(word embedding)하여 산출한 특징벡터이다. 그리고 각 샷의 특징은 이들의 집합으로 표현할 수 있다.
그리고 질의 응답 장치(10)는 이어서 각각의 샷의 특징을 추출한다(S330).
이때 S330단계에서 샷의 특징을 추출하는 과정은 다시 S331단계 내지 S334단계로 구분될 수 있다.
우선 질의 응답 장치(10)는 오디오 특징벡터(a i)를 추출할 수 있다(S331). S331단계에서는 오디오 데이터에 포함된 소리의 특징을 추출하는 과정으로 수행된다. 도 4에 도시된 실시예에 의하면 S331단계는 엠에프씨씨(MFCC: Mel-Frequency Cepstral Coefficients)기반의 콘볼루션신경망(CNN: Convolution Neural Network) 모델을 이용하여 수행될 수 있다. 하나의 샷의 오디오 데이터에 대하여 40ms의 해밍 윈도우즈(Hamming windows)를 25ms 만큼 중복되도록 구간을 나누어 적용하여, 가장 낮은 39차원의 특징을 추출한다. 추출된 (N, 39) 차원의 특징에 대하여 필터(filter)의 개수가 다수인 1-D CNN을 두 번 적용하고, 글로벌 맵 풀링(global max pooling)을 이용하여 고정된 차원의 오디오 특징을 추출할 수 있다. 그리고 추출된 오디오 특징에 한 층의 전체 연결 레이어(Fully connected layer)를 적용하여 300차원의 오디오 특징벡터(a i)를 추출할 수 있다.
한편 질의 응답 장치(10)는 자막 특징벡터(s i)를 추출할 수 있다(S332). 질의 응답 장치(10)는 S332단계에서 자연어 처리 모델을 이용하여 워드 임베딩(word embedding)을 수행하고 워드 단위의 특징을 신경망 모델에 입력하여 고정된 차원의 특징벡터를 산출한다. 도 4에 도시된 실시예에 의하면, 질의 응답 장치(10)는 S332단계에서 자연어 처리를 위한 프리-트레인드(pre-trained) 모델을 사용하여 워드 임베딩을 수행하고, 이 워드 단위의 특징을 양방향 장단기메모리(LSTM: Long Short-Term Memory) 모델의 입력으로 넣어 고정된 차원의 특징벡터를 구함으로써, 자막 특징벡터(si)를 산출할 수 있다.
한편 도 3에는 도시되어 있지 않으나, 도 4에 도시된 실시예에서와 같이 오디오 특징벡터(a i)와 자막 특징벡터(s i)를 멀티모드 조인트 임베딩(Multimodal Joint Embedding)을 통해서 이미지 특징벡터(v i)의 주의집중 특징 벡터로 사용할 수 있다. 구체적으로는 오디오 특징벡터(a i)와 자막 특징벡터(s i)를 후술할 이미지 특징벡터(v i)와 동일한 차원으로 임베딩한 후 더하여 조인트 임베딩(joint embedding) 벡터(e i)를 만들 수 있다. 그리고 질의 응답 장치(10)는 조인트 임베딩 벡터(e i)를 이미지 프레임 특징벡터(v i)를 산출하는 과정에서 주의집중 특징벡터로 이용할 수 있다.
한편 질의 응답 장치(10)는 각각의 샷에 대한 이미지 프레임 특징벡터(v i)를 추출할 수 있다(S333). 이 단계에서 질의 응답 장치(10)는 하나의 샷에 대해서 초당 3개의 이미지 프레임을 샘플링할 수 있다. 그리고 질의 응답 장치(10)는 샘플된 이미지를 신경망에 입력하여 각각의 이미지에 대한 특징벡터를 산출할 수 있다.
예를 들어, 도 4에 도시된 실시예에서 질의 응답 장치(10)는 샘플된 이미지마다 ImageNet pre-trained ResNet-152를 적용하여 (7, 7, 2048) 차원의 텐서를 추출할 수 있다. 그리고 추출된 텐서와 앞서 구한 조인트 임베딩 벡터(e i)를 내적하여 (7, 7) 차원의 주의맵을 얻을 수 있다. 그리고 질의 응답 장치(10)는 주의맵에 포함된 각각의 주의 가중치를 추출된 텐서에 곱한 후 49개의 2,048차원의 특징 벡터를 모두 더하면 특징벡터를 구할 수 있다. 이렇게 이미지 프레임에 대한 특징벡터를 구하면 하나의 샷에 대해서 가변 길이의 특징벡터를 얻을 수 있는데, 이를 평균 내어 하나의 샷에 대한 이미지 프레임 특징벡터(v i)로 나타낼 수 있다.
그리고 질의 응답 장치(10)는 하나의 샷에 대해여 구한 세 가지 특징벡터를 연결(Concatenation)하여 하나의 샷 특징벡터를 구할 수 있다.
한편 질의 응답 장치(10)는 각 질문에 대하여 질문 특징벡터(q)를 산출할 수 있고(S340), 각각의 선택지에 대해서도 선택지 특징벡터(α i)를 추출할 수 있다(S350). 이때, 각각 자연어로 구성되는 질문과 선택지의 특징벡터를 추출하기 위해 질의 응답 장치(10)는 앞서 자막 특징벡터(s i)를 추출할 때와 마찬가지로 자연어 처리 모델을 이용하여 워드 임베딩(word embedding)을 수행하고 워드 단위의 특징을 신경망 모델에 입력하여 고정된 차원의 특징벡터를 산출할 수 있다. 예를 들어, 도 4에 도시된 바와 같이 질의 응답 장치(10)는 자연어 처리를 위한 프리-트레인드(pre-trained) 모델을 사용하여 워드 임베딩을 수행하고, 이 워드 단위의 특징을 양방향 장단기메모리(LSTM: Long Short-Term Memory) 모델의 입력으로 넣어 고정된 차원의 특징벡터를 구함으로써 질문 특징벡터(q)와 선택지 특징벡터(α i)를 추출할 수 있다.
그리고 한편 질의 응답 장치(10)는 질문 특징벡터(q)를 선형 변환하여 후술할 S380단계에서 이용될 주의집중 특징벡터를 산출할 수 있다(S360).
한편 질의 응답 장치(10)는 S330단계를 거쳐 산출된 각각의 샷 특징벡터를 여러 계층의 콘볼루션(convolution)을 통해 계층적으로 나타낼 수 있다. 일 실시예에서 제안하는 모델은 복수의 계층의 신경망, 예를 들어 세 개의 층의 1-D CNN을 이용한 방식이다. 질의 응답 장치(10)는 세 개의 1-D CNN 의 각 계층에 샷 특징벡터를 임베딩(S370)할 수 있다. 그리고 질의 응답 장치(10)는 글로벌 맥스-풀링(global max-pooling)하여 여러 수준의 출력 벡터를 산출할 수 있다.
이어서 질의 응답 장치(10)는 S360단계에서 산출한 주의집중 특징벡터에 포함된 각 주의 가중치를 각각의 계층의 출력 벡터에 부여한 후 합산하여 가중합을 산출할 수 있다(S380). 이러한 가중합은 질문에 대해 주의집중 되었기 때문에, 질문에 가장 적절한 ‘비디오 특징벡터’가 된다.
그리고 질의 응답 장치(10)는 비디오 특징벡터와 선택지 특징벡터(α i)간의 내적 유사도(dot-product similarity)에 기초하여, 복수의 선택지 중 하나의 최종 답안을 선택한다.
한편 질의 응답 장치(10)는 복수의 질의응답 쌍에 대하여 상술한 과정을 반복 수행하면서 최종 답안이 미리 설정된 정답이 되도록 복수의 계층의 신경망을 학습시킬 수 있다.
그리고 나아가 질의 응답 장치(10)는 위와 같이 데이터 세트를 통해 학습된 복수의 계층의 신경망을 이용하여 사용자의 질의에 대응하는 적절한 응답을 사용자에게 제공할 수 있다.
실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
또한 본 발명의 일 실시예에 따르는 질의 응답 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 일 실시예에 따르는 질의 응답 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 실시예들은 예시를 위한 것이며, 상술한 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 질의 응답 장치에서 수행되는 질의 응답 방법에 있어서,
    데이터 세트의 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분하는 단계;
    샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터 각각의 특징벡터를 연산하여 샷 특징벡터를 추출하는 단계;
    상기 데이터 세트에 포함된 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하는 단계;
    복수의 계층의 신경망에 상기 샷 특징벡터를 입력한 후, 각 계층의 출력벡터에 상기 질문 데이터의 특징벡터에 기초하여 연산된 주의 가중치를 부여하여 합산함으로써 비디오 특징벡터를 산출하는 단계; 그리고
    상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 단계를 포함하는 질의 응답 방법.
  2. 제 1 항에 있어서,
    상기 질의 응답 방법은,
    복수의 질의응답 쌍에 대하여 상기 최종 답안이 각각의 질의응답 쌍에 대한 상기 복수의 선택지 데이터 중 기설정된 정답이 되도록 상기 복수의 계층의 신경망을 반복적으로 학습시키는 단계를 더 포함하는, 질의 응답 방법.
  3. 제 1 항에 있어서,
    상기 샷 특징벡터를 추출하는 단계는,
    오디오 특징벡터(a i)를 추출하는 단계;
    자막 특징벡터(s i)를 추출하는 단계; 그리고
    이미지 프레임 특징벡터(v i)를 추출하는 단계를 포함하는, 질의 응답 방법.
  4. 제3항에 있어서,
    상기 샷 특징벡터를 추출하는 단계는,
    상기 오디오 특징벡터(a i), 상기 자막 특징벡터(s i), 그리고 상기 이미지 프레임 특징벡터(v i)를 연결(Concatenation)하여 상기 샷 특징벡터를 산출하는 단계를 포함하는, 질의 응답 방법.
  5. 제 4 항에 있어서,
    상기 이미지 프레임 특징벡터(v i)를 추출하는 단계는,
    상기 오디오 특징벡터(a i)와 상기 자막 특징벡터(s i)를 멀티모드 조인트 임베딩(Multimodal Joint Embedding)하여, 상기 이미지 프레임 특징벡터(vi)와 동일한 차원의 조인트 임베딩 벡터(ei)를 구하고, 조인트 임베딩 벡터(e i)에 포함된 주의 가중치를 이용하여 상기 이미지 프레임 특징벡터(v i)를 연산하는 단계를 포함하는, 질의 응답 방법.
  6. 제 1 항에 있어서,
    상기 복수의 계층의 신경망은,
    세 개의 계층의 1-D CNN으로 구성되는, 질의 응답 방법.
  7. 질의 응답 장치에 있어서,
    비디오 데이터와 질의응답 쌍을 포함하는 데이터 세트를 저장하는 저장부; 그리고
    상기 비디오 데이터에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를, 동일한 하나의 자막을 기준으로 한 샷 단위로 구분한 후, 각각의 샷에 포함된 이미지 프레임, 오디오 데이터, 자막 데이터를 분석함으로써 샷 특징벡터를 추출하고, 복수의 계층의 신경망에 상기 샷 특징벡터를 입력하며, 상기 질의응답 쌍에서 질문 데이터와 상기 질문 데이터에 대응하는 복수의 선택지 데이터 각각의 특징벡터를 추출하여, 상기 복수의 계층의 신경망의 각 계층의 출력벡터를 이용하여 비디오 특징벡터를 산출하고, 상기 비디오 특징벡터와 선택지 특징벡터 사이의 유사도에 기초하여 상기 복수의 선택지 데이터 중 최종 답안을 선택하는 제어부를 포함하는 질의 응답 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 각 계층의 출력벡터에 상기 질문 데이터의 특징벡터에 기초하여 연산되는 주의 가중치를 부여한 후 합산함으로써 상기 비디오 특징벡터를 산출하는, 질의 응답 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    복수의 질의응답 쌍에 대하여 상기 최종 답안이 각각의 질의응답 쌍에 대한 상기 복수의 선택지 데이터 중 기설정된 정답이 되도록 상기 복수의 계층의 신경망을 반복적으로 학습시키는, 질의 응답 장치.
  10. 제 7 항에 있어서,
    상기 제어부는,
    오디오 특징벡터(a i), 자막 특징벡터(s i), 그리고 이미지 프레임 특징벡터(v i)를 각각 추출한 후 상기 오디오 특징벡터(a i), 자막 특징벡터(s i), 그리고 이미지 프레임 특징벡터(v i)를 연결(Concatenation)하여 상기 샷 특징벡터를 산출하는, 질의 응답 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 오디오 특징벡터(a i)와 상기 자막 특징벡터(s i)를 멀티모드 조인트 임베딩(Multimodal Joint Embedding)하여, 상기 이미지 프레임 특징벡터(v i)와 동일한 차원의 조인트 임베딩 벡터(e i)를 구하고, 조인트 임베딩 벡터(e i)에 포함된 주의 가중치를 이용하여 상기 이미지 프레임 특징벡터(v i)를 연산하는, 질의 응답 장치.
  12. 제 1 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  13. 질의 응답 장치에 의해 수행되며, 제 1 항에 기재된 방법을 수행하기 위해 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램.
PCT/KR2019/017311 2018-12-07 2019-12-09 질의 응답 장치 및 방법 Ceased WO2020117028A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980031584.XA CN112106043B (zh) 2018-12-07 2019-12-09 问题应答装置及方法
US17/057,793 US11379519B2 (en) 2018-12-07 2019-12-09 Query response device and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0157356 2018-12-07
KR20180157356 2018-12-07
KR10-2019-0162788 2019-12-09
KR1020190162788A KR102211939B1 (ko) 2018-12-07 2019-12-09 질의 응답 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020117028A1 true WO2020117028A1 (ko) 2020-06-11

Family

ID=70975165

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017311 Ceased WO2020117028A1 (ko) 2018-12-07 2019-12-09 질의 응답 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2020117028A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737441A (zh) * 2020-08-07 2020-10-02 北京百度网讯科技有限公司 基于神经网络的人机交互方法、装置和介质
CN112487148A (zh) * 2020-12-07 2021-03-12 北京明略软件系统有限公司 问题解答方法、装置、电子设备和计算机可读存储介质
CN112559698A (zh) * 2020-11-02 2021-03-26 山东师范大学 基于多模态融合模型的提高视频问答精度方法及系统
US20220164588A1 (en) * 2020-11-20 2022-05-26 Fujitsu Limited Storage medium, machine learning method, and output device
CN117891913A (zh) * 2023-12-26 2024-04-16 大湾区大学(筹) 多模态视听问题的答案预测方法、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5238339B2 (ko) * 1972-09-05 1977-09-28
KR20030065860A (ko) * 2002-02-01 2003-08-09 주식회사 케이티 엑스엠엘 계층구조를 이용한 비디오 검색 시스템 및 그 방법
US20170154314A1 (en) * 2015-11-30 2017-06-01 FAMA Technologies, Inc. System for searching and correlating online activity with individual classification factors
KR20170062290A (ko) * 2015-11-27 2017-06-07 연세대학교 산학협력단 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
KR20180101948A (ko) * 2017-03-06 2018-09-14 네이버 주식회사 답변 제공 장치, 방법 및 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5238339B2 (ko) * 1972-09-05 1977-09-28
KR20030065860A (ko) * 2002-02-01 2003-08-09 주식회사 케이티 엑스엠엘 계층구조를 이용한 비디오 검색 시스템 및 그 방법
KR20170062290A (ko) * 2015-11-27 2017-06-07 연세대학교 산학협력단 공간-물체 관계 그래프에 기반한 객체 인식 방법 및 그 장치
US20170154314A1 (en) * 2015-11-30 2017-06-01 FAMA Technologies, Inc. System for searching and correlating online activity with individual classification factors
KR20180101948A (ko) * 2017-03-06 2018-09-14 네이버 주식회사 답변 제공 장치, 방법 및 프로그램

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737441A (zh) * 2020-08-07 2020-10-02 北京百度网讯科技有限公司 基于神经网络的人机交互方法、装置和介质
CN112559698A (zh) * 2020-11-02 2021-03-26 山东师范大学 基于多模态融合模型的提高视频问答精度方法及系统
US20220164588A1 (en) * 2020-11-20 2022-05-26 Fujitsu Limited Storage medium, machine learning method, and output device
CN112487148A (zh) * 2020-12-07 2021-03-12 北京明略软件系统有限公司 问题解答方法、装置、电子设备和计算机可读存储介质
CN117891913A (zh) * 2023-12-26 2024-04-16 大湾区大学(筹) 多模态视听问题的答案预测方法、电子设备及介质

Similar Documents

Publication Publication Date Title
KR102211939B1 (ko) 질의 응답 장치 및 방법
Gan et al. Vqs: Linking segmentations to questions and answers for supervised attention in vqa and question-focused semantic segmentation
JP7467764B2 (ja) ダンス断片認識方法、ダンス断片認識装置及び記憶媒体
CN114465737B (zh) 一种数据处理方法、装置、计算机设备及存储介质
WO2021104110A1 (zh) 一种语音匹配方法及相关设备
WO2022203123A1 (ko) 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치
TW202234296A (zh) 機器學習用數據生成方法、元學習方法、機器學習用數據生成裝置及程式
WO2018212584A2 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
CN119478525A (zh) 一种基于多模态融合的思政课堂互动分析方法及系统
KR20230095432A (ko) 텍스트 서술 기반 캐릭터 애니메이션 합성 시스템
CN119004168A (zh) 一种基于预训练模型的自适应融合多模态数据集识别方法
CN116050892A (zh) 一种基于人工智能的智能教育评价监督方法
CN117975967A (zh) 教学资源的生成方法、装置、设备和存储介质
WO2021153843A1 (ko) 가중치를 이용한 음성 신호의 스트레스 판별 방법 및 그를 위한 장치
CN115331804A (zh) 多模态心理疾病诊断方法、计算机设备及存储介质
US12050632B2 (en) Question answering apparatus and method
CN113379572A (zh) 房源讲解方法和装置、计算机可读存储介质、电子设备
CN115731917B (zh) 语音数据处理方法、模型训练方法、装置及存储介质
CN110808075B (zh) 智能录播方法
Feng et al. Self-supervised audio-visual representation learning for in-the-wild videos
CN117152308B (zh) 一种虚拟人动作表情优化方法与系统
CN110472728B (zh) 目标信息确定方法、目标信息确定装置、介质及电子设备
WO2022191366A1 (ko) 전자 장치 및 그 제어 방법
Wang et al. Classroom behavior recognition model for elementary and middle school students based on improved yolopose and feature fusion
WO2021145715A1 (en) Apparatus and method for enhancing videos

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893672

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19893672

Country of ref document: EP

Kind code of ref document: A1