KR20190092043A - 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법 - Google Patents

추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법 Download PDF

Info

Publication number
KR20190092043A
KR20190092043A KR1020180011339A KR20180011339A KR20190092043A KR 20190092043 A KR20190092043 A KR 20190092043A KR 1020180011339 A KR1020180011339 A KR 1020180011339A KR 20180011339 A KR20180011339 A KR 20180011339A KR 20190092043 A KR20190092043 A KR 20190092043A
Authority
KR
South Korea
Prior art keywords
question
correct answer
layers
visual
image
Prior art date
Application number
KR1020180011339A
Other languages
English (en)
Other versions
KR102039397B1 (ko
Inventor
변혜란
홍종광
어영정
김호성
김태형
황선희
기민송
홍용원
임광용
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180011339A priority Critical patent/KR102039397B1/ko
Publication of KR20190092043A publication Critical patent/KR20190092043A/ko
Application granted granted Critical
Publication of KR102039397B1 publication Critical patent/KR102039397B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예들은 시각 질의 응답 모델에 복수의 영역 맵을 추가함으로써 정답뿐만 아니라 정답을 추론하는 과정에서 선택된 영역들 및 영역들이 선택된 순서가 무엇인지 출력하고, 복수의 영역 특징을 결합하여 문장 생성 모델에 적용함으로써 이미지와 함께 정답이 아닌 객체에 관한 설명 문장을 출력할 수 있는 시각 질의 응답 장치 및 방법을 제공한다.

Description

추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법 {Visual Question Answering Apparatus for Explaining Reasoning Process and Method Thereof}
본 실시예가 속하는 기술 분야는 시각 질의 응답 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
설명 가능한 인공지능(Explainable Artificial Intelligence, EAI)은 최종사용자가 인공지능에 대해 이해할 수 있도록 여러 가지 정보를 제공하는 기술이다. 기존의 인공지능 기술은 최종 답만을 제공하기 때문에, 엔지니어 또는 사용자 입장에서 기계가 왜 이러한 답을 냈는지, 왜 다른 답은 안 되는지, 언제 예측에 실패하는지, 어떻게 해야 오류를 고칠 수 있는지 파악할 수 없는 문제가 있다.
시각적 질문 응답(Visual Question Answering, VQA)은 이미지에 관한 다양한 시각적인 의미론적 수준의 질문으로부터 단어를 찾고 이미지의 중요한 영역을 찾아서 정답을 추론하는 기술이다. 시각적 질문 응답은 동일한 이미지에 대하여 다양한 시각적인 의미론적 수준의 질문을 요구한다. 예컨대, 질문은 이미지에 대하여 "물체가 무엇인지", "물체의 색상이 무엇인지", "물체의 개수" 등을 요구할 수 있다. 하지만, 기존의 시각적 질문 응답 역시 어떠한 방식으로 답을 도출했는지 설명할 수 없는 문제가 있다.
본 발명의 실시예들은 시각 질의 응답(VQA) 모델에 복수의 영역 맵을 추가함으로써 정답뿐만 아니라 정답을 추론하는 과정에서 선택된 영역들 및 영역들이 선택된 순서가 무엇인지 출력하고, 복수의 영역 맵을 결합하여 문장 생성 모델에 적용함으로써 이미지와 함께 정답이 아닌 객체에 관한 설명 문장을 출력하는 데 발명의 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 시각 질의 응답 방법에 있어서, 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 단계, 및 상기 복수의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 단계를 포함하는 시각 질의 응답 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 정답 추론부, 및 상기 복수의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 정답 설명부를 포함하는 시각 질의 응답 장치를 제공한다.
본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 시각 질의 응답을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에, 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 단계, 및 상기 복수의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 정답을 추론하는 과정에서 선택된 영역들 및 영역들이 선택된 순서가 무엇인지 출력하고 이미지와 함께 정답이 아닌 객체에 관한 설명 문장을 출력할 수 있으므로, 엔지니어 또는 사용자 입장에서 기계학습 과정을 이해하고 학습 모델을 파인 튜닝(Fine Tuning)할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 시각 질의 응답 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 시각 질의 응답 장치가 질문 유형에 따라 정답 추론 과정을 설명하는 것을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 시각 질의 응답 장치가 정답을 추론하는 과정을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 시각 질의 응답 장치의 정답 추론 모델을 예시한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 시각 질의 응답 장치의 게이트 순환 유닛을 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 시각 질의 응답 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 시각 질의 응답 장치를 예시한 블록도이고, 도 2는 시각 질의 응답 장치가 질문 유형에 따라 정답 추론 과정을 설명하는 것을 예시한 도면이다.
도 1에 도시한 바와 같이, 시각 질의 응답 장치(100)는 정답 추론부(110) 및 정답 설명부(120)를 포함한다. 장치(100)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
시각 질의 응답 장치(100)는 이미지에 관한 다양한 시각적인 의미론적 수준의 질문으로부터 단어를 찾고 이미지의 중요한 영역을 찾아서 정답을 추론하는 장치이다. 시각 질의 응답 장치(100)는 시각 질의 응답(VQA) 모델에 복수의 영역 맵을 추가함으로써 정답뿐만 아니라 정답을 추론하는 과정에서 선택된 영역들 및 영역들이 선택된 순서가 무엇인지 출력한다. 시각 질의 응답 장치(100)는 복수의 영역 맵을 결합하여 문장 생성 모델에 적용함으로써 이미지와 함께 정답이 아닌 객체에 관한 설명 문장을 출력한다.
시각 질의 응답 장치(100)는 복수의 레이어로 네트워크를 구성한 정답 추론 모델을 이용하여 시각 특징을 추출한다. 정답 추론부(110)는 N 개의 레이어를 포함하는 특징 추출 모델(101)에 기반하여 이미지로부터 시각 특징을 추출한다. 여기서 N은 자연수이다. 특징 추출부(110)는 이미지 입력에 대해 컨볼루션(Convolution)과 풀링(Pooling) 연산을 반복하여 이미지 분류하는 CNN(Convolutional Neural Network) 모델을 설계하여 적용할 수 있다.
정답 추론부(110)는 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론한다. 정답 추론부(120)는 최상위 풀링 레이어 뿐만 아니라 다른 상위 풀링 레이어의 특징으로부터 정답을 추론하며, 미리 정해진 정답 후보에 대하여 학습하는 방식으로 질문 벡터로부터 소프트맥스 분류기를 통해 정답을 산출한다.
정답 추론부(110)는 N 개의 레이어를 포함하는 정답 추론 모델에 대하여, N-K 번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징을 추출하고 N-K 번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징 및 질문 벡터를 기반으로 학습한다. K는 N보다 작은 자연수이다. 정답 추론부(110)는 이미지를 복수의 조각으로 분할하고 N-K 번째의 레이어 내지 N 번째의 레이어에 각각 대응하도록 정답을 추론하는 데 필요한 영역을 예측하기 위한 K 개의 영역 맵을 생성한다.
정답 설명부(120)는 적어도 하나의 영역 맵을 이용하여 정답을 추론하기 위한 설명 가능한 질문에 응답한다.
도 2를 참조하면, 설명 가능한 질문은 (i) 정답이 이미지에서 어디에 위치하는지에 관한 제1 질문(Q1), (ii) 정답이 추론되는 과정에서 선택된 영역들 및 영역들이 선택된 순서에 관한 제2 질문(Q2), (iii) 이미지에서 정답이 아닌 객체 영역이 정답에 해당하지 않는 이유에 관한 제3 질문(Q3), 또는 이들의 조합에 관한 질문일 수 있다.
시각 질의 응답 장치(200) 또는 정답 설명부(120)는 제1 질문에 대하여 복수의 레이어 중에서 최종 레이어에 대응하는 시각 특징에 영역 맵을 반영하여 이미지에서 정답의 위치(211)를 표시한다.
시각 질의 응답 장치(200) 또는 정답 설명부(120)는 제2 질문에 대하여 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들(221, 222, 223)을 이미지에서 순서대로 표시한다.
시각 질의 응답 장치(200) 또는 정답 설명부(120)는 제3 질문에 대하여 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 게이트 순환 유닛(Gated Recurrent Unit, GRU)에 입력하여 대답 문장을 생성한다.
이하에서는 도 3 및 도 4를 참조하여, 시각 질의 응답 장치가 정답을 추론하는 과정을 설명하고, 질문 생성 모델, 정답 추론 모델을 설명하기로 한다.
시각 질의 응답 장치(100)는 질문 생성 모델(330)을 기반으로 질문 벡터를 생성한다. 질문 벡터는 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하여 생성되며 의미론적 관계 정보를 포함한다.
여기서 RNN은 문장과 같이 연속성을 지니고 앞뒤의 순서가 중요한 패턴을 표현하고 학습하는 데 유용한 신경망이고, LSTM 모델은 문장으로 된 질문을 인코딩을 위해 사용된다. LSTM은 질문이 주어지면 질문을 분석하고 최종 질문 벡터(Vq)를 생성한다. 최종 질문 벡터는 정답 추론 모델(310)의 레이어로 전송된다.
RNN은 은닉층의 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결된 루프가 있고, 과거의 데이터가 미래에 영향을 주는 구조를 갖는다. 즉, RNN은 히든 노드가 방향을 가진 엣지로 연결되어 순환구조를 이룬다.
LSTM 모델은 은닉층에 여러 개의 게이트가 연결된 셀을 추가한 구조이다. 은닉 층은 입력 게이트(Input Gate), 출력 게이트(Output Gate), 포겟 게이트(Forget Gate)를 포함하는 메모리 블록(Memory Block)을 갖는다. 포겟 게이트는 과거 정보를 잊기를 위한 게이트이고, 입력 게이트는 현재 정보를 기억하기 위한 게이트이다. 게이트는 각각 세기 및 방향을 가진다. 셀은 컨베이어 벨트 역할을 하고, 상태가 오래 경과하더라도 그래디언트가 비교적 전파를 유지할 수 있다.
정답 추론 모델(310)은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함한다.
정답 추론 모델(310)은 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵(Feature map)을 생성한다. 하나 이상의 레이어의 노드들은 네트워크로 연결된다. 특징 추출 모델은 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행한다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함한다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함한다. 정답 추론 모델(310)은 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있다. 정답 추론 모델(310)은 소프트맥스(Softmax) 함수 및 손실 함수를 포함할 수 있다.
정답 추론 모델(310)의 풀링 레이어 중에서 상위 풀링 레이어들을 사용하여 영역 특징들을 생성한다. 영역 특징들은 질문 벡터를 기반으로 정답을 추론하는 데 필요한 영역을 예측하기 위한 복수의 영역 맵으로부터 산출되며, 예측 영역이 적용된 특징을 갖는다. 영역 특징들은 예측 영역과 풀링 레이어의 시각 특징 간의 가중 합(Weighted Sum)을 이용해 산출될 수 있다..
정답 설명 모델(320)은 정답 추론 과정에서 단계별로 기억한 각 층의 attention 결과(301, 302, 303)를 사용자에게 보여주는 방식으로 추론 과정을 설명할 수 있다.
도 4를 참조하면, 정답 추론 모델(310)은 N 개의 레이어 중에서 일부 레이어를 단계별로 기억 학습하며, N-K 번째의 레이어부터 N 번째의 레이어까지 수용 영역(Reception Field)의 크기를 순차적으로 감소시켜 적용한다.
소프트 영역(Soft Attention)은 문제 추론의 정확도 향상을 위해 소프트맥스 분류기(Softmax Classifier) 등 추가적인 서브식별(Sub-Recognition) 유닛을 추가하여 이미지 등에서 추론할 위치를 함께 예측할 수 있도록 학습한 기술이다. 정답 설명부는 attribute detection을 위해 이미지를 m개 조각(영역)(m1xm2)으로 나누어 정답 추론에 가장 유리한 영역을 소프트맥스 분류기를 통해 검출할 수 있다. 즉, 분할 이미지에서 후보 영역을 검출한다. 0 내지 1 스케일로 표현될 m차원 벡터를 영역 맵(PI)이라고 칭하며, 수학식 1과 같이 계산된다. 조각의 크기 및 벡터의 크기는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 수치가 사용될 수 있다.
정답 추론 모델은 pre-train된 초기값을 갖고 학습을 시작한다. 정답 추론 모델의 각 층 세그먼트를 {F1, F2, ..., Fn-1, Fn}으로 칭하고, Fn-2, Fn-1, Fn만을 학습 가능한 층으로 설정한 후 나머지는 고정시킨다. 이에 따른 attended feature들은 수학식 1과 같이 정의된다.
Figure pat00001
영역 맵(Pl)은 시각 특징(Fl)과 질문 벡터(vQ)에 가중치(W)를 곱한 크로네커 곱에 관한 시그모이드 함수를 이용하여 산출된다.
Figure pat00002
는 행렬과 벡터의 곱 또는 크로네커 곱을 나타내고, W는 가중치를 의미한다. 영역 특징은 영역 맵과 시각 특징을 곱하여 산출된다.
시각 질의 응답 장치(100)는
Figure pat00003
을 각 출력 attention으로 사용한다.
사용자에게 설명 가능한 질문은 총 3가지 타입이 있다. 설명 가능한 질문은 (i) 그 정답이 어디 있는지, (ii) reasoning process가 무엇인지, (iii) 그림 입력과 함께 왜 그 영역은 정답이 되지 않는지에 관한 질문으로 구분된다.
사용자가 제2 질문인 reasoning process를 물을 경우에 시각 질의 응답 장치(100)는 해당 attention들을 순서대로 출력한다.
이하에서는 도 5 및 도 6을 참조하여, 시각 질의 응답 장치가 게이트 순환 유닛을 이용하여 대답 문장을 생성하는 동작을 설명하기로 한다.
사용자가 그림과 함께 제3 질문을 입력할 경우에, 시각 질의 응답 장치는 GRU(gated recurrent unit)을 이용하여 대답 문장을 생성한다. 시각 질의 응답 장치는 <end> 마크가 나올 때까지 GRU을 통해 반복적으로 단어를 생성한다. t번째 단어는 수학식 2를 통해 출력하게 된다.
Figure pat00004
맨 처음 word1을 위해서는 이미지 학습 모델(예컨대, CNN 등)을 통과시켜 얻을 수 있는 특징벡터를 사용하고, wordt는 t번째로 출력될 단어에 해당하는 워드벡터이다. 이 단어들을 <end>마크가 나올 때까지 모아 합치면 대답 문장이 된다. 즉 GRU식에 기존에 학습했던 attention특징
Figure pat00005
을 concatenation해서 사용하므로, 이들을 활용한 설명에 관한 문장 출력이 가능하다.
도 6에서는 각 GRU 셀이 도시되어 있고, rt는 GRU에서 기존 셀 정보를 얼마나 기억하고 있을지 결정하는 가중치 역할을 하고, zt는 GRU에서 입력과 출력을 어느 정도로 제한할 지 결정하는 가중치 역할을 한다. 즉, GRU에 각 attended 특징들이 추가로 입력되어 concatenation됨으로써 이들을 고려한 문장을 생성할 수 있다.
시각 질의 응답 장치는 수학식 3을 이용하여 최종 정답을 추론한다.
Figure pat00006
추론 벡터(Inference Vector) u는 최종 레이어에 대응하는 영역 특징과 질문 벡터 vQ에 가중치를 곱한 아다마르 곱에 관한 쌍곡 탄젠트 함수를 이용하여 산출된다.
Figure pat00007
는 아다마르 곱(Hadamard Product)을 나타낸다.
Figure pat00008
는 성분 곱(Element-Wise Production)을 의미한다.
정답 추론 모델은 벡터 u로부터 최종 정답을 소프트맥스 분류기를 통해 구한다. 소프트맥스 분류기는 신경망에서 일반적으로 사용되는 선형 분류기(Linear Classifier)로, 소프트맥스 함수(Softmax Function)를 이용해 손실(Loss)를 구하는 형태의 분류기이다. 미리 정답후보가 될 복수의 단어를 정해놓고, 이 중에서 정답을 추출하도록 학습한다.
시각 질의 응답 장치에 포함된 구성요소들이 도 1 및 도 2에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
시각 질의 응답 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
시각 질의 응답 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 시각 질의 응답 방법을 예시한 흐름도이다. 시각 질의 응답 방법은 컴퓨팅 디바이스 또는 시각 질의 응답 장치에 의하여 수행될 수 있으며, 시각 질의 응답 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.
단계 S710에서 컴퓨팅 디바이스는 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론한다.
정답 추론 모델은 N(N은 자연수) 개의 레이어를 포함하며, N-K (K는 N보다 작은 자연수)번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징을 추출한다. 정답 추론 모델은 N-K 번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징 및 상기 질문 벡터를 기반으로 학습한다. 정답 추론 모델은 이미지를 복수의 조각으로 분할하고 N-K 번째의 레이어 내지 N 번째의 레이어에 각각 대응하도록 정답을 추론하는 데 필요한 영역을 예측하기 위한 K 개의 영역 맵을 생성한다.
정답 추론 모델은 N 개의 레이어 중에서 일부 레이어를 단계별로 기억 학습하며, N-K 번째의 레이어부터 N 번째의 레이어까지 수용 영역(Reception Field)의 크기를 순차적으로 감소시켜 적용한다.
질문 벡터는 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하여 생성되며 의미론적 관계 정보를 포함한다.
단계 S720에서 컴퓨팅 디바이스는 적어도 하나의 영역 맵을 이용하여 정답을 추론하기 위한 설명 가능한 질문에 응답한다.
설명 가능한 질문은 (i) 정답이 이미지에서 어디에 위치하는지에 관한 제1 질문, (ii) 정답이 추론되는 과정에서 선택된 영역들 및 영역들이 선택된 순서에 관한 제2 질문, (iii) 이미지에서 상기 정답이 아닌 객체 영역이 정답에 해당하지 않는 이유에 관한 제3 질문, 또는 이들의 조합에 관한 것이다.
설명 가능한 질문에 응답하는 단계(S720)는 제1 질문에 대하여 복수의 레이어 중에서 최종 레이어에 대응하는 시각 특징에 상기 영역 맵을 반영하여 상기 이미지에서 상기 정답의 위치를 표시한다.
설명 가능한 질문에 응답하는 단계(S720)는 제2 질문에 대하여 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 상기 이미지에서 순서대로 표시한다.
설명 가능한 질문에 응답하는 단계(S720)는 제3 질문에 대하여 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 게이트 순환 유닛(Gated Recurrent Unit, GRU)에 입력하여 대답 문장을 생성한다.
본 실시예들에 따르면, 각 층의 출력 영역(attention)은 낮은 층에서부터, 큰 수용 영역(receptive field)를 사용하여 영역(attention) 생성을 순차적으로 진행하였기 때문에 추가적인 학습자료를 사용하지 않고도 넓은 영역에서 좁은 영역으로 영역(attention)을 좁혀가는 자연스러운 추론이 가능하다. 각 층의 영역(attention) 결과(Pl)를 사용자에게 보여줌으로써, 그 추론 과정을 설명하는 방식으로 사용자에게 설명이 가능하다. 정답 추론 모델이 추론 과정을 단계별로 기억하고 있기 때문에, 그림과 함께 질문이 입력되어도 그 단계를 바탕으로 사용자에게 설명이 가능한 장점이 있다.
도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200: 시각 질의 응답 장치
110, 310: 정답 추론부
120, 320: 정답 설명부
330: 질문 생성 모델

Claims (15)

  1. 컴퓨팅 디바이스에 의한 시각 질의 응답 방법에 있어서,
    정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 단계; 및
    상기 적어도 하나의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 단계
    를 포함하는 시각 질의 응답 방법.
  2. 제1항에 있어서,
    상기 정답 추론 모델은 N(상기 N은 자연수) 개의 레이어를 포함하며, N-K (상기 K는 상기 N보다 작은 자연수)번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징을 추출하고 상기 N-K 번째의 레이어 내지 상기 N 번째의 레이어에 각각 대응하는 시각 특징 및 상기 질문 벡터를 기반으로 학습하여, 상기 이미지를 복수의 조각으로 분할하고 상기 N-K 번째의 레이어 내지 상기 N 번째의 레이어에 각각 대응하도록 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 K 개의 영역 맵을 생성하는 것을 특징으로 하는 시각 질의 응답 방법.
  3. 제2항에 있어서,
    상기 정답 추론 모델은 상기 N 개의 레이어 중에서 일부 레이어를 단계별로 기억 학습하며, 상기 N-K 번째의 레이어부터 상기 N 번째의 레이어까지 수용 영역(Reception Field)의 크기를 순차적으로 감소시켜 적용하는 것을 특징으로 하는 시각 질의 응답 방법.
  4. 제1항에 있어서,
    상기 질문 벡터는 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하여 생성되며 의미론적 관계 정보를 포함하는 것을 특징으로 하는 시각 질의 응답 방법.
  5. 제1항에 있어서,
    상기 설명 가능한 질문은 (i) 상기 정답이 상기 이미지에서 어디에 위치하는지에 관한 제1 질문, (ii) 상기 정답이 추론되는 과정에서 선택된 영역들 및 상기 영역들이 선택된 순서에 관한 제2 질문, (iii) 상기 이미지에서 상기 정답이 아닌 객체 영역이 상기 정답에 해당하지 않는 이유에 관한 제3 질문, 또는 이들의 조합에 관한 것을 특징으로 하는 시각 질의 응답 방법.
  6. 제5항에 있어서,
    상기 설명 가능한 질문에 응답하는 단계는,
    상기 제1 질문에 대하여 상기 복수의 레이어 중에서 최종 레이어에 대응하는 시각 특징에 상기 영역 맵을 반영하여 상기 이미지에서 상기 정답의 위치를 표시하는 것을 특징으로 하는 시각 질의 응답 방법.
  7. 제5항에 있어서,
    상기 설명 가능한 질문에 응답하는 단계는,
    상기 제2 질문에 대하여 상기 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 상기 이미지에서 순서대로 표시하는 것을 특징으로 하는 시각 질의 응답 방법.
  8. 제5항에 있어서,
    상기 설명 가능한 질문에 응답하는 단계는,
    상기 제3 질문에 대하여 상기 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 게이트 순환 유닛(Gated Recurrent Unit, GRU)에 입력하여 대답 문장을 생성하는 것을 특징으로 하는 시각 질의 응답 방법.
  9. 정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 정답 추론부; 및
    상기 적어도 하나의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 정답 설명부
    를 포함하는 시각 질의 응답 장치.
  10. 제1항에 있어서,
    상기 정답 추론 모델은 N(상기 N은 자연수) 개의 레이어를 포함하며, N-K (상기 K는 상기 N보다 작은 자연수)번째의 레이어 내지 N 번째의 레이어에 각각 대응하는 시각 특징을 추출하고 상기 N-K 번째의 레이어 내지 상기 N 번째의 레이어에 각각 대응하는 시각 특징 및 상기 질문 벡터를 기반으로 학습하여, 상기 이미지를 복수의 조각으로 분할하고 상기 N-K 번째의 레이어 내지 상기 N 번째의 레이어에 각각 대응하도록 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 K 개의 영역 맵을 생성하는 것을 특징으로 하는 시각 질의 응답 장치.
  11. 제9항에 있어서,
    상기 설명 가능한 질문은 (i) 상기 정답이 상기 이미지에서 어디에 위치하는지에 관한 제1 질문, (ii) 상기 정답이 추론되는 과정에서 선택된 영역들 및 상기 영역들이 선택된 순서에 관한 제2 질문, (iii) 상기 이미지에서 상기 정답이 아닌 객체 영역이 상기 정답에 해당하지 않는 이유에 관한 제3 질문, 또는 이들의 조합에 관한 것을 특징으로 하는 시각 질의 응답 장치.
  12. 제11항에 있어서,
    상기 정답 설명부는,
    상기 제1 질문에 대하여 상기 복수의 레이어 중에서 최종 레이어에 대응하는 시각 특징에 상기 영역 맵을 반영하여 상기 이미지에서 상기 정답의 위치를 표시하는 것을 특징으로 하는 시각 질의 응답 장치.
  13. 제11항에 있어서,
    상기 정답 설명부는,
    상기 제2 질문에 대하여 상기 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 상기 이미지에서 순서대로 표시하는 것을 특징으로 하는 시각 질의 응답 장치.
  14. 제11항에 있어서,
    상기 정답 설명부는,
    상기 제3 질문에 대하여 상기 복수의 레이어 중에서 일부 레이어에 대응하는 복수의 시각 특징에 복수의 영역 맵을 각각 반영한 영역 특징들을 게이트 순환 유닛(Gated Recurrent Unit, GRU)에 입력하여 대답 문장을 생성하는 것을 특징으로 하는 시각 질의 응답 장치.
  15. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 시각 질의 응답을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,
    정답 추론 모델의 복수의 레이어 사이에 적어도 하나의 영역 맵을 추가하고 상기 정답 추론 모델을 기반으로 이미지와 관련된 질문 벡터에 대하여 정답을 추론하는 단계; 및
    상기 적어도 하나의 영역 맵을 이용하여 상기 정답을 추론하기 위한 설명 가능한 질문에 응답하는 단계
    를 포함한 동작들을 수행하는 컴퓨터 프로그램.
KR1020180011339A 2018-01-30 2018-01-30 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법 KR102039397B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180011339A KR102039397B1 (ko) 2018-01-30 2018-01-30 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180011339A KR102039397B1 (ko) 2018-01-30 2018-01-30 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190092043A true KR20190092043A (ko) 2019-08-07
KR102039397B1 KR102039397B1 (ko) 2019-11-01

Family

ID=67621262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180011339A KR102039397B1 (ko) 2018-01-30 2018-01-30 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102039397B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516791A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于多重注意力的视觉问答方法及系统
CN110851760A (zh) * 2019-11-12 2020-02-28 电子科技大学 在web3D环境融入视觉问答的人机交互系统
CN110879859A (zh) * 2019-11-23 2020-03-13 安徽大学 一种保存序列关联关系的属性网络表示学习方法
CN111782840A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像问答方法、装置、计算机设备和介质
KR102204829B1 (ko) * 2020-06-12 2021-01-19 인하대학교 산학협력단 딥러닝 기반의 어노테이션 툴을 제공하는 방법 및 시스템
KR102234850B1 (ko) * 2019-11-15 2021-04-02 숭실대학교산학협력단 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
WO2021091096A1 (ko) * 2019-11-06 2021-05-14 연세대학교 산학협력단 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
KR102311218B1 (ko) 2020-09-07 2021-10-12 고려대학교 산학협력단 영상에 관한 대화 처리 장치, 방법 및 시스템
CN113688217A (zh) * 2021-08-24 2021-11-23 山东省人工智能研究院 一种面向搜索引擎知识库的智能问答方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240058676A (ko) 2022-10-26 2024-05-07 서울대학교산학협력단 시각적 질의응답 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768925B2 (en) * 2008-05-14 2014-07-01 International Business Machines Corporation System and method for providing answers to questions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768925B2 (en) * 2008-05-14 2014-07-01 International Business Machines Corporation System and method for providing answers to questions

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[논문] '심층학습을 이용한 시각적 질의응답 연구', 한국정보과학회 학술발표논문집, pp 989-991, 2017.12
정다흰 등, "심층학습을 이용한 시각적 질의응답 연구", 한국정보과학회 학술발표논문집, pp 989-991, 2017.12* *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516791A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于多重注意力的视觉问答方法及系统
WO2021091096A1 (ko) * 2019-11-06 2021-05-14 연세대학교 산학협력단 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
CN110851760A (zh) * 2019-11-12 2020-02-28 电子科技大学 在web3D环境融入视觉问答的人机交互系统
CN110851760B (zh) * 2019-11-12 2022-12-27 电子科技大学 在web3D环境融入视觉问答的人机交互系统
KR102234850B1 (ko) * 2019-11-15 2021-04-02 숭실대학교산학협력단 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
WO2021096009A1 (ko) * 2019-11-15 2021-05-20 숭실대학교산학협력단 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN110879859A (zh) * 2019-11-23 2020-03-13 安徽大学 一种保存序列关联关系的属性网络表示学习方法
KR102204829B1 (ko) * 2020-06-12 2021-01-19 인하대학교 산학협력단 딥러닝 기반의 어노테이션 툴을 제공하는 방법 및 시스템
CN111782840A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像问答方法、装置、计算机设备和介质
CN111782840B (zh) * 2020-06-30 2023-08-22 北京百度网讯科技有限公司 图像问答方法、装置、计算机设备和介质
KR102311218B1 (ko) 2020-09-07 2021-10-12 고려대학교 산학협력단 영상에 관한 대화 처리 장치, 방법 및 시스템
CN113688217A (zh) * 2021-08-24 2021-11-23 山东省人工智能研究院 一种面向搜索引擎知识库的智能问答方法

Also Published As

Publication number Publication date
KR102039397B1 (ko) 2019-11-01

Similar Documents

Publication Publication Date Title
KR102039397B1 (ko) 추론 과정 설명이 가능한 시각 질의 응답 장치 및 방법
Hagras Toward human-understandable, explainable AI
KR102011788B1 (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
US20210390397A1 (en) Method, machine-readable medium and system to parameterize semantic concepts in a multi-dimensional vector space and to perform classification, predictive, and other machine learning and ai algorithms thereon
KR20230128492A (ko) 설명 가능 트랜스듀서 변환기
WO2021190597A1 (zh) 一种神经网络模型的处理方法以及相关设备
KR20200035499A (ko) 콘볼루셔널 신경 네트워크들에서의 구조 학습
CN110659723B (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
US11151426B2 (en) System and method for clustering products by combining attribute data with image recognition
WO2022012668A1 (zh) 一种训练集处理方法和装置
Demidov et al. Application model of modern artificial neural network methods for the analysis of information systems security
WO2019018533A1 (en) NEURO-BAYESIAN ARCHITECTURE FOR THE IMPLEMENTATION OF GENERAL ARTIFICIAL INTELLIGENCE
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
CN110704668A (zh) 基于网格的协同注意力vqa方法和装置
Gao et al. BIM-AFA: Belief information measure-based attribute fusion approach in improving the quality of uncertain data
Suthaharan et al. Supervised learning algorithms
Katsube et al. Deep learning metric detectors in general relativity
CN113408721A (zh) 神经网络结构搜索方法、装置、计算机设备和存储介质
US20220207362A1 (en) System and Method For Multi-Task Learning Through Spatial Variable Embeddings
CN113516182B (zh) 视觉问答模型训练、视觉问答方法和装置
CN115860113A (zh) 一种自对抗神经网络模型的训练方法及相关装置
Andersson et al. Sketch classification with neural networks: A comparative study of CNN and RNN on the Quick, Draw! data set
KR102289785B1 (ko) 메타인지 딥 뉴로퍼지 네트워크의 학습 및 이를 이용한 추론방법, 및 시스템
CN115658926B (zh) 知识图谱的要素推测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant