KR20190078899A - 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법 - Google Patents

Abstract

본 실시예들은 계층적 특징 중에서 최종 풀링 레이어의 특징과 함께 하위 레벨에 존재하는 레이어의 시각적 특징을 이용하여 시각적 질문의 정답을 추론함으로써, 객체 인식뿐만 아니라 객체 수나 색상에 관한 정답률을 향상시킬 수 있는 시각 질의 응답 장치 및 방법을 제공한다.

Description

계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법 {Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof}

본 실시예가 속하는 기술 분야는 시각 질의 응답 장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

시각적 질문 응답(Visual Question Answering, VQA)은 동일한 이미지에 대하여 다양한 시각적인 의미론적 수준의 질문을 요구할 수 있다. 예컨대, 질문은 이미지에 대하여 "물체가 무엇인지", "물체의 색상이 무엇인지", "물체의 개수" 등을 요구할 수 있다. 이미지와 질문 쌍에 대하여, 통상적으로 인간은 83%의 정확도를 갖고 최근의 VQA 모델은 61%의 정확도를 나타낸다.

질문의 유형은 "객체 기반의 질문"과 "시각적 속성에 관한 질문"으로 구분될 수 있다. "객체 기반의 질문"은 특정 물체에 관한 질문이며, 예시적으로 "이것은 무슨 동물인가", "이 사람은 무엇을 하고 있나" 등이 있다. "시각적 속성에 관한 질문"은 객체보다는 전체적인 시각적인 속성에 관한 질문이며, "이 남자의 셔츠는 무슨 색인가", "이 사진은 야간에 촬영된 사진인가", "날씨는 어떠한가" 등이 있다.

기존의 VQA 모델은 영상의 특징을 추출하는 CNN 모델에서 최종 풀링 레이어의 특징을 이용하여 질문에 대한 정답을 출력한다. 최종 풀링 레이어의 특징은 이미지를 분류하는 데 특화되어 있으므로, 기존의 VQA 모델은 객체를 구분하는 데 강인한 면이 있으나, 개체 수나 색상에 관하여는 상대적으로 정답률이 높지 않은 문제가 있다.

본 발명의 실시예들은 계층적 특징 중에서 최종 풀링 레이어의 특징과 함께 하위 레벨에 존재하는 레이어의 시각적 특징을 이용하여 시각적 질문의 정답을 추론함으로써, 객체 인식뿐만 아니라 객체 수나 색상에 관한 정답률을 향상시키는 데 발명의 주된 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 시각 질의 응답 방법에 있어서, N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계, 및 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계를 포함하는 시각 질의 응답 방법을 제공한다.

본 실시예의 다른 측면에 의하면, N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 특징 추출부, 및 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 정답 추론부를 포함하는 시각 질의 응답 장치를 제공한다.

본 실시예의 또 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 시각 질의 응답을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에, N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계, 및 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, N 개의 레이어를 포함하는 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K 번째 레이어에 대응하는 시각 특징을 함께 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론함으로써, 객체 인식뿐만 아니라 객체 수나 색상에 관한 정답률을 향상시킬 수 있는 효과가 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예들에 따른 시각 질의 응답 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예들에 따른 시각 질의 응답 장치가 처리하는 데이터의 흐름을 예시한 도면이다.
도 3은 본 발명의 일 실시예들에 따른 시각 질의 응답 장치의 특징 추출 모델을 예시한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 시각 질의 응답 방법을 예시한 흐름도이다.
도 5는 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다.

이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.

도 1은 시각 질의 응답 장치를 예시한 블록도이고, 도 2는 시각 질의 응답 장치가 처리하는 데이터의 흐름을 예시한 도면이다.

도 1에 도시한 바와 같이, 시각 질의 응답 장치(100)는 특징 추출부(110) 및 정답 추론부(120)를 포함한다. 장치(100)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.

시각 질의 응답 장치(100)는 이미지에 관한 다양한 시각적인 의미론적 수준의 질문으로부터 단어를 찾고 이미지의 중요한 영역을 찾아서 정답을 추론하는 장치이다. 시각 질의 응답 장치(100)는 계층적 특징 중에서 최종 풀링 레이어의 특징과 함께 하위 레벨에 존재하는 레이어의 시각적 특징을 이용하여 시각적 질문의 정답을 추론함으로써, 객체 인식뿐만 아니라 객체 수나 색상에 관한 정답률을 향상시킨다.

시각 질의 응답 장치(100)는 복수의 레이어로 네트워크를 구성한 특징 추출 모델(101)을 이용하여 시각 특징을 추출한다. 특징 추출부(110)는 N 개의 레이어를 포함하는 특징 추출 모델(101)에 기반하여 이미지로부터 시각 특징을 추출한다. 여기서 N은 자연수이다. 특징 추출부(110)는 이미지 입력에 대해 컨볼루션(Convolution)과 풀링(Pooling) 연산을 반복하여 이미지 분류하는 CNN(Convolutional Neural Network) 모델을 설계하여 적용할 수 있다.

시각 질의 응답 장치(100)는 정답 추론 모델(104)에 상위 레벨에 존재하는 복수의 레이어의 특징들을 함께 적용하여 정답을 추론한다. 정답 추론부(120)는 특징 추출 모델(101)의 N 번째 레이어에 대응하는 시각 특징 및 N-K 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델(104)을 기반으로 질문 벡터에 대한 정답을 추론한다. 여기서 K는 N보다 작은 자연수이다. 정답 추론부(120)는 최상위 풀링 레이어 및 차상위 풀링 레이어의 특징으로부터 정답을 추론하며, 미리 정해진 정답 후보에 대하여 학습하는 방식으로 질문 벡터로부터 소프트맥스 분류기를 통해 정답을 산출한다.

시각 질의 응답 장치(100)는 영역 추론부(130)를 포함할 수 있다. 영역 추론부(130)은 특징 추출 모델(101)의 N 번째 레이어에 대응하는 시각 특징 및 질문 벡터를 입력으로 하는 영역 추론 모델(103)을 기반으로, 이미지를 복수의 조각으로 분할하고 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성한다. 영역 추론부(130)는 최상위 풀링 레이어의 특징으로부터 영역을 예측한다.

시각 질의 응답 장치(100)는 질문 생성 모델(102, 202)을 기반으로 질문 벡터를 생성한다. 질문 벡터는 의미론적 관계 정보를 포함한다. 질문 생성 모델(102)은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩할 수 있다.

여기서 RNN은 문장과 같이 연속성을 지니고 앞뒤의 순서가 중요한 패턴을 표현하고 학습하는 데 유용한 신경망이고, LSTM 모델은 문장으로 된 질문을 인코딩을 위해 사용된다. LSTM은 질문이 주어지면 질문을 분석하고 최종 질문 벡터(Vq)를 생성한다. 최종 질문 벡터는 영역 추론 모델(103) 및 정답 추론 모델(104)로 전송된다.

RNN은 은닉층의 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결 된 루프가 있고, 과거의 데이터가 미래에 영향을 주는 구조를 갖는다. 즉, RNN은 히든 노드가 방향을 가진 엣지로 연결되어 순환구조를 이룬다.

LSTM 모델은 은닉층에 여러 개의 게이트가 연결된 셀을 추가한 구조이다. 은닉 층은 입력 게이트(Input Gate), 출력 게이트(Output Gate), 포겟 게이트(Forget Gate)를 포함하는 메모리 블록(Memory Block)을 갖는다. 포겟 게이트는 과거 정보를 잊기를 위한 게이트이고, 입력 게이트는 현재 정보를 기억하기 위한 게이트이다. 게이트는 각각 세기 및 방향을 가진다. 셀은 컨베이어 벨트 역할을 하고, 상태가 오래 경과하더라도 그래디언트가 비교적 전파를 유지할 수 있다.

특징 추출 모델(201)은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함한다.

특징 추출 모델(201)은 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵(Feature map)을 생성한다. 하나 이상의 레이어의 노드들은 네트워크로 연결된다. 특징 추출 모델은 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행한다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함한다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함한다. 특징 추출 모델(201)은 복수의 파라미터를 학습하며, 일부 파라미터는 공유될 수 있다. 특징 추출 모델(201)은 소프트맥스(Softmax) 함수 및 손실 함수를 포함할 수 있다.

도 3에서는 시각 질의 응답 장치의 특징 추출 모델이 예시되어 있다. 도 3에 도시된 특징 추출 모델은 VGG 모델로 5 단계의 풀링 레이어를 포함한다. 정답 추론 모델은 특징 추출 모델의 풀링 레이어 중에서 풀링 레이어 4와 풀링 레이어 5를 사용할 수 있다.

풀링 레이어 4를

이라고 하고, 풀링 레이어 5를

라고 할 때, 정답 추론 모델이 사용하는 이미지 특징은 각각

과

으로 표현될 수 있다.

다시 도 2를 참조하면, 정답 추론 모델은 특징 추출 모델(201)의 N 번째 레이어에 대응하는 시각 특징(210) 및 영역 맵(203)을 이용하여 제1 영역 특징(230)을 생성하고, 정답 추론 모델은 특징 추출 모델(201)의 N-K 번째 레이어에 대응하는 시각 특징(220) 및 영역 맵(203)을 이용하여 제2 영역 특징(240)을 생성한다. 정답 추론 모델은 질문 벡터를 이용하여 제1 영역 특징(230)과 제2 영역 특징(240)을 결합한 제3 영역 특징(250)에 대하여 정답을 분류한다.

소프트 영역(Soft Attention)은 문제 추론의 정확도 향상을 위해 소프트맥스 분류기(Softmax Classifier) 등 추가적인 서브식별(Sub-Recognition) 유닛을 추가하여 이미지 등에서 추론할 위치를 함께 예측할 수 있도록 학습한 기술이다. 영역 추론부는 이미지를 196개 조각(영역)(14x14)으로 나누어 정답 추론에 가장 유리한 영역을 소프트맥스 분류기를 통해 검출할 수 있다. 즉, 분할 이미지에서 후보 영역을 검출한다. 0 내지 1 스케일로 표현될 196차원 벡터를 영역 맵(P_I)이라고 칭하며, 수학식 1과 같이 계산된다. 조각의 크기 및 벡터의 크기는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 수치가 사용될 수 있다.

는 행렬과 벡터의 곱을 나타내고, W는 가중치를 의미한다.

영역 특징은 특징 추출 모델의 풀링 레이어 중에서 차상위 풀링 레이어(예컨대, 풀링 레이어 4)와 최상위 풀링 레이어(예컨대, 풀링 레이어 5)를 사용하여 제1 영역 특징과 제2 영역 특징을 각각 생성한다. 영역 특징은 질문 벡터를 기반으로 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵으로부터 산출되며, 예측 영역이 적용된 특징을 갖는다. 즉, 예측 영역과 풀링 레이어의 시각 특징 간의 가중 합(Weighted Sum)을 이용해 수학식 2와 같이 산출된다.

추론 벡터(Inference Vector) u는

과

을 이용하여 수학식 3과 같이 산출된다.

는 아다마르 곱(Hadamard Product)을 나타낸다.

는 성분 곱(Element-Wise Production)을 의미한다.

정답 추론 모델은 벡터 u로부터 최종 정답을 소프트맥스 분류기를 통해 구한다. 소프트맥스 분류기는 신경망에서 일반적으로 사용되는 선형 분류기(Linear Classifier)로, 소프트맥스 함수(Softmax Function)를 이용해 손실(Loss)를 구하는 형태의 분류기이다. 미리 정답후보가 될 2,000개의 단어를 정해놓고, 이 중에서 정답을 추출하도록 학습한다. 즉, 정답은

으로 표현된다.

본 실시예에 따르면, N 개의 풀링 레이어를 포함하는 특징 추출 모델의 N 번째 풀링 레이어에 대응하는 시각 특징 및 N-K 번째 풀링 레이어에 대응하는 시각 특징을 함께 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론함으로써, 객체 인식뿐만 아니라 객체 수나 색상에 관한 정답률을 향상시킬 수 있다.

시각 질의 응답 장치에 포함된 구성요소들이 도 1 및 도 2에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.

시각 질의 응답 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.

시각 질의 응답 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 시각 질의 응답 방법을 예시한 흐름도이다. 시각 질의 응답 방법은 컴퓨팅 디바이스 또는 시각 질의 응답 장치에 의하여 수행될 수 있으며, 시각 질의 응답 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다.

단계 S410에서 컴퓨팅 디바이스는 N 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출한다. 특징 추출 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함할 수 있다.

단계 S420에서 컴퓨팅 디바이스는 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론한다. 질문 벡터는 질문 생성 모델을 기반으로 생성되며 의미론적 관계 정보를 포함한다. 질문 생성 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩할 수 있다.

정답을 추론하는 단계(S420)는 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 질문 벡터를 입력으로 하는 영역 추론 모델을 기반으로, 이미지를 복수의 조각으로 분할하고 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성하는 단계를 포함한다.

정답 추론 모델은 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 영역 맵을 이용하여 제1 영역 특징을 생성하고, 특징 추출 모델의 N-K 번째 레이어에 대응하는 시각 특징 및 영역 맵을 이용하여 제2 영역 특징을 생성한다. 정답 추론 모델은 질문 벡터를 이용하여 제1 영역 특징과 제2 영역 특징을 결합한 제3 영역 특징에 대하여 정답을 분류한다.

도 5는 본 발명의 실시예들에 따라 수행된 모의실험 결과를 도시한 것이다. 시뮬레이션을 수행한 결과, 색상 및 개체 수 등에 관한 질문에 대하여 5~14% 정도로 정답률이 향상됨을 확인할 수 있다.

도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.

본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.

본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 시각 질의 응답 장치
110: 특징 추출부 120: 정답 추론부
130: 영역 추론부 101, 201: 특징 추출 모델
102, 202: 질문 생성 모델 103: 영역 추론 모델
203: 영역 맵 104: 정답 추론 모델
210: N 번째 레이어의 시각 특징 220: N-K 번째 레이어의 시각 특징
230: 제1 영역 특징 240: 제2 영역 특징
250: 제3 영역 특징

Claims (15)

1. 컴퓨팅 디바이스에 의한 시각 질의 응답 방법에 있어서,
   N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계; 및
   상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계
   를 포함하는 시각 질의 응답 방법.
2. 제1항에 있어서,
   상기 질문 벡터는 질문 생성 모델을 기반으로 생성되며 의미론적 관계 정보를 포함하는 것을 특징으로 하는 시각 질의 응답 방법.
3. 제2항에 있어서,
   상기 질문 생성 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하는 것을 특징으로 하는 시각 질의 응답 방법.
4. 제2항에 있어서,
   상기 정답을 추론하는 단계는,
   상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 질문 벡터를 입력으로 하는 영역 추론 모델을 기반으로, 상기 이미지를 복수의 조각으로 분할하고 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 시각 질의 응답 방법.
5. 제4항에 있어서,
   상기 정답 추론 모델은 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제1 영역 특징을 생성하고, 상기 특징 추출 모델의 N-K 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제2 영역 특징을 생성하는 것을 특징으로 하는 시각 질의 응답 방법.
6. 제5항에 있어서,
   상기 정답 추론 모델은 상기 질문 벡터를 이용하여 상기 생성한 제1 영역 특징과 상기 생성한 제2 영역 특징을 결합한 제3 영역 특징에 대하여 정답을 분류하는 것을 특징으로 하는 시각 질의 응답 방법.
7. 제1항에 있어서,
   상기 특징 추출 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함하는 것을 특징으로 하는 시각 질의 응답 방법.
8. N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 특징 추출부; 및
   상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 정답 추론부
   를 포함하는 시각 질의 응답 장치.
9. 제8항에 있어서,
   상기 질문 벡터는 질문 생성 모델을 기반으로 생성되며 의미론적 관계 정보를 포함하는 것을 특징으로 하는 시각 질의 응답 장치.
10. 제9항에 있어서,
    상기 질문 생성 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 질문을 인코딩하는 것을 특징으로 하는 시각 질의 응답 장치.
11. 제8항에 있어서,
    상기 정답 추론부는,
    상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 질문 벡터를 입력으로 하는 영역 추론 모델을 기반으로, 상기 이미지를 복수의 조각으로 분할하고 상기 정답을 추론하는 데 필요한 영역을 예측하기 위한 영역 맵을 생성하는 영역 추론부를 포함하는 것을 특징으로 하는 시각 질의 응답 장치.
12. 제11항에 있어서,
    상기 정답 추론 모델은 상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제1 영역 특징을 생성하고, 상기 특징 추출 모델의 N-K 번째 레이어에 대응하는 시각 특징 및 상기 영역 맵을 이용하여 제2 영역 특징을 생성하는 것을 특징으로 하는 시각 질의 응답 장치.
13. 제12항에 있어서,
    상기 정답 추론 모델은 상기 질문 벡터를 이용하여 상기 생성한 제1 영역 특징과 상기 생성한 제2 영역 특징을 결합한 제3 영역 특징에 대하여 정답을 분류하는 것을 특징으로 하는 시각 질의 응답 장치.
14. 제8항에 있어서,
    상기 특징 추출 모델은 기 설정된 크기를 갖는 이미지를 입력으로 하고, 시각 특징을 출력으로 하는 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반의 레이어를 포함하는 것을 특징으로 하는 시각 질의 응답 장치.
15. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 시각 질의 응답을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,
    N(상기 N은 자연수) 개의 레이어를 포함하는 특징 추출 모델에 기반하여 이미지로부터 시각 특징을 추출하는 단계; 및
    상기 특징 추출 모델의 N 번째 레이어에 대응하는 시각 특징 및 N-K(상기 K는 상기 N보다 작은 자연수) 번째 레이어에 대응하는 시각 특징을 이용하여 정답 추론 모델을 기반으로 질문 벡터에 대한 정답을 추론하는 단계
    를 포함한 동작들을 수행하는 컴퓨터 프로그램.
    

Images