KR20180038937A

KR20180038937A - 시각 문답을 위한 시스템 및 방법

Info

Publication number: KR20180038937A
Application number: KR1020160145584A
Authority: KR
Inventors: 칸 첸; 지앙 왕; 웨이 쉬
Original assignee: 바이두 유에스에이 엘엘씨
Priority date: 2015-11-03
Filing date: 2016-11-03
Publication date: 2018-04-17
Also published as: CN106649542B; EP3166049B1; US9965705B2; KR101865102B1; JP6351689B2; EP3166049A1; CN106649542A; JP2017091525A; US20170124432A1

Abstract

본 발명은 시각 문답 태스크(VQA)를 위한 주의에 기반하는 심층 학습 구조를 생성하고 사용하여 이미지(정지 이미지 또는 영상 이미지) 관련 질문에 대해 자동적으로 응답을 생성하기 위한 시스템 및 방법을 개시한다. 정확한 응답을 생성하기 위하여 모델의 주의가 질문에 따라 이미지 중의 관련 영역에 집중되는 것은 매우 중요하다. 이는 상이한 질문은 상이한 이미지 영역의 속성에만 질문할 수 있기 때문이다. 실시예에 있어서, 이러한 질문-가이드된 주의는 구성 가능한 컨볼루션 신경망(ABC-CNN)을 이용하여 학습한다. ABC-CNN 모델의 실시예는 이미지 특징맵과 질문 시맨틱을 통해 결정된 구성 가능한 컨볼루션 커널을 컨볼루션하여 주의맵을 결정한다. 실시예에 있어서, 질문-가이드된 주의맵은 질문과 관련되는 영역에 집중되고, 관련되지 않는 영역 중의 노이즈는 필터링된다.

Description

시각 문답을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR VISUAL QUESTION ANSWERING}

본 발명은 대체적으로 컴퓨팅 기술에 관한 것으로서, 더욱 구체적으로는 이미지 관련 질문에 대한 문답 태스크를 자동적으로 진행하고 인간 컴퓨터 인터페이싱을 개선하는 시스템 및 방법에 관한 것이다.

어떻게 이미지와 관련되는 질문을 자동적으로 응답할 것인지에 대한 문제가 존재하고 있다. 비록 이미 심층 학습 방식을 이용하여 질문을 응답하는 과정을 자동적으로 진행하도록 시도하였으나, 여전히 현저하게 향상시킬 필요가 존재하고 있다.

따라서, 더욱 효율적이고 더욱 정확한 방식으로 이미지와 관련되는 질문을 자동적으로 응답하는 시스템 및 방법에 대한 요구가 대두되고 있다.

본 출원은 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법, 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법, 및 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기를 제공한다.

본 출원의 일 양태에 있어서, 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법을 제공하며 ,상기질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법은, 이미지 입력를 수신하는 단계; 상기 이미지 입력과 관련되는 상기 질문 입력을 수신하는 단계; 상기 질문 입력과 상기 이미지 입력을 주의 기반의 구성 가능한 컨볼루션 신경망(Attention-Based Configurable Convolutional Neural Networks, ABC-CNN) 프레임워크에 입력하여 응답을 생성하는 단계를 포함하되, 상기 ABC-CNN 프레임워크는, 상기 이미지 입력에서 이미지 특징맵을 추출하는 CNN 을 포함하는 이미지 특징맵 추출 부재; 상기 질문 입력에서 질문 임베딩(embeddings)을 획득하는 시맨틱 질문 임베딩 부재; 상기 이미지 특징맵과 상기 질문 임베딩을 수신하고, 상기 질문 입력에서 문의되는 하나 또는 다수의 영역에 집중되는 질문-가이드된 주의맵을 획득하는 질문-가이드된 주의맵 생성 부재; 및 상기 질문-가이드된 주의맵을 이용하여 이미지 특징맵에 대해 가중을 진행하여 주의 가중된(attention weighted) 이미지 특징맵을 획득하고, 상기 이미지 특징맵, 상기 질문 임베딩과 상기 주의 가중된 이미지 특징맵의 융합에 기반하여 응답을 생성하는 응답 생성 부재를 포함한다.

본 출원의 다른 일 양태에 있어서, 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법을 제공하며, 상기이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법은, 심층 컨볼루션 신경망을 사용하여 다수의 픽셀을 포함하는 입력 이미지에서 이미지 특징맵을 추출하는 단계; 장-단기 메모리(LSTM)층을 사용하여 상기 입력 이미지와 관련되는 입력 질문에서 조밀(dense) 질문 임베딩을 획득하는 단계; 상기 조밀 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅하여 질문에 의해 배치되는 다수의 커널을 생성하는 단계; 상기 질문에 의해 배치되는 커널과 상기 이미지 특징맵을 컨볼루션하여 질문-가이드된 주의맵을 생성하는 단계; 상기 질문-가이드된 주의맵을 이용하여 상기 이미지 특징맵에 대해 공간적 가중을 진행하여 멀티-클래스 분류 장치(classifier)에서 상기 입력 질문과 관련되지 않는 영역의 가중을 저감시키는 주의 가중된 이미지 특징맵을 획득하는 단계; 및 상기 이미지 특징맵, 상기 조밀 질문 임베딩 및 상기 주의 가중된 이미지 특징맵의 융합에 기반하여 상기 입력 질문에 대해 응답을 생성하는 단계를 포함한다.

본 출원의 또 다른 일 양태에 있어서, 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기를 제공하며, 상기질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기는, 질문 입력의 수신에 응답하여 상기 질문 입력의 조밀 질문 임베딩을 추출하는 장치; 상기 질문 입력과 관련되는 이미지 입력의 수신에 응답하여 이미지 특징맵을 생성하는 장치; 적어도 상기 이미지 특징맵과 상기 조밀 질문 임베딩에 기반하여, 상기 질문 입력에서 문의되는 영역에 선택적으로 집중되는 질문-가이드된 주의맵을 생성하는 장치; 상기 질문-가이드된 주의맵을 이용하여 상기 이미지 특징맵에 대해 공간적 가중을 진행하여 주의 가중된 이미지 특징맵을 획득하는 장치; 및 시맨틱 정보, 상기 이미지 특징맵 및 상기 주의 가중된 이미지 특징맵을 융합하여 상기 질문 입력에 대해 응답을 생성하는 장치;를 포함한다.

본 출원은 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법, 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법, 및 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기를 제공할 수 있다.

본 발명의 실시예를 참조하기로 하며, 이러한 실시예들의 예시는 첨부된 도면에 도시될 수 있다. 이러한 도면은 오직 예시적인 것일 뿐, 한정적인 것이 아니다. 비록 이러한 실시예들의 맥락에서 본 발명을 대체적으로 서술하였으나, 본 발명의 범위는 이러한 특정된 실시예들에 한정되지 않음을 반드시 이해해야 한다. 도면 중의 부재들은 비례에 따라 도시된 것이 아니다.
도1은 본 발명의 실시예에 따른 시각 문답 중의 주의 질문을 도시한다.
도2는 본 발명의 실시예에 따른 예시적인 흐름 또는 프레임워크를 도시한다.
도3은 본 발명의 실시예에 따른 문의 처리를 위한 LSTM 프레임워크의 실시예의 세부사항을 도시한다.
도4는 본 발명의 실시예에 따른 주의 가중 이미지(attention weighted image)에 기반하여 응답을 생성하는 예시적인 흐름도이다.
도5는 본 발명의 실시예에 따른 주의 가중 이미지를 생성하기 위한 예시적인 흐름도를 도시한다.
도6은 본 발명의 실시예에 따른 일련의 예시적인 이미지 및 대응되는 QA 쌍을 도시하며, 각 이미지 및 그 상응한 데이터 세트의 번호를 도시한다.
도7은 본 발명의 실시예에 따른 이미지 관련 질문과 Toronto COCO-QA 데이터 세트 중 ABC-CNN을 통해 생성된 질문-가이드된 주의맵을 구비하는 선택된 이미지를 도시한다.
도8은 본 발명의 실시예에 따른 컴퓨팅 기기/정보 처리 시스템의 간략된 블록도를 도시한다.

아래의 설명에서는 해석의 목적으로, 본 발명에 대한 이해를 제공하도록 특정의 세부사항들을 설명한다. 그러나, 본 기술분야의 통상의 지식을 가진 자는 이러한 세부사항들이 없이 본 발명을 실시할 수 있음을 자명할 것이다. 이 밖에, 본 기술분야의 통상의 지식을 가진 자는 아래에 기재된 본 발명의 실시예들은 여러가지 방식(예를 들면, 과정, 장치, 시스템, 기기 또는 방법)으로 비일시적 컴퓨터 판독 가능한 매체에서 실시될 수 있을 자명할 것이다.

도면에 도시된 부재 또는 모듈은 본 발명 실시예의 예시적인 설명이고, 본 발명을 모호하게 하는 것 방지하고자 한다. 본 명세서 전반을 걸쳐, 부재는 독립적인 기능 유닛(서브 유닛을 포함)으로 설명될 수 있으나, 본 기술분야의 통상의 지식을 가진 자는 여러가지 부재 또는 그의 일부분이 독립적인 부재로 분할되거나 함께 병합(단일의 시스템 또는 부재에 병합되는 것을 포함)될 수 있음을 자명할 것이다. 본 명세서에서 설명하는 기능 또는 작동은 부재로 실시될 수 있음을 반드시 상기해야 한다. 부재는 소프트웨어, 하드웨어, 또는 이들의 조합으로 실시될 수 있다.

이 밖에, 도면 내의 부재 또는 시스템들 사이의 연결은 직접적인 연결에 한정되지 않는다. 반대로, 이러한 부재들 사이의 데이터는 중간 부재로 보정, 리포멧 또는 기타 방식으로 개변될 수 있다. 이외에, 별도의 또는 더욱 적은 연결을 사용할 수 있다. 전문 용어 "커플링”, "연결”, 또는 "통신적으로 연결”은 직접적인 연결, 하나 또는 다수의 중간 기기를 통해 진행되는 간접적인 연결 및 무선 연결을 포함하는 것으로 이해해야 한다.

명세서에 있어서, "하나의 실시예”, "바람직한 실시예”, "실시예", "다수의 실시예”의 언급은 실시예를 결부하여 서술되는 구체적인 특징, 구조, 특성 또는 기능이 본 발명의 적어도 하나의 실시예에 포함되는 것을 표시한다. 이외에, 본 명세서의 각 부분에서 상기와 같이 언급된 문구는 모두 동일한 실시예 또는 다수의 동일한 실시예를 의미하는 것은 아니다.

본 명세서 전반을 걸쳐, 일부 용어들은 설명의 목적으로 사용되는 것으로서, 한정하는 것으로 이해해서는 아니된다. 서비스, 기능 또는 자원은 단일 서비스, 단일 기능 또는 단일 자원에 한정되지 않는다. 이러한 전문 용어들의 사용은 관련 서비스, 기능 또는 자원의 가능한 분포 또는 집합의 분조를 지칭할 수 있다. 용어 "포함한다", "포함하는", "구비한다", "구비하는"은 개방형 용어로서, 그들 앞에 나열된 임의의 내용들은 모두 예시일 뿐, 나열된 아이템들에 한정되지 않음을 이해하여야 한다. 용어 "이미지”는 정지상태의 이미지 또는 영상 이미지로 이해해야 한다. 본문에서 임의의 과제들은 단지 조직적인 목적으로 사용되며, 명세서 또는 특허 청구 범위를 한정하기 위한 것은 않는다. 본 특허 문서에서 언급되는 각 참고 문헌들의 전문은 참조로서 본문에 원용된다.

이 밖에, 본 기술분야의 통상의 지식을 가진 자는, (1) 일부 단계들이 선택적으로 수행되고, (2) 단계들이 본문에 서술된 특정의 순서에 한정되지 않으며, (3) 일부 단계들이 상이한 순서로 수행되고, (4) 일부 단계들이 동시에 수행될 수 있음을 자명할 것이다.

A. 소개

시각 문답(VQA)은 컴퓨터 시각화, 자연 언어 처리 및 기계 학습의 학제간의 적극적인 연구 분야에 해당된다. 이미지 및 이미지와 관련되는 자연 언어 질문이 제공되면, VQA는 자연 언어를 사용하여 질문에 응답한다. VQA는 인공 지능을 구축하는 기본 단계일뿐만 아니라, 수많은 어플리케이션(예를 들면 이미지 검색, 맹인 내비게이션 및 어린이 조기 교육)에 대해서도 매우 중요하다. VQA는 이미지에 대해 심층 이해를 진행하도록 복잡한 산출 시각 기술을 요구하며, 질문 의미를 추출하도록 선진적인 자연 언어 처리 기술을 요구하며, 시각 정보 및 시맨틱 정보를 효과적으로 병합하도록 통일된 프레임워크을 요구하기 때문에, 이는 하나의 도전적인 태스크이다.

현재, 대부분의 선행기술 중의 VQA 모델은 시각 부분, 자연 언어 부분 및 응답 생성부분을 포함한다. 시각 부분은 심층 컨볼루션 신경망(CNN)[예를 들면 Y·A·러춘(Y. A. LeCun), L·버트(L. Bottou), G·B·오르(G. B. Orr) 및 K·R·뮐러(K. R. Muller), "효과적인 BackProp"(Efficient Backprop), 《신경망: 테크닉》(Neural networks: Tricks of the trade)), 제9-48페이지, 스프링거 출판사(Springer), 2012 참조] 또는 기존의 시각 특징 엑스트랙터를 사용하여 입력 이미지에서 시각 특징을 추출한다. 자연 언어 부분은 Bag-of-Word 모델 또는 순환형 신경망(RNN)[예를 들면 S·호치레이터(S. Hochreiter) 및 J·슈미트후버(J. Schmidhuber), "장-단기 메모리(Long short-term memory)", 《신경 계산》(Neural computation), 9(8):1735-1780, 1997] 모델 학습 조밀 질문 임베딩(dense question embedding)을 사용하여 질문 시맨틱을 인코딩한다. 응답 생성부분은 시각 특징 및 질문 임베딩이 제공될 경우 응답을 생성한다. 응답은 멀티-클래스 분류 장치를 통해 생성된 단일 문자 응답이거나, 별도의 RNN 디코더를 통해 생성된 완전한 문장일 수 있다. 전체적인 시각 특징 및 조밀적인 질문 임베딩은 선형/비선형의 조인트 프로젝션을 통해 통합된다. 이러한 통합은 통상적으로 시각 부분 및 질문 이해 부분 사이의 관계를 충분하게 이용하기에 부족하다.

본 명세서에서는 통일된 프레임워크로서 VQA의 시각 정보 및 시맨틱 정보를 통합하는 새로운 주의 기반의 구성 가능한 컨볼루션 신경망(ABC-CNN)의 실시예를 보여준다. 이미지와 관련되는 질문에 응답하도록 시도할 경우, 사람들은 응답을 제공하기 전에 질문 의도에 따른 정보 영역에 집중하게 된다. 예를 들면 , 도1 중 "코트가 무슨 색상인가"는 질문에 있어서, 사람들은 코트 색상을 판단하여 질문에 응답하기 전에 코트 영역을 찾는다. 이러한 영역을 찾아내는 메커니즘을 질문-가이드된 주의라고 칭하는 바, 이는 이러한 영역은 이미지 및 이미지와 관련되는 질문 양자에 의해 결정되기 때문이다.

이미지 및 이미지와 관련되는 질문이 제공될 경우, 제출한 프레임워크는 자연 언어 응답을 생성할 뿐만 아니라, 질문에 응답하는 중요한 증거로서 질문-가이드된 주의 정보를 더 제공한다. 실시예에 있어서, VQA 태스크는 단일 문자 응답을 고려한다. 그러나, 실시예는 예컨데 RNN 디코더를 사용하여 완전한 문장을 생성하는 것으로 확장될 수 있다.

이러한 문제를 처리하기 위해, 주의 기반의 구성 가능한 컨볼루션 신경망(ABC-CNN)을 제출한다. 본 발명의 일부 실시예에 따른 예시적인 ABC-CNN 프레임워크(200)는 도2에 도시된다. ABC-CNN 프레임워크는 시각 부분(이미지 특징맵 추출 부분이라고도 칭함), 질문 이해 부분 , 응답 생성 부분 및 주의 추출 부분을 포함한다. 설명되는 실시예에 있어서, 블록(205)은 시각 부분 또는 시각 부재를 가리킨다. 블록(210)은 질문 이해 부분 또는 질문 이해 부재를 가리킨다. 블록(215)은 구성 가능한 컨볼루션을 구비하는 주의 추출 부분 또는 주의 추출 부재를 표시한다. 블록(220)은 주의 가중된 이미지 특징맵(222)에 대해 멀티-클래스로 분류된 응답 생성 부분 또는 응답 생성 부재를 사용하는 것이다.

실시예에 있어서, 컨볼루션 신경망(CNN)(207)은 시각 부분에서 시각 특징을 추출하기 위한 것이다. 단일의 전체적인 시각 특징을 추출하는 대신, 공간 특징맵은 슬라이딩 윈도우에서 CNN을 적용하거나 완전한 컨볼루션 신경망을 이용하여 추춤됨으로써 중요한 공간 정보를 보류한다. 실시예에 있어서, 장-단기 메모리(LSTM) 모델(214)은 질문 이해 부분에서 질문 임베딩(212)을 획득하고, 멀티 클래스 분류 장치는 응답 생성부분에서 응답을 생성하기 위한 것이다. 시각 부분 및 질문 이해 부분은 질문-가이드된 주의를 통해 통합된다.

실시예에 있어서, 질문-가이드된 주의 정보는 주의 추출 부분(215)에서 질문-가이드된 주의맵(218)으로 표시되고, 주의 추출 부분(215)은 ABC-CNN 프레임워크의 핵심이다. 구성 가능한 컨볼루션 신경망을 거쳐 실현되고, 여기서 컨볼루션 커널(216)은 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅함으로써 생성된다. 구성 가능한 컨볼루션 커널은 질문 의미에 따라 결정된 시각 정보에 대응된다. 예를 들면 , 도1에 있어서, 질문 "우산은 무슨 색상인가”는 "우산” 이라는 시각 특징과 대응되는 컨볼루션 커널을 생성해야 한다. 구성 가능한 컨볼루션 커널과 이미지 특징맵의 컨볼루션은 각 영역이 제출된 질문을 응담함에 있어서의 중요성을 질문-가이드된 주의맵(218)으로 순응적으로 표시한다. 질문-가이드된 주의맵(218)은 시각 특징맵에 대해 공간적 가중을 진행하여 노이즈 및 관련 없는 정보를 필터링한다. 실시예에 있어서, ABC-CNN은 이미지 중의 주의 영역에 대한 아무런 인공 표기가 필요없이 이미지 및 언어 이해를 효과적으로 통합하고 단대단 방식으로 트레이닝을 진행하는 통일적인 프레임워크이다.

실험에 있어서, 본 발명에 따른 ABC-CNN 구조의 실시예는 하기 3개 기준 VQA데이터 세트에 대해 평가를 진행한다. Toronto COCOQA[M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering), arXiv: 1505.02074.2015]; DAQUAR[M·말리노프스키(M. Malinowski) 및 M·프리츠(M. Fritz), "불확실한 입력에 기반한 실세계 정경의 문답의 멀티 월드 방안”(A multi-world approach to question answering about real-world scenes based on uncertain input), 《신경 정보 처리 시스템의 발전》(Advances in Neural Information Processing Systems), 제1682-1690페이지, 2014 참조]; 및 VQA [S·안톨(S. Antol), A·아그라왈(A. Agrawal), J·루(J. Lu), M·미첼(M. Mitchell), D·바트라(D. Batra), C·L·지트닉(C.L.Zitnick) 및 D·파리크(D. Parikh), "VQA: 시각 문답”(VQA: Visual question answering), arXiv 견본 인쇄 arXiv:1505.00468, 2015 참조]. 실험에 따르면, ABC-CNN 프레임워크는 선행 방법과 비하여 현저히 훌륭하다. 시각화는 ABC-CNN 구조가 질문 문의를 훌륭하게 반영하는 영역의 주의맵을 생성할 수 있다는 것을 증명하였다.

결론적으로 말하자면, 통일적인 ABC-CNN 프레임워크는 질문-가이드된 주의를 거쳐 효과적으로 시각 정보와 시맨틱 정보를 통합하여 VQA에 응용한다. 질문-가이드된 주의는 VQA 시스템 성능을 현저하게 개선할뿐만 아니라, 문답 과정에 대한 이해에 편의를 돕는다.

B. 관련 작업

VQA 및 이미지에 대한 설명: 이러한 두가지 문제는개 시각 내용을 추리하여 및 자연 언어로를 추리하는 결과를 표시하는 방면에서 유사점들이 존재한하다. VQA 및 이미지에 대한 설명을 추가하는 방면에 관한의 현재의 선행기술 방법은 CNN을 적용하여 추출 시각 특징을 추출하고 또한 LSTM 모델을 디코더로서 적용하여 디코딩함으로써 응답 또는 설명을 생성하였다. 일부 방법은 LSTM 디코더 중의 생성 기간에은 멀티 모델층을 적용하여 조인트 프로젝션 조합을 통해 시각 특징과 글자문자 임베딩 벡터를 조합할볼 수 있다. 적어도 하나의 기타 방법[P·세르마넷(P. Sermanet), A·프롬(A. Frome) 및 E·리얼(E. Real), "정밀한 분류를 위한 주의”(Attention for fine-grained categorization), arXiv 견본 인쇄 Xiv:1412.7054, 2014를 참조바람]은 프로젝팅된 이미지 특징을 이용하여 LSTM 디코더의 초기 상태로서 적용하며, 이는 시퀀스 대 시퀀스(Sequence to sequence) 학습[I·수츠케바(I.Sutskever), O·비냘스(O. Vinyals) 및 Q·V·리(Q. V. Le), "신경망을 이용한 시퀀스 대 시퀀스 학습”(Sequence to sequence learning with neural networks), 《신경 정보 처리 시스템의 발전》(Advances in neural information processing systems), 제3104-3112페이지, 2014를 참조] 중의 인코더-디코더 프레임워크와 유사하다. 이미지 특징을 전체적인 시각 특징으로 처리할 경우, 이들은 질문 중의 유용한 정보를 발굴하여 이들의 주의를 이미지 중의 대응되는 영역에 집중시키지 않았다.

주의 모델: 주의 모델은 수많은 컴퓨터 시각 태스크에 성공적으로 사용되었는 바, 대상 검출, 정밀한 이미지 분류, 정밀한 시각 인식 및 이미지에 설명을 추가하는 것을 포함한다. 주의 정보는 이미지 중의 주의 영역 시퀀스로 모델링될 수 있다. 순환형 신경망은 현재 주의 영역의 위치 및 시각 특징에 기반하여 바로 다음의 주의 영역을 예측한다. 일부 사람들은 상기 프레임워크를 각각 대상 인식, 대상 검출 및 정밀한 대상 인식에 사용한다. 다른 일부 사람들은 이미지에 설명을 추가하는 주의 기반의 모델을 발명하였고, 상기 모델은 순환형 신경망을 생성 장치로 사용함으로써, 모델이 문장 중의 상이한 문자를 생성할 경우 그의 주의를 상이한 이미지 영역에 집중시키도록 하였다. 상기 모델은 각 이미지 중의 한 세트의 건의 영역을 추출하고, 주의 가중은 LSTM 생성 장치의 히든 상태 및 각 건의 영역에서 추출된 시각 특징을 이용하여 학습한다. 일부의 경우[T·Y·린(T.Y. Lin), A·로이·초두리(A. Roy Chowdhury) 및 S·마지(S. Maji), "정밀 시각 인식을 위한 바이리니어 CNN 모델”(Bilinear CNN models for fine-grained visual recognition), arXiv견본 인쇄 arXiv:1504.07889, 2015 참조], 바이리니어 CNN 구조는 정밀한 이미지 분류를 위한 위치 및 내용을 조합도록 제안되었다. ABC-CNN은 이러한 시각 태스크들 상의 성공적인 어플리케이션로부터 영감을 받았고, 질문-가이드된 주의를 이용하여 VQA 성능을 개선하였다.

구성 가능한 컨볼루션 신경망: 이미 작은 범위 기상 예측을 위한 동적 컨볼루션 층 구조[B·클레인(B. Klein), L·울프(L. Wolf) 및 Y·아페크(Y. Afek), "소범위 기상 예측을 위한 동적 컨볼루션 층 구조”(A dynamic convolutional layer for short range weather prediction), 《IEEE컴퓨터 시각 및 패턴 인식 컨퍼런스》(Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition) 제4840-4848페이지, 2015를 참조바람]가 제출되었다. 동적 컨볼루션층 중의 컨볼루션 커널은 신경망을 통해 이전 타임 스텝 중 기상 이미지 정보 코드에 의해 결정된다. VQA에 있어서, 주의 영역을 경정하는 가장 중요한 단서는 질문이다. 따라서, ABC-CNN 프레임워크의 실시예 중의 구성 가능한 컨볼루션 커널은 질문 임베딩을 통해 결정된다.

C. 주의 기반의 구성 가능한 CNN

도2는 ABC-CNN 프레임워크의 실시예를 도시하였다. 실시예에 있어서, 단일 문자 응답을 구비하는 QA 쌍은 본문 중의 중점 예시인 바, 태스크를 멀티-클래스 분류의 질문으로 간주할 수 있으므로, 이는 평가 메트릭을 간소화시키고 질문-가이드된 주의 모델의 개발에 집중하는 것을 허용한다. 그러나, 주의 모델의 실시예는 LSTM 디코더로 멀티-클래스 분류 모델을 대체하여 다문자의 문장을 응답으로서 생성하도록 용이하게 확장될 수 있다.

도2에 도시된 바와 같이, 설명되는 ABC-CNN 실시예는 이미지 특징 추출 부분(205), 질문 이해 부분(210), 주의 추출 부분(215) 및 응답 생성 부분(220) 등 4개 부재를 포함한다. 이미지 특징 추출 부분(205)에서, 실시예에 있어서, 심층 컨볼루션 신경망(207)은 각 이미지에 대하여 이미지 표현으로서 이미지 특징맵I(208)을 추출하기 위한 것이다. 실시예에 있어서, 1000클래스의 ImageNet 분류 챌린지 2012데이터 세트[J·덩(J. Deng), W·동(W. Dong), R·소셔(R. Socher), L·J·리(L.-J. Li), K·리(K. Li) 및 리페이페이(L.Fei-Fei), "이미지 네트워크: 대규모 계급 이미지 데이터 베이스”(A large-scale hierarchical image database), 《IEEE컴퓨터 시각 및 패턴 인식2009 CVPR2009컨퍼런스》(Computer Vision and Pattern Recognition, 2009.CVPR2009. IEEE Conference on), 제248-255페이지, IEEE, 2009를 참조]에서 예비 트레이닝된 VGG-19심층 컨볼루션 신경망[K·시모냔(K. Simonyan) 및 A·지서만(A. Zisserman, "대규모 이미지 인식을 위한 극심층 컨볼루션 네트워크”(A very deep convolutional networks for large-scale image recognition), arXiv견본 인쇄)arXiv:1409.1556, 2014를 참조], 및 PASCAL 2007 세그먼트 데이터 세트에서 예비 트레이닝된 완전 컨볼루션 세그먼트 신경망[L·C·첸(L.C. Chen), G·파판드레우(G. Papandreou), I·코키노스(I. Kokkinos), A·K·머피(K. Murphy) 및 A·L·유일(A. L. Yuille), "심층 컨볼루션 네트워크 및 전체 연결의 CRFS를 이용하는 시맨틱 이미지 세그먼트”(Semantic image segmentation with deep convolutional nets and fully connected CRFS), arXiv견본 인쇄 arXiv:1412.7062, 2014를 참조]을 사용하였다. 실시예에 있어서, 질문 이해 부분(210)은 LSTM층(214)을 사용하여 조밀 질문 임베딩(213)을 학습하고, 이미지 관련 질문의 시맨틱 정보를 인코딩한다. 실시예에 있어서, ABC-CNN 프레임워크의 핵심 부재는 주의 추출 부분(215)이다. 실시예에 있어서, 주의 추출 부분은 조밀 질문 임베딩에 따라 한 세트의 컨볼루션 커널(216)을 구성한다. 질문에서 질문되는 대상의 시각 특징을 특징화하는 컨볼루션 커널(216)은 이미지 특징맵(208)에 적용되어 질문-가이드된 주의맵(218)을 생성한다. 실시예에 있어서, 이미지 특징맵I(208), 주의 가중된 이미지 특징맵(222) 및 조밀 질문 임베딩(213)의 융합의 개선에 기반하여, 응답 생성부(220)는 멀티-클래스 분류 장치를 사용하여 질문에 응답한다. 본 부분의 나머지 부분은 ABC-CNN 프레임워크의 각 부재의 실시예에 대한 더욱 상세한 설명을 진행하기로 한다.

1. 주의 추출

실시예에 있어서, 질문-가이드된 주의맵( m )(질문에 의해 문의되는 이미지 영역을 반영하였음)은 구성 가능한 컨볼루션 신경망을 사용하여 각 이미지-질문 쌍에서 생성된다. 구성 가능한 컨볼루션 신경망 중의 컨볼루션 커널은 조밀 질문 임베딩( s )에 따라 조밀 질문 임베딩( s )을 시맨틱 공간으로부터 시각적 공간으로 프로젝팅함으로써 구성될 수 있다.

(1)

여기서 σ(.)는 sigmoid 함수이다.

실시예에 있어서, 조밀 질문 표현( s )은 질문에서 문의한 시맨틱 대상 정보를 인코딩한다. 실시예에 있어서, 프로젝션은 시맨틱 정보를 대응되는 시각 정보로 전환하여 질문에 의해 배치되는 커널로 간주하고, 이는 이미지 특징맵(I)과 동일한 개수의 채널을 구비한다. 예를 들면 , 만약 질문이 "우산이 무슨 색상인가"이면, 질문에 의해 배치되는 커널( k )는 우산의 시각 특징이여야 한다.

실시예에 있어서, 질문-가이드된 주의맵은 질문에 의해 배치되는 커널( k )을 이미지 특징맵(I)에 적용함으로써 생성된다.

(2)

여기서 m _ij 는 위치(i, j) 부분의 질문-가이드된 주의 소자이고, 부호 *는 컨볼루션 연산을 표시한다. 실시예에 있어서, Softmax 정규화는 질문-가이드된 맵으로서 공간 주의 분포를 생성한다. 실시예에 있어서, 컨볼루션은 주의맵( m )이 이미지 특징맵(I)과 동일한 크기를 확보하도록 충진된다. 질문-가이드된 주의맵은 질문에 의해 문의된는 영역에 집중된다. 예를 들면, "우산이 무슨 색상인가"는 질문은 이미지 중의 우산 영역 상에 집중되는 주의맵을 생성할 수 있으며, 컨볼루션 커널은 질문에 따라 자동차 시각 특징으로 구성될 수 있다.

주의맵( m )을 이용할 경우, 아래와 같은 이유들로 의해 네가지 질문 모두에 대한 문답 정확도를 개선할 수 있다.

·카운팅 질문, 예컨데 "대상물 중에 몇대의 차량이 존재하는가"에 있어서, 주의맵은 관련 없는 영역을 필터링함으로써 대상물로 하여금 더욱 용이하게 이미지 중의 대상물의 개수를 더욱 용이하게 추론하게 하였다.

·색상 질문, 예컨데 "코트는 무슨 색상인가?"에 있어서, 특정 대상의 색상은 관련 대상에 집중시킴으로써 더욱 효과적으로 응답된다.

·대상물 질문, 예컨데 "탁자 위에 놓여져 있는 것은 무엇인가?"에 있어서, 주의맵은 배경과 같은 별로 관련 없는 영역을 필터링하고, 공간 관계에 따라 대상물을 찾기위한 더욱 적합한 위치를 추론한다.

·위치 질문, 예컨데 "이미지 중의 버스는 어디에 있는가?"에 있어서, 주의맵은 정확한 응답을 생성함에 있어서 매우 중요한 바, 이는 대상물이 이미지 중의 어느 위치에 있는 지를 명확히 설명하기 때문이다.

2. 질문 이해

질문 이해는 시각 문답에 있어서 매우 중요하다. 질문 시맨틱 의미는 응답 생성에 대해 중요한 단서를 제공할 뿐만 아니라, 주의맵으로서 구성 가능한 컨볼루션 커널을 결정할 수 있다.

최근, 장-단기 메모리(LSTM) 모델은 이미 언어 이해의 방면에서의 작업이 훌륭하다는 것이 밝혀졌다. 실시예에 있어서, LSTM 모델은 조밀 질문 임베딩을 생성하여 질문 시맨틱 의미를 특징화하기 위해 이용된다. 실시예에 있어서, 질문( q )는 우선 문자 시퀀스{ v _t }로 분류된다. 실시예에 있어서, 모든 대문자는 소문자로 전환되고, 모든 구두점들(punctuation)은 삭제된다. 트레이닝 세트에서 나타났지만 테스트 세트에서 나타나지 않은 문자는 특수 부호, 예컨데 #OOV#로 대체하고, 특수 부호 #B# 및 #E#는 시퀀스 헤드 및 시퀀스 엔드에 추가된다. 질문 사전에 따라, 각 문자는 조밀 문자 임베딩 벡터로 표시될 수 있다. 실시예에 있어서, LSTM은 메모리 게이트(memory gate)( c _t ) 및 잊음 게이트(forget gate)( f _t )를 이용하여 각 벡터( v _t )로부터 히든 상태( h _t )(등식3, 하기에 도시됨)를 생성하도록 문자 임베딩 시퀀스에 적용된다.

(3)

여기서, φ 는 쌍곡선 탄젠트 함수이고, ⊙는 두개 벡터 사이의 소자당 곱셈을 표시한다. 도3에서는 문의 과정을 위한 LSTM 프레임워크의 실시예의 세부사항을 도시한다. 입력 질문( q )의 시맨틱 정보(s)는 모든 타임 스텝에서 LSTM 상태{ h _t }의 평균값을 구함으로써 획득된다.

3. 이미지 특징 추출

실시예에 있어서, 각 이미지 중의 시각 정보는 N × N × D인 이미지 특징맵으로 표시된다. 특징맵은 이미지를 N × N인 그리드로 나누고 그리드 중의 각 유닛에서 추출한 D차원 특징 벡터( f )로 추출된다. 실시예에 있어서, 원시 이미지 및 좌우 회전 이미지의 각 유닛 중의 중심, 좌상측 코너, 우상측 코너, 좌하측 코너 및 우하측 코너에서 다섯개(5개)의 윈도우를 추출함으로써, 각 유닛에 대하여 총으로 열개(10개) 윈도우를 생성한다. 실시예에 있어서, VGG-19 심층 컨볼루션 신경망은 각 윈도우에 대해 D차원 특징을 추출한다. 실시예에 있어서, 각 유닛의 D차원 특징 벡터는 모든 열개(10개)의 D차원 특징 벡터의 평균이다. 최종 N × N × D 이미지 특징맵은 N × N × D 차원의 특징 벡터의 직렬 연결이다.

이미지 특징맵은 완전 컨볼루션 신경망 구조를 이용하여 더욱 효과적으로 추출될 수도 있다. 실시예에 있어서, PASCAL 2007 세그먼트 데이터 세트에서 예비 트레이닝된 세그먼트 모델 [L·C·첸(L.C. Chen), G·파판드레우(G. Papandreou), I·코키노스(I. Kokkinos), A·K·머피(K. Murphy) 및 A·L·유일(A. L. Yuille), "심층 컨볼루션 네트워크 및 전체 연결의 CRFS를 이용하는 시맨틱 이미지 세그먼트”(Semantic image segmentation with deep convolutional nets and fully connected CRFS), arXiv견본 인쇄 arXiv:1412.7062, 2014]가 사용되고, 비교적 양호한 성능을 나타냈다.

4. 응답 생성

실시예에 있어서, 응답 생성부는 원 이미지 특징맵, 조밀 질문 임베딩 및 주의 가중된 이미지 특징맵을 위한 멀티-클래스 분류 장치이다. 실시예에 있어서, 주의맵은 이미지 특징맵(I)에 대해 공간적 가중을 진행하기 위한 것이다. 가중된 이미지 특징맵은 질문과 대응되는 대상물에 집중된다. 실시예에 있어서, 공간적 가중은 이미지 특징맵 및 주의맵의 각 채널 사이의 소자당 곱셈을 통해 실현된다.

(4)

상기 식에서 ⊙는 소자당 곱셈을 표시하고,

및

는 각각 주의 가중된 이미지 특징맵(

)과 원 이미지 특징맵(

)의 제i채널을 표시한다. 주의 가중된 이미지 특징맵은 질문과 관련 없는 영역의 가중치를 감소시킨다. 실시예에 있어서, 오버피팅을 방지하기 위해, 1 × 1 컨볼루션은 채널 개수를 감소시키도록 주의 가중된 이미지 특징맵에 적용되어, 감소된 특징맵I _r 을 획득한다. 실시예에 있어서, 질문 또는 문의한 시맨틱 정보, 이미지 특징맵I 및 감소된 특징맵I _r 은 비선형 프로젝션을 통해 융합된다.

(5)

상기 식에서 h는 최종 프로젝션 특징을 표시하고, 또한 g(.)는 소자당 하나씩 규정되는 쌍곡선 탄젠트 함수:

이다. 상기 함수는 기울기가 값의 가장 비선형적인 범위에 진입하도록 하고, 더욱 높은 트레이닝 속도를 실현한다.

실시예에 있어서, Softmax활성화를 구비하는 멀티-클래스 분류 장치는 최종 프로젝션 특징( h )에서 트레이닝된다. 응답 id는 응답 사전에서 지정할 수 있다. ABC-CNN에 의해 생성된 응답은 최대 확률을 갖는 문자이다.

(6)

여기서,

는 응답 사전 중의 모든 문자의 집합이다.

실시예에 있어서, 질문 및 응답을 위한 사전은 공유되지 않음을 유의해야 한다. 이는 동일한 문자에 대한 표현이 질문 및 응답에 대해 상이할 가능성이 존재한다는 것을 의미한다.

도4는 본 발명의 실시예에 따른 ABC-CNN 구조를 사용하여 응답을 생성하기 위한 예시적인 흐름도이다. 실시예에 있어서, ABC-CNN 구조는 단계 405에서 심층 컨볼루션 신경망 다수의 픽셀을 포함하는 입력 이미지에서 이미지 특징맵을 추출하고, 단계 410에서 장-단기 메모리(LSTM)층을 사용하여 입력 이미지와 관련되는 입력 질문에서 조밀 질문 임베딩을 획득한다. 단계 415에서, 조밀 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅하여 질문에 의해 배치되는 다수의 커널을 생성한다. 단계 420에서, 질문에 의해 배치되는 커널과 이미지 특징맵에 대해 컨볼루션을 진행하여 질문-가이드된 주의맵을 생성한다. 단계 425에서, 질문-가이드된 주의맵을 이용하여 이미지 특징맵에 대해 공간적 가중을 진행하여 멀티-클래스 분류 장치가 위치한 곳에서 주의 가중된 이미지 특징맵을 획득한다. 주의 가중된 이미지 특징맵은 질문과 관련 없는 영역의 가중치를 감소시키거나, 질문과 관련되는 영역에 집중시킨다. 실시예에 있어서, 공간적 가중은 이미지 특징맵 및 질문-가이드된 주의맵의 각 채널 사이의 소자당 곱셈을 통해 실현된다. 마지막으로, 단계 430에서, 이미지 특징맵, 심층 질문 임베딩 및 주의 가중된 이미지 특징맵의 융합에 기반하여 질문의 응답을 생성한다.

도5는 본 발명의 실시예에 따른 ABC-CNN 구조를 사용하여 질문-가이드된 주의맵을 생성하기 위한 예시적인 흐름도를 묘사한다. 실시예에 있어서, 주의맵 생성부는 단계 505에서 이미지 입력에서 추출한 이미지 특징맵을 수신하고, 단계 510에서, LSTM을 사용하여 질문 입력에서 획득한 조밀 질문 임베딩을 수신한다. 단계 515에서, 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅하여 한 세트의 구성 가능한 컨볼루션 커널을 생성한다. 단계 520에서, 공간 상의 주의 분포는 질문에 의해 배치되는 커널 및 이미지 특징맵 사이의 컨볼루션 연산을 통해 생성된다. 실시예에 있어서, ABC-CNN 프레임워크는 초기 가중치를 구비하고, 상기 초기 가중치는 예비 트레이닝 기간에 ABC-CNN 프레임워크 내의 모든 층(CNN 층 및 LSTM층 등을 포함함)의 각 차원의 활성화가 0의 평균값과 하나의 표준 유도를 구비하는 것을 확보하도록 랜덤으로 조절된다. 단계 525에서, Softmax 정규화를 공간상의 주의 분포에 적용시켜 질문-가이드된 주의맵을 생성한다.

5. 트레이닝 및 테스트

실시예에 있어서, 전체 프레임워크는 확률 기울기 하강 및 adadelta[M·D·자일러, "Adadelta : 순응적 학습 속도 방법”(Adadelta: An adaptive learning rate method), arXiv 견본 인쇄 arXiv:1212.5701, 2012 참조] 알고리즘의 단대단 방식을 이용하여 트레이닝된다. 각 확률 기울기는 독립 랜덤 샘플을 64개 이미지 질문로 하강시키고, 백 프로퍼케이션은 ABC-CNN 구조의 모든 가중치를 학습하도록 적용될 수 있다. 실시예에 있어서, 모든 층의 초기 가중치는 모든 층의 각 차원의 활성화가 0의 평균값 및 하나의 표준 유도를 구비하는 것을 확보하도록 랜덤으로 조절될 수 있다. 실시예에 있어서, 초기 학습 속도를 0.1로 설정한다. 실험에 있어서, ABC-CNN 실시예에서 단대단 방식으로 모든 가중치를 트레이닝하는 것이 가능할 수 있으나, 이미지 특징 추출 부분 중의 가중치는 더욱 신속한 트레이닝 속도를 허용하도록 고정될 수 있다.

테스트 단계 과정에서, 실시예에 있어서, 각 이미지에 대하여 이미지 특징맵을 추출한다. 실시예에 있어서, 질문을 제공받을 경우, 상기 질문의 조밀 질문 임베딩을 생성하고, 질문 임베딩은 컨볼루션 커널을 구성하도록 이용됨으로써, 주의맵을 생성한다. 실시예에 있어서, 멀티-클래스 분류 장치는 원 특징맵, 질문 임베딩 및 주의 가중된 이미지 특징맵의 융합을 이용하여 응답을 생성한다.

D. 실험

본 모델의 실시예는 하기의 데이터 세트에서 평가를 진행한다. 즉, Toronto COCOQA 데이터 세트[M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering), arXiv: 1505.02074.2015]; DAQUAR 데이터 세트[M·말리노프스키(M. Malinowski) 및 M·프리츠(M. Fritz), "불확실한 입력에 기반한 실세계 정경의 문답의 멀티 월드 방법”(A multi-world approach to question answering about real-world scenes based on uncertain input), 《신경 정보 처리 시스템의 발전》(Advances in Neural Information Processing Systems), 제1682-1690페이지, 2014]; 및 VQA 데이터 세트 [S·안톨(S. Antol), A·아그라왈(A. Agrawal), J·루(J. Lu), M·미첼(M. Mitchell), D·바트라(D. Batra), C·L·지트닉(C.L.Zitnick) 및 D·파리크(D. Parikh), "VQA: 시각 문답”(VQA: Visual question answering), arXiv 견본 인쇄 arXiv:1505.00468, 2015]에서 평가를 진행한다. 실시예는 단일 문자 응답을 구비하는 QA 쌍에 대한 평가를 진행하는 바, 각각 Toronto-QA 데이터 세트, VQA 데이터 세트 및 DAQUAR데이터 세트(100%, 85%, 90%)를 고려한다. 이는 M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering)(arXiv: 1505.02074.2015) 중의 평가에 부합된다. 이 밖에도, ABC-CNN 프레임워크의 실시예는 RNN 디코더를 이용하여 응답으로서 완전한 문장을 생성하는 것으로 용이하게 확장될 수 있다.

본 특허 문헌에서 인용하는 실험 및 결과는 (본 부분 또는 임의의 기타 부분에서) 설명의 방식으로 제공되고, 하나 또는 다수의 구체적인 실시예를 이용하여 구체적인 조건하에서 수행되며, 따라서, 이러한 실험 또는 그 결과는 본 특허 문선이 공개된 범위를 한정하기 위한 것이 아님을 이해하여야한다.

1. 구현의 세부 사항

실험에 있어서, 이미지 특징맵 및 주의맵 양자의 해상도는 3×3으로 선택되고, ATT-SEG-HSV 모델 외에, 상기 ATT-SEG-HSV 모델은 완전한 컨볼루션 세그먼트 네트워크에서 추출된 특징(16×16)을 이용한다. 각 이미지 유닛은 예비 트레이닝된 VGG 네트워크[K·챗필드, K·시모냔, A·베달디 및 A·지서만, "골칫거리는 세부사항에 존재: 컨볼루션 네트워크를 심도 깊게 탐구”(Return of the devil in the details: Delving deep into convolutional nets), arXiv견본 인쇄 arXiv:1405.3531, 2014를 참조]를 이용하여 4096차원 이미지 특징 벡터를 생성한다. 모든 이미지 유닛으로부터의 이미지 특징 벡터는 4096×3×3차원을 구비하는 이미지 특징맵을 구성한다. 오버피팅을 방지하기 위해, 특징맵의 차원은 1×1 컨볼루션을 사용하여 256×3×3으로 감소시킨다. 조밀 질문 임베딩의 차원은 256이다. 이외에, HSV 색상 특징맵은 이미지 특징맵(ATT-HSV)에 추가된다. 각 유닛 중의 색상 특징은 상기 각 유닛 중 픽셀의 HSV 히스토그램으로 인코딩된다. PASCAL 2007 세그먼트 데이터 세트에서 예비 트레이닝된 완전한 컨볼루션 신경망[L·C·첸(L.C. Chen), G·파판드레우(G. Papandreou), I·코키노스(I. Kokkinos), A·K·머피(K. Murphy) 및 A·L·유일(A. L. Yuille), "심층 컨볼루션 네트워크 및 전체 연결의 CRFS를 이용하는 시맨틱 이미지 세그먼트”(Semantic image segmentation with deep convolutional nets and fully connected CRFS), arXiv 견본 인쇄 arXiv:1412.7062, 2014을 참조]도 16×16×1024 특징맵의 생성에 이용되며, 이를 이미지 특징맵(ATT-SEG-HSV)으로서 HSV 색상 특징맵으로 직렬 연결된다. 4개의 K40 Nvidia GPU를 이용하여 Toronto COCO-QA 데이터 세트에서 네트워크 ATT- HSV를 트레이닝하기에는 약 24시간이 소요된다. 시스템은 단일 K40 GPU에서 질문 당 9.89 ms의 속도로 응답을 생성할 수 있다.

2. 데이터 세트

본 발명의 모델에 따른 실시예는 DAQUAR, Toronto COCO-QA 및 VQA 3개 데이터 세트에서 평가를 진행한다.

DAQUAR 데이터 세트는 풀 데이터 세트(DQ-Full) 및 축소 데이터 세트(DQ-Reduced) 두가지 버전을 구비한다. DQ-Reduced는 37개 대상 클래스의 질문 응답 쌍을 구비하고, 이는 894개 대상 클래스를 구비하는 DQ-Full 데이터 세트의 서브 세트이다. 두가지 버전은 NYU-Depth V2 데이터 세트[N·실버맨, D·호이엄, P·콜리 및 R·퍼거스, RGBD 이미지의 인도어 세그먼트 및 지원 추측(Indoor segmentation and support inference from RGBD images), 컴퓨터 시각―ECCV 2012, 제746-760페이지, 스프링거 출판사, 2012(Computer Vision-ECCV 2012, pages 746-760. Springer, 2012)]로부터의 인도어 정경 이미지를 이용한다. DQ-Full 데이터 세트는 6794개 QA쌍을 구비하는 795개 트레이닝 이미지 및 5674개 QA쌍을 구비하는 654개 테스트 이미지를 포함한다. DQ-Reduced 데이터 세트는 3825개 QA쌍을 구비하는 781개 트레이닝 이미지 및 286개 QA쌍을 구비하는 25개 테스트 이미지를 포함한다. 실험에 있어서, DAQUAR데이터 세트는 단지 단일 문자 응답을 구비하는 QA쌍에 대하여 테스트하고 트레이닝하며, 이는 렌(Ren) 등 사람들 [M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering), arXiv: 1505.02074. 2015을 참조]이 진행한 평가에 부합된다. 이러한 QA쌍은 각각 DQ-Full 데이터 세트 및 DQ-Reduced 데이터 세트의 트레이닝 세트 및 측정 세트 중의(90.6%, 89.5%) 및(98.7%, 97.6%)을 구성한다.

Toronto COCO-QA 데이터 세트는 Microsoft COCO 데이터 세트(MS-COCO)로부터의 이미지를 이용한다. 이의 QA쌍은 단지 단일 문자 응답만 포함한다. 이의 기본 통계는 표1에 총결된다.

Toronto COCO-QA질문 유형 분해[P·세르마넷(P. Sermanet), A·프롬(A. Frome) 및 E·리얼(E. Real), "정밀한 분류를 위한 주의”(Attention for fine-grained categorization), arXiv 견본 인쇄 Xiv:1412.7054, 2014 참조].

분류	트레이닝	%	테스트	%
대상	54992	69.84	27206	69.85
개수	5885	7.47	2755	7.07
색상	13059	16.59	6509	16.71
위치	4800	6.10	2478	6.36
총계	78736	100.00	38948	100.00

VQA데이터 세트는 최근 수집한 데이터 세트이고, 이는 MS-COCO 데이터 세트 중의 이미지를 이용하여 구축된다. VQA 데이터 세트 중의 VQA 리얼 이미지(개방형) 태스크에 대한 제안 모델에 대한 평가가 진행된다. 이는 82783개의 트레이닝 이미지, 40504개의 검증 이미지 및 81434개의 테스트 이미지를 포함한다. MS-COCO 데이터 세트 중의 각 이미지에는 세개(3개)의 질문이 주석되고, 각 질문은 열개(10개)의 후보 응답을 구비한다. 트레이닝, 테스트 및 검증을 위한 QA쌍의 총수는 각각 248349, 121512, 244302이다. 본 모델의 실시예는 VQA 데이터 세트 중의 단일 문자 응답 QA쌍에 대하여 평가를 진행하고, 단일 문자 응답 QA쌍은 데이터 세트 중의 총 QA쌍의 86.88%를 구성한다. 도6은 세개 데이터 세트로부터의 일부 샘플을 도시한다.

3. 평가 메트릭

VQA모델의 성능은 "응답의 정확도” 및 "우-파마 유사성 측정 세트(Wu-Palmer similarity measure Set)(WUPS)"의 평점으로 평가를 진행한다. 응답의 정확도(ACC)는 참고 응답에 정확하게 매칭되어 생성된 응답의 백분율을 산출한다. WUPS 평점은 우-파마(WUP) 유사성[Z·吳(Z. Wu) 및 M·마파(M. Palmer), "동사 시맨틱 및 어휘 선택”(Verbs semantics and lexical selection), 《컴퓨터 언어 제32기 연차 총회 컨퍼런스》(Proceedings of the 32nd annual meeting on Association for Computational Linguistics), 제133-138페이지, 컴퓨터 언어 협회 출판, 1994를 참조]에서 얻어지고, 그 값은 [0, 1]의 범위 내에 있다. WUP 유사성은 두개 문자가 분류 트리 중의 최저 공동 선조의 깊이에 기반하여 두개 문자의 유사성을 측정한다. 역치를 구비하는 WUP 평점은 모든 생성된 응답 및 참조 응답의 하향 가중된 WUPS 평점에 대한 평균값이다. 두개 문자의 WUPS평점 S_wups이 역치보다 낮으면, 하향 가중된 WUPS 평점은 0.1 S_wups이다. 아니면, 그의 하향 가중된 WUPS은 S_wups이다. 실험에 있어서, 역치 0.0 및 0.9을 구비하는 WUPS 평점이 사용된다.

4. 베이스라인 방법

본 방법의 실시예와 상이한 기준 방법을 비교한다. 모든 베이스라인 모델을 나열하면 아래와 같다.

1. VIS+LSTM(VL): 이는 렌(Ren) 등 사람이 제출한 프레임워크[M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering), arXiv: 1505.02074.2015 참조]이고, 상기 프레임워크는 이미지 특징을 추출하는 CNN을 구비하며, 상기 CNN의 뒤를 잇는 것은 차원 감소층이다. 그리고, 이미지 특징은 질문 LSTM의 입력으로서 질문 문자 임베딩 시퀀스 헤드가 삽입된다.

2. 2-VIS+BLSTM( 2VB ): 이미지 특징은 문자 임베딩 시퀀스의 헤드(head) 및 엔드(end )에서 인코딩된다. 이외에도, 렌(Ren) 등 사람이 제출한 프레임워크 중의 LSTM는 전방 및 후방을 향해 행진하는 것으로 설정된다.

3. IMG+BOW(IB): 렌(Ren) 등 사람은 Bag-of-Words 특징을 사용하여 조밀 질문 임베딩을 생성한다.

4. IMG: 단지 이미지 특징은 질문 응답에 이용된다. 이는 "디프(deaf)" 모델이라 지칭된다.

5. LSTM: 단지 LTM으로부터의 조밀 질문 임베딩만 이용하여 응답을 생성한다. 이는 "블라인드” 모델이라 지칭된다.

6. ENSEMBLE: 렌(Ren) 등 사람은 상기 방법 조합을 사용하여 모델 융합에 대해 평가한다.

7. Q+I: 안톨(Antol) 등 사람[S·안톨(S. Antol), A·아그라왈(A. Agrawal), J·루(J. Lu), M·미첼(M. Mitchell), D·바트라(D. Batra), C·L·지트닉(C.L.Zitnick) 및 D·파리크(D. Parikh), "VQA: 시각 문답”(VQA: Visual question answering), arXiv견본 인쇄 arXiv:1505.00468, 2015 참조]은 조밀 질문 임베딩 및 이미지 특징 양자 트레이닝멀티-클래스 분류 장치를 이용하여 문답을 실현한다.

8. Q+I+C: Q+I 모델과 유사하게, Q+I+C 모델은 표기된 이미지로 설명된 조밀 임베딩를 부가 입력으로 이용한다.

9. ASK: 말리노프스키(Malinowski) 등 사람[M·말리노프스키(M. Malinowski) 및 M·프리츠(M. Fritz), "당신의 뉴런에 대한 문의: 이미지에 관한 질문에 응답하기 위한 신경에 기반한 방법(Ask your neurons: A neural-based approach to answering questions about images), arXiv견본 인쇄 arXiv:1505.01121, 2014] 는 LSTM 디코더에서 CNN 특징 및 질문 임베딩을 선형 조합하여 응답을 생성한다.

5. 결과 및 분석

표2, 4 및 5는 상이한 모델이 각각 Toronto COCO-QA데이터 세트, DQ-Reduced 데이터 세트 및 DQ-Full데이터 세트에서의 성능을 총결하였다. 표3은 각 분류중의 상이한 방법이 Toronto COCO-QA데이터 세트에서의 성능을 분해하였다.

표2에 있어서, 단지 VGG 특징맵(AYY)을 사용하는 ABC-CNN은 렌(Ren) 등 사람[M·렌(M. Ren), R·키로스(R. Kiros) 및 R·제멜(R. Zemel), "이미지 문답을 위한 모델 및 데이터의 탐색법”(Exploring models and data for image question answering), arXiv: 1505.02074.2015 참조]의 단일 모델 중의 대다수보다 우수하다. HSV 특징맵과 VGG특징맵(ATT-HSV)을 조합하는 것을 통해, ABC-CNN 의 성능은 모든 베이스라인 모델을 초월한다. 비록 단일 모델만 사용하였으나, ABC-CNN은 심지어 응답 정확도에서 ENSEMBLE모델보다 0.2% 높다. ABC-CNN "대상”, "개수” 및 "위치” 분류에서 베이스라인 방법보다 우수한 바, 이는 질문-가이드된 주의가 질문 시맨틱 및 이미지 중의 정경 정보를 발굴하여 질문에 응답하기 때문이다. ABC-CNN의 정확도는 "색상” 분류에서 IB 및 ENSEMBLE 모델보다 조금 낮다.

또한, 완전 컨볼루션 모델 ATT-SEG-HSV의 성능은 VGG모델 ATT-HSV보다 조금 양호하나, 완전 컨볼루션 신경망을 이용하여 특징맵을 추출하는 것보다 더욱 신속하다. VGG, SEG 및 HSV 특징을 이용하여(ATT-VGG-SEG-HSV) 최적한 성능을 얻는다. 구체적으로, 완전 컨볼루션 모델의 추가는 위치 질문을 정확하게 응답하기 위한 것이다. ABC-CNN 중의 주의(NO-ATT)도 소거 실험(ablative experiment)으로 간주되기 위해 제거되고, 이는 각각 정확도에서 1.34%, 0.85% 및 0.35%의 손실의 WUPS 0.9 및 WUPS 0.0의 평점을 발생한다.

표4에 있어서, ABC-CNN 모델과 베이스라인 모델을 DQ-Reduced 데이터 세트에서 비교한다. ABC-CNN 모델의 성능은 모든 메트릭스에서 모든 단일 모델보다 높다. WUPS 0.9 측정에 있어서, ABC-CNN 모델은 ENSEMBLE모델보다 단지 0.53% 낮다.

DQ-Full 및 VQA 데이터 세트에서, ABC-CNN는 표5 및 6의 데이터 세트에서 기존의 해결수단보다 우수하다. DQ-Full데이터 세트에서, ABC-CNN 모델과 Toronto COCO-QA 데이터 세트 및 DQ-Reduced 데이터 세트에서의 모델은 동일하다. VQA 데이터 세트에서, 공평한 평가를 위해서, 안톨(Antol) 등 사람[S·안톨(S. Antol), A·아그라왈(A. Agrawal), J·루(J. Lu), M·미첼(M. Mitchell), D·바트라(D. Batra), C·L·지트닉(C.L.Zitnick) 및 D·파리크(D. Parikh), "VQA: 시각 문답”(VQA: Visual question answering), arXiv견본 인쇄 arXiv:1505.00468, 2015]과 동일하게 1000개 가장 빈번한 응답(ATT 1000)을 포함한 응답 사전을 사용한다. ABC-CNN 모델은 모든 응답(ATT Full)을 포함하는 응답 사전을 사용하여 평가하기도 한다.

도7은 생성된 질문-가이드된 주의맵 및 그에 대응되는 이미지 및 질문의 일부를 도시한다. 이로부터 관찰할 수 있는 바, 질문-가이드된 주의맵은 상이한 주의 영역을 구비하는 상이한 질문의 의향을 성공적으로 캡쳐하였다. 이러한 주의맵을 이용하여, 그의 주의를 중요한 영역에 집충시키고 관련 없는 정보를 필터링시킴으로써, ABC-CNN는 더욱 정확한 응답을 생성할 수 있다. 원 특징맵이 응답을 예측할 경우데고 제공되기 때문에, 문의 대상이 단지 이미지 중의 대상(예를 들면 "언덕 풀밭에 누워 있는 것은 무엇인가")일 경우, ABC-CNN는 주의맵을 사용하지 않는 정황하에서 질문을 응답할 수 있다.

각 카테고리의 Toronto COCO-QA 정확도

모델	대상	개수	색상	위치
IMG	0.4073	0.2926	0.4268	0.4419
IB	0.5866	0.4410	0.5196	0.4939
VL	0.5653	0.4610	0.4587	0.4552
2VB	0.5(817)	0.4479	0.4953	0.4734
ENSEMBLE	0.6108	0.4766	0.5148	0.5028
NO-ATT	0.5882	0.4319	0.4168	0.4762
ATT	0.5977	0.4693	0.4359	0.4911
ATT-HSV	0.6217	0.4799	0.4727	0.5194
ATT-SEG-HSV	0.6238	0.4617	0.4694	0.5278
ATT-SEG-VGG-HSV	0.6246	0.4570	0.4681	0.5367

DAQUAR-Reduce데이터 세트에 관한 결과

모델	ACC.	WUPS 0.9	WUPS 0.0
LSTM	0.3273	0.4350	0.8162
IMG+BOW	0.3417	0.4499	0.(814)8
VIS+LSTM	0.3441	0.4605	0.8223
2-VIS+BLSTM	0.3578	0.4683	0.8215
ENSEMBLE	0.3694	0.4815	0.8268
NO-ATT	0.3931	0.4445	0.8230
ATT	0.4276	0.4762	0.8304
HUMAN	0.6027	0.6104	0.7896

DAQUAR-Full데이터 세트에 관한 결과

모델	ACC.	WUPS 0.9	WUPS 0.0
ASK	0.1943	0.2528	0.6200
ATT	0.2537	0.3135	0.6589
HUMAN	0.5020	0.5082	0.6727

상이한 모델의 VQA데이터 세트에서의 성능

모델	Q+I	Q+I+C	ATT 1000	ATT Full
ACC.	0.2678	0.2939	0.4838	0.4651

E. 시스템 실시예

실시예에 있어서, 본 특허문서의 각 측면들은 정보 처리 시스템/컴퓨팅 시스템에 관한 것이거나 정보 처리 시스템/컴퓨팅 시스템을 이용하여 구현될 수 있다. 본 개시를 목적으로, 컴퓨팅 시스템은 상업, 과학, 제어 또는 기타 목적으로 임의의 형식의 정보, 기밀 정보 또는 데이터를 컴퓨팅, 연산, 분류, 처리, 전송, 수신, 검색, 발생, 라우팅, 전환, 저장, 표시, 통신, 표출, 감지, 기록, 복사, 핸들링 또는 이용하는 임의의 장치 또는 장치의 집합일 수 있다. 예를 들어, 컴퓨팅 시스템은 개인용 컴퓨터(예를 들어, 랩톱 컴퓨터), 태블릿 컴퓨터, 태블릿 핸드폰, 개인 휴대 정보 단말기(PDA), 스마트 폰, 스마트 시계, 스마트 포장, 서버(예를 들어, 고밀도 서버 또는 랙 서버), 네트워크 저장 장치, 또는 임의의 기타 적합한 장치일 수 있고, 크기, 형태, 성능, 기능 및 가격 상 상이할 수 있다. 컴퓨팅 시스템은 랜덤 액세스 메모리 장치(RAM), 하나 또는 다수의 처리 자원(예를 들어, 중앙 처리 유닛(CPU) 또는 하드웨어 또는 소프트웨어 제어 로직), ROM 및/또는 기타 유형의 메모리 장치를 포함할 수 있다. 컴퓨팅 시스템의 기타 부재들은 하나 또는 다수의 디스크 드라이브, 외부 기기와 통신하기 위한 하나 또는 다수의 네트워크 포트, 및 키보드, 마우스, 터치스크린 및/또는 영상 표시 장치와 같은 각종 입력 및 출력(I/O) 장치를 포함할 수 있다. 컴퓨팅 시스템은 각종 하드웨어 부재 사이에서 통신을 전달하도록 작동될 수 있는 하나 또는 다수의 버스라인을 더 포함할 수 있다.

도 8은 본 개시의 실시예에 따른 컴퓨팅 기기/정보 처리 시스템(또는 컴퓨팅 시스템)의 간략된 블록도를 나타낸다. 비록 정보 처리 시스템이 상이한 구성을 가질 수 있고, 상이한 부재들을 포함할 수 있으나, 시스템(800)에 도시된 기능들이 정보 체리 시스템의 각 실시예들을 지원하도록 작동될 수 있음을 이해할 것이다.

도 8에 도시된 바와 같이, 시스템(800)은 컴퓨팅 자원을 제공하고 컴퓨터를 제어하는 하나 또는 다수의 중앙 처리 유닛(CPU; 801)를 포함한다. CPU(801)는 마이크로프로세서 등을 이용하여 구현될 수 있고, 하나 또는 다수의 그래픽 처리 유닛(GPU; 817) 및/또는 수학적 계산을 위한 부동 소수 보조 프로세서를 더 포함할 수 있다. 시스템(800)은 시스템 메모리 장치(802)를 포함할 수도 있고, 시스템 메모리 장치(802)는 랜덤 액세스 메모리 장치(RAM) 또는 읽기 전용 메모리 장치(ROM)의 형태를 구비하거나, RAM과 ROM의 형태를 동시에 구비할 수도 있다.

도 8에 도시된 바와 같이, 다수의 제어 장치 및 주변 장치가 더 제공될 수 있다. 입력 제어 장치(803)는 키보드, 마우스 또는 스타일러스와 같은 각종 입력 장치(804)에 통하는 인터페이스를 표시한다. 스캐너(806)와 통신하는 스캐너 제어 장치(805)가 더 구비될 수 있다. 시스템(800)은 하나 또는 다수의 저장 장치(808)와 상호 작용하기 위한 메모리 제어 장치(807)를 더 포함할 수 있고, 하나 또는 다수의 저장 장치(808) 중 각각은 자기 테이프 또는 디스크와 같은 저장 매체 또는 운영 체제, 실용 프로그램 및 응용의 명령 프로그램에 대한 기록에 사용될 수 있는 광학 매체를 포함할 수 있으며, 여기서 응용은 본 발명의 각 측면들을 구현하는 프로그램의 실시예들을 포함할 수 있다. 본 발명에 따르면, 저장 장치(808)는 이미 처리된 데이터 또는 처리될 데이터를 저장하도록 더 구성될 수 있다. 시스템(800)은 표시 장치(811)에 인터페이스를 제공하기 위한 표시 제어 장치(809)를 더 포함할 수 있고, 표시 장치(811)는 음극 선관(CRT), 박막 트랜지스터(TFT) 모니터, 또는 기타 유형의 모니터일 수 있다. 컴퓨팅 시스템(800)은 프린터(813)와 통신하기 위한 프린터 제어 장치(812)를 더 포함할 수 있다. 통신 제어 장치(814)는 하나 또는 다수의 통신 장치(815)와 상호 작용할 수 있고, 통신 장치(815)는 시스템(800)이 인터넷, 클라우드 자원 (예컨데, 이더넷 클라우드, 이더넷 상의 파이버 채널(FCoE)/데이터 센터 브리징(DCB) 클라우드 등), 근거리 통신망(LAN), 광역 통신망(WAN), 저장 영역 네트워크(SAN)를 포함한 다양한 네트워크 중의 임의의 네트워크, 또는 적외선 신호를 포함한 임의의 적합한 전자기 캐리어 신호를 통해 원격 장치에 연결되도록 할 수 있다.

도시된 시스템에서, 모든 메이저 시스템 부재들은 하나 이상의 물리적 버스라인을 표시할 수 있는 버스라인(916)에 연결될 수 있다. 그러나, 각종 시스템 부재들은 물리적으로 근접할 수도 있고, 근접하지 않을 수도 있다. 예를 들어, 입력 데이터 및/또는 출력 데이터는 일 물리적 위치에서 다른 일 물리적 위치에 원격으로 전송될 수 있다. 또한, 본 발명의 각 측면들을 구현하는 프로그램들은 네트워크 상에서 원격 위치(예를 들어, 서버)로부터 방문될 수 있다. 해당 데이터 및/또는 프로그램은 다양한 기계 판독 가능한 매체 중의 임의의 매체를 통해 전송될 수 있고, 기계 판독 가능한 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 홀로그래픽 장치와 같은 광학 매체, 광 자기 매체, 및 프로그램 코드를 저장하거나 저장 및 실행하도록 특별히 구성된 예를 들어 응용 주문형 집적 회로(ASIC), 프로그램 가능 논리 소자(PLD), 플래시 메모리 장치 및 ROM 및 RAM장치와 같은 하드웨어 장치를 포함하나 이에 한정되지 않는다.

본 발명의 실시예는 각 단계를 수행하도록 하나 또는 다수의 프로세서 또는 처리 유닛에 대한 명령을 이용하여 하나 또는 다수의 비휘발성 컴퓨터 판독 가능한 매체에 코딩될 수 있다. 하나 또는 다수의 비휘발성 컴퓨터 판독 가능한 매체는 휘발성 및 비휘발성 메모리 장치를 포함해야 함을 유의해야 한다. 하드웨어 구현방식 또는 소프트웨어/하드웨어 구현방식을 포함한 대체 가능한 실시예도 가능함을 유의해야 한다. 하드웨어로 구현되는 기능은 ASIC, 프로그램 가능 배열, 디지털 신호 처리 등을 이용하여 실현될 수 있다. 따라서, 임의의 청구항에 있어서, 용어 "장치"는 소프트웨어 구현방식과 하드웨어 구현방식을 모두 포함하는 것을 목적으로 한다. 마찬가지로, 본 명세서에 사용되는 용어 "컴퓨터 판독 가능한 매체"는 각자 상에서 실행되는 명령 프로그램을 구비한 소프트웨어 및/또는 하드웨어, 또는 소프트웨어와 하드웨어의 조합을 포함한다. 이러한 실시예들의 대체 방안에 관하여, 첨부된 도면 및 그에 따른 설명에는 해당 기술분야의 통상의 지식을 가진 자가 프로그램 코드(즉, 소프트웨어)의 작성 및/또는 회로(즉, 하드웨어)의 제조에 필요한 처리를 수행함에 있어서 필요되는 기능성 정보가 제공된다.

본 발명의 실시예는 다양한 컴퓨터 실행 조작을 수행하기 위한 컴퓨터 코드를 포함한 비휘발성 유형(tangible) 컴퓨터 판독 가능한 매체를 구비한 컴퓨터 제품에 관한 것일 수도 있음을 유의해야 한다. 매체 및 컴퓨터 코드는 본 발명을 목적으로 특별히 디자인 및 구성된 매체 및 컴퓨터 코드일 수 있거나, 또는 관련 분야의 기술자들에게 알려진 또는 이들이 획득할 수 있는 유형일 수 있다. 유형 컴퓨터 판독 가능한 매체의 예시로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 홀로그래픽 장치와 같은 광학 매체, 광 자기 매체, 및 프로그램 코드를 저장하거나 저장 및 실행하도록 특별히 구성된, 예를 들어 응용 주문형 집적 회로(ASIC), 프로그램 가능 논리 소자(PLD), 플래시 메모리 장치 및 ROM 및 RAM장치와 같은 하드웨어 장치를 포함하나 이에 한정되지 않는다. 컴퓨터 코드의 예시로는 컴파일러로 생성된 기계 코드, 및 컴퓨터가 인터프리터를 이용하여 실행한 고차원 코드를 포함한 파일을 포함한다. 본 발명의 실시예는 전체적으로 또는 부분적으로 처리 유닛로 실행되는 프로그램 모듈에 위치할 수 있는 기계 실행 가능한 명령어로 구현될 수 있다. 프로그램 모듈의 예시로는 라이브러리, 프로그램, 루틴, 대상, 부재 및 데이터 구조를 포함한다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 물리적으로 로컬, 리모트 또는 로컬과 리모트를 겸비한 설정속에 위치될 수 있다.

해당 기술분야의 통상의 지식을 가진 자는 어떠한 컴퓨팅 시스템 또는 프로그래밍 언어도 본 발명의 실시에 대해 결정적인 것이 아님을 인정할 것이다. 해당 기술분야의 통상의 지식을 가진 자는 상기한 여러 요소들이 물리적으로 및/또는 기능적으로 서브 모듈로 분리될 수 있거나 또는 함께 조합될 수 있다는 것도 이해할 것이다.

전술한 예시, 실시예 및 실험예들은 예시적으로서, 명확성과 이해를 돕기위한 목적으로 이용될 뿐, 본 발명의 범위를 한정하는 것이 아님을 이해할 것이다. 이는 명세서에 대한 열독과 첨부 도면에 대한 연구를 거쳐 해당 기술분야에서 통상의 지식을 가진 자에게 명확한 모든 대체, 치환, 보강, 균등, 조합 및 그에 대한 개선들이 본 발명의 범위에 포함되도록 하는데 목적이 있다. 따라서, 본 발명의 청구범위에서 명확히 기재하지 않은 한, 본 발명의 참된 정신과 범위 내에 포함되는 이러한 대체, 치환, 보강, 균등, 조합 및 그에 대한 개선들은 본 발명의 청구범위에 포함되도록 하는데 목적이 있다. 청구범위 중의 요소들은 다수의 의존성, 구성 및 조합을 포함하여 상이하게 배치될 수 있음을 유의하여야 한다. 예를 들어, 실시예에 있어서, 각 청구항의 주제는 기타 청구항들과 조합될 수 있음을 유의하여야 한다.

Claims

이미지 입력과 관련되는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법에 있어서,
상기 이미지 입력를 수신하는 단계;
상기 이미지 입력과 관련되는 상기 질문 입력을 수신하는 단계;
상기 질문 입력과 상기 이미지 입력을 주의 기반의 구성 가능한 컨볼루션 신경망(Attention-Based Configurable Convolutional Neural Networks, ABC-CNN) 프레임워크에 입력하여 응답을 생성하는 단계를 포함하되,
상기 ABC-CNN 프레임워크는,
상기 이미지 입력에서 이미지 특징맵을 추출하는 CNN 을 포함하는 이미지 특징맵 추출 부재;
상기 질문 입력에서 질문 임베딩(embeddings)을 획득하는 시맨틱 질문 임베딩 부재;
상기 이미지 특징맵과 상기 질문 임베딩을 수신하고, 상기 질문 입력에서 문의되는 하나 또는 다수의 영역에 집중되는 질문-가이드된 주의맵을 획득하는 질문-가이드된 주의맵 생성 부재; 및
상기 질문-가이드된 주의맵을 이용하여 이미지 특징맵에 대해 가중을 진행하여 주의 가중된(attention weighted) 이미지 특징맵을 획득하고, 상기 이미지 특징맵, 상기 질문 임베딩과 상기 주의 가중된 이미지 특징맵의 융합에 기반하여 응답을 생성하는 응답 생성 부재를 포함하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 시맨틱 질문 임베딩 부재는,
상기 질문 임베딩을 생성하여 상기 질문 입력의 시맨틱 의미를 특징화시키도록 장-단기 메모리(LSTM)층을 포함하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 질문-가이드된 주의맵 생성 부재는,
상기 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅하여 생성되며, 상기 이미지 특징맵과 컨볼루션되어(convolve) 상기 질문-가이드된 주의맵을 생성하는 구성 가능한 컨볼루션 커널(kernel)을 포함하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제3항에 있어서,
상기 컨볼루션 커널은 상기 이미지 특징맵과 동일한 개수의 채널을 구비하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제3항에 있어서,
상기 질문-가이드된 주의맵은 상기 이미지 특징맵과 동일한 크기를 구비하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 이미지 특징맵은, 상기 이미지 입력을 다수의 그리드로 나누고 상기 그리드의 각 유닛에서 D차원(D-dimension) 특징 벡터를 추출하는 것을 통해 추출되는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 이미지 특징맵은 주의 가중된 이미지 특징맵을 획득하도록 상기 질문-가이드된 주의맵에 의해 공간적 가중(spatially weighted)되는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제7항에 있어서,
상기 공간적 가중은 상기 이미지 특징맵과 상기 질문-가이드된 주의맵의 각 채널 사이의 소자당(element-wise) 곱셈을 통해 실현되는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제8항에 있어서,
상기 공간적 가중은 공간적 주의 분포를 위한 Softmax 정규화를 통해 더 한정되는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제1항에 있어서,
상기 ABC-CNN 프레임워크는 확률 기울기 하강(stochastic gradient descent)을 이용하여 단대단(end-to-end) 방식으로 예비 트레이닝(pre-training)을 진행하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
제10항에 있어서,
상기 ABC-CNN 프레임워크는,
예비 트레이닝 기간에 상기 ABC-CNN 프레임워크 내의 모든 층의 활성화의 각 차원이 0평균값 및 하나의 표준 유도(standard derivation)를 구비하는 것을 확보하도록 랜덤으로 조절되는 초기 가중치를 구비하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 컴퓨터 구현 방법.
심층 컨볼루션 신경망을 사용하여 다수의 픽셀을 포함하는 입력 이미지에서 이미지 특징맵을 추출하는 단계;
장-단기 메모리(LSTM)층을 사용하여 상기 입력 이미지와 관련되는 입력 질문에서 조밀(dense) 질문 임베딩을 획득하는 단계;
상기 조밀 질문 임베딩을 시맨틱 공간으로부터 시각적 공간에 프로젝팅하여 질문에 의해 배치되는 다수의 커널을 생성하는 단계;
상기 질문에 의해 배치되는 커널과 상기 이미지 특징맵을 컨볼루션하여 질문-가이드된 주의맵을 생성하는 단계;
상기 질문-가이드된 주의맵을 이용하여 상기 이미지 특징맵에 대해 공간적 가중을 진행하여 멀티-클래스 분류 장치(classifier)에서 상기 입력 질문과 관련되지 않는 영역의 가중을 저감시키는 주의 가중된 이미지 특징맵을 획득하는 단계; 및
상기 이미지 특징맵, 상기 조밀 질문 임베딩 및 상기 주의 가중된 이미지 특징맵의 융합에 기반하여 상기 입력 질문에 대해 응답을 생성하는 단계를 포함하는 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 공간적 가중은 상기 이미지 특징맵 및 상기 질문-가이드된 주의맵의 각 채널 사이의 소자당 곱셈을 통해 실현되는 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 질문-가이드된 주의맵은 상기 입력 질문에 따라 각 픽셀의 관심도를 순응적으로 표시하는 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 질문-가이드된 주의맵은, 상기 질문에 의해 배치되는 커널을 상기 이미지 특징맵에 적용하여 획득되는 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
제12항에 있어서,
상기 이미지 특징맵, 상기 조밀 질문 임베딩 및 상기 주의 가중된 이미지 특징맵은 비선형 프로젝션을 통해 융합되는 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
제16항에 있어서,
상기 비선형 프로젝션은 소자당 하나씩 규정되는 쌍곡선 탄젠트 함수인 것을 특징으로 하는 이미지와 관련되는 질문에 대한 응답을 생성하는 컴퓨터 구현 방법.
질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기에 있어서,
질문 입력의 수신에 응답하여 상기 질문 입력의 조밀 질문 임베딩을 추출하는 장치;
상기 질문 입력과 관련되는 이미지 입력의 수신에 응답하여 이미지 특징맵을 생성하는 장치;
적어도 상기 이미지 특징맵과 상기 조밀 질문 임베딩에 기반하여, 상기 질문 입력에서 문의되는 영역에 선택적으로 집중되는 질문-가이드된 주의맵을 생성하는 장치;
상기 질문-가이드된 주의맵을 이용하여 상기 이미지 특징맵에 대해 공간적 가중을 진행하여 주의 가중된 이미지 특징맵을 획득하는 장치; 및
시맨틱 정보, 상기 이미지 특징맵 및 상기 주의 가중된 이미지 특징맵을 융합하여 상기 질문 입력에 대해 응답을 생성하는 장치;를 포함하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기.
제18항에 있어서,
질문-가이드된 주의맵을 생성하는 장치는,
상기 주의맵의 공간적 주의 분포에 대해 Softmax 정규화를 진행하도록 더 구성되는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기.
제19항에 있어서,
질문-가이드된 주의맵을 생성하는 장치는,
상기 조밀 질문 임베딩에 따라 한 세트의 컨볼루션 커널을 구성하고, 상기 컨볼루션 커널을 상기 이미지 특징맵에 적용하여 상기 질문-가이드된 주의맵을 생성하도록 구성되는 단계를 포함하는 것을 특징으로 하는 질문 입력에 대해 생성한 응답의 정확도를 개선하는 기기.