KR101273646B1 - 멀티 모달리티 데이터 색인 및 검색 방법, 그 시스템 - Google Patents

Abstract

개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 색인 방법은 (a) 복수의 멀티 모달리티 모델들을 입력받아 각 모달리티에 관하여 상기 복수의 멀티 모달리티 모델들과 연관된 복수의 하이퍼네트워크들을 생성하는 단계 및 (b) 상기 하이퍼네트워크들을 기초로 멀티 모달리티 하이퍼네트워크를 생성하는 단계를 포함한다.

Description

멀티 모달리티 데이터 색인 및 검색 방법, 그 시스템 {METHOD AND SYSTEM FOR INDEXING AND SEARCHING IN MULTI-MODALITY DATA}

개시된 기술은 멀티 모달리티 데이터 색인 및 검색 방법, 그 시스템 에 관한 것으로, 특히 상이한 모달리티가 혼재되어 있는 데이터에 대하여 서로 다른 모달리티를 상호 연관하여 검색 할 수 있는 멀티 모달리티 데이터 색인 및 검색 방법, 그 시스템에 관한 것이다.

멀티미디어 환경이 보편화됨에 따라 모달리티가 서로 상이한 데이터들이 함께 연관되어 사용되는 것이 일반화되고 있다. 그러나 모달리티가 서로 상이한 데이터 간의 정보 검색이 쉽지 않아, 상이한 모달리티를 가지는 데이터 간에 연관성을 부여하기 위해서는 일일이 매뉴얼 태깅(Mannual Tagging)을 통하여 이루어지는 것이 일반적이다.

실시예들 중에서, 멀티 모달리티 데이터 색인 방법은 (a) 복수의 멀티 모달리티 모델들을 입력받아 각 모달리티에 관하여 상기 복수의 멀티 모달리티 모델들과 연관된 복수의 하이퍼네트워크들을 생성하는 단계 및 (b) 상기 하이퍼네트워크들을 기초로 멀티 모달리티 하이퍼네트워크를 생성하는 단계를 포함한다. 일 실시예에서, 상기 (a) 단계는 (a-1) 상기 복수의 멀티 모달리티 모델들에 관하여 모달리티 별로 복수개의 특징벡터들을 생성하는 단계, (a-2) 상기 모달리티 별로 생성된 특징벡터들을 샘플링하여 복수개의 하이퍼에지들을 생성하는 단계 및 (a-2) 상기 생성된 하이퍼에지들을 기초로 상기 모달리티 별로 상기 복수의 하이퍼네트워크들을 생성하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (a-1) 단계는 (a-1a) 상기 복수의 멀티 모달리티 모델 각각에 관하여 각 모달리티별로 데이터를 분류하는 단계 및 (a-1b) 가중치를 이용하여 상기 분류된 데이터로부터 특징벡터들을 생성하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (b) 단계는 (b-1) 상기 복수의 하이퍼네트워크마다 하나의 상기 하이퍼에지를 선택하는 단계 및 (b-1) 상기 선택된 하이퍼에지들을 조합하여 복수의 멀티 모달리티 하이퍼에지들을 생성하고, 생성된 상기 멀티 모달리티 하이퍼에지들을 기초로 멀티 모달리티 하이퍼네트워크를 생성하는 단계를 포함할 수 있다. 일 실시예에서, 상기 멀티 모달리티 데이터 색인 방법은 (c) 상기 복수의 하이퍼에지들 중에서 가중치가 낮은 일정 수의 하이퍼에지를 제거하고 상기 (a) 내지 (b) 단계를 재수행하는 학습 단계를 더 할 수 있다.

실시예들 중에서 멀티 모달리티 데이터 색인 방법은 멀티 모달리티 데이터 색인을 이용한다. 상기 멀티 모달리티 하이퍼네트워크는 적어도 두 개의 멀티 모달리티 하이퍼에지를 포함한다. 상기 색인 방법은 (a) 제1 모달리티를 가지는 질의 데이터로부터 특징벡터 집합을 생성하는 단계, (b) 상기 특징벡터 집합에 상응하는 적어도 하나의 상기 멀티 모달리티 하이퍼에지를 선택하는 단계 및 (c) 상기 멀티 모달리티 하이퍼에지에서 제2 모달리티에 해당하는 응답 데이터를 결정하는 단계를 포함한다. 일 실시예에서, 상기 (c) 단계는 (c-1) 상기 멀티 모달리티 하이퍼에지에서 상기 제2 모달리티에 해당하는 적어도 하나의 후보 데이터를 결정하는 단계, (c-2) 상기 적어도 하나의 후보 데이터 각각에 관하여 상기 질의 데이터와의 동시 출현 빈도를 계산하는 단계 및 (c-2) 상기 동시 출현 빈도가 가장 높은 후보 데이터를 상기 응답 데이터로 결정하는 단계를 포함할 수 있다. 일 실시예에서 상기 (b) 단계는 (b-1) 상기 특징벡터 집합을 구성하는 적어도 하나의 원소를 추출하는 단계 및 (b-2) 상기 원소를 적어도 하나 포함하는 상기 멀티 모달리티 하이퍼에지를 상기 멀티 모달리티 하이퍼네트워크에서 선택하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (a) 단계는 (a-1) 상기 제1 모달리티가 텍스트인지 확인하는 단계 및 (a-2) 만일 텍스트라면, 상기 질의 데이터에대해 TF-IDF(Term Frequency - Inverse Document Frequency) 가중치를 이용하여 상기 특징벡터 집합을 생성하는 단계를 포함할 수 있다.

실시예들 중에서, 멀티 모달리티 데이터 검색 시스템은 멀티 모달리티 모델에 관하여 모달리티 별로 복수의 특징벡터들을 생성하는 특징벡터 생성부, 상기 특징벡터들을 샘플링하여 복수의 하이퍼에지들을 생성하고, 상기 하이퍼에지들을 조합하여 멀티 모달리티 하이퍼에지를 생성하는 하이퍼에지생성부, 상기 하이퍼에지들을 저장하여 하이퍼네트워크를 생성하고, 상기 멀티 모달리티 하이퍼에지를 저장하여 멀티 모달리티 하이퍼네트워크를 생성하는 하이퍼네트워크 저장부 및 상기 멀티 모달리티 하이퍼에지를 이용하여 상기 멀티 모달리티 모델에 대한 색인을 생성하는 제어부를 포함한다. 상기 하이퍼네트워크는 모달리티에 종속적이고, 상기 멀티 모달리티 하이퍼네트워크는 모달리티에 독립적이다. 일 실시예에 있어서, 상기 제어부는 상기 하이퍼네트워크에 대하여 가중치를 계산하고, 상기 가중치가 낮은 일정 수의 상기 하이퍼에지를 삭제하여 학습을 수행할 수 있다. 일 실시예에서, 상기 특징벡터 생성부는 상기 모달리티 모델의 텍스트 모달리티에 대하여 TF-IDF(Term Frequency - Inverse Document Frequency) 가중치를 이용하여 상기 특징 벡터를 생성할 수 있다. 일 실시예에서 상기 제어부는 제1 모달리티를 가지는 질의 데이터를 입력받아 상기 멀티 모달리티 하이퍼네트워크를 이용하여 상호 연관 관계에 있으며 제2 모달리티를 가지는 응답 데이터를 검색할 수 있다. 일 실시예에서, 상기 특징벡터 생성부는 상기 질의 데이터에 대하여 특징벡터 집합을 생성하고, 상기 제어부는 상기 특징벡터 집합에 상응하는 적어도 하나의 멀티 모달리티 하이퍼에지를 상기 하이퍼네트워크 저장부에서 선택하고, 선택된 상기 멀티 모달리티 하이퍼에지에서 응답 데이터를 결정할 수 있다. 일 실시예에서, 상기 제어부는 상기 특징 벡터 집합을 구성하는 적어도 하나의 원소를 추출하고, 상기 원소를 기초로 상기 하이퍼네트워크 저장부에서 상기 멀티 모달리티 하이퍼에지를 선택할 수 있다.

도 1은 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 색인 방법의 블록도이다.
도 2는 도 1에 따른 따른 멀티 모달리티 데이터 색인 방법의 순서도이다.
도 3은 도 2에 개시된 색인 방법의 일 실시예에 따른 하이퍼네트워크의 구성을 나타내는 개략도이다.
도 4는 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 학습 방법에 관한 순서도이다.
도 5는 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 검색 방법의 순서도이다.
도 6은 5에 따른 따른 멀티 모달리티 데이터 검색 방법의 순서도이다.
도 7은 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 검색 시스템의 구성도이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

"및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는, 어떤 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c, 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

모달리티(modality)란 감각에서의 유형으로 서로 비교할 수 없고 또한 그 사이의 이행이 인정되지 않는 것을 의미한다. 예를 들어, 시각과 청각은 모달리티가 서로 다르다. 멀티 모달리티 데이터란 복수의 상이한 모달리티가 함께 존재하는 데이터를 의미한다. 예를 들어, 잡지의 경우 사진과 글이 혼용되어 있으므로, 텍스트 모달리티와 이미지 모달리티가 함께 존재하는 데이터이다.

개시된 기술은 하이퍼네트워크를 구성하여 검색한다. 하이퍼네트워크란 하이퍼 그래프를 기반으로 한 확률 그래프 모델을 지칭한다. 하이퍼네트워크는 전역지역성, 조합성, 자가조립성을 가진다.

전역지역성이란 다양한 차수의 하이퍼에지로 하이퍼네트워크를 구성할 수 있는 특성을 의미한다. 낮은 차수의 하이퍼에지들은 더 일반적인 정보를 표현할 수 있고, 높은 차수의 하이퍼에지들은 좀더 구체적인 정보를 표현할 수 있으므로, 하이퍼네트워크는 계층적으로 구성함으로써 일반적인 정보와 구체적인 정보를 함께 표현할 수 있다.

조합성이란 하이퍼네트워크의 구조화된 공간을 기반으로 진화 연산을 통해 하이퍼네트워크에서 최적 해를 탐색해 낼 수 있는 특성을 의미한다.

자가 조립성이란, 하이퍼네트워크의 구조가 무작위 선택 기반의 진화 연산에 의해 자가 조립되어 재구조화되는 특성을 의미한다. 학습된 하이퍼네트워크는 자가 조립된 부분정보를 통해서 리콜 메모리의 특성을 가질 수 있다.

이하에서는 멀티 모달리티 데이터를 입력받아 멀티 모달리티 하이퍼네트워크를 생성하고, 생성된 하이퍼네트워크를 색인으로 이용하여 검색하는 방법에 대하여 설명한다.

도 1은 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 색인 방법의 블록도이다.

도 1을 참조하면, 멀티 모달리티 데이터 색인 방법은 복수의 멀티 모달리티 모델들을 입력받아 각 모달리티에 관하여 상기복수의 멀티 모달리티 모델들과 연관된 하이퍼네트워크들을 생성하고 (단계 S110), 생성된 하이퍼네트워크들을 기초로 멀티 모달리티 하이퍼네트워크를 생성한다(단계 S120).

도 1의 각 단계를 더 상세히 설명하기 위하여 이하 도 2 및 도3 를 참조하여 설명한다.

도 2는 도 1에 따른 따른 멀티 모달리티 데이터 색인 방법의 순서도이고, 도 3은 도 2에 개시된 색인 방법의 일 실시예에 따른 멀티 모달리티 하이퍼네트워크를 나타내는 개략도이다. 도 3의 일 실시예에서는, 설명의 편의를 위하여 텍스트 모달리티와 이미지 모달리티로 구성된 멀티 모달리티 모델을 입력받는 것으로 가정하여 설명하나, 이에 의하여 개시된 기술이 한정되는 것은 아니다.

도 2를 참조하면, 멀티 모달리티 데이터 색인 방법은 입력받은 멀티 모달리티 모델(310)에 관하여 모달리티 별로 복수의 특징벡터들을 생성한다(단계 S210). 일 실시예에서, 복수의 멀티 모달리티 모델 각각에 관하여 각 모달리티별로 데이터를 분류하고, 가중치를 이용하여 분류된 데이터로부터 특징벡터들을 생성할 수 있다. 일 실시예에서, 텍스트 모달리티에 대하여 TF-IDF(Term Frequency-Inverse Document Frequency) 가중치를 사용할 수 있고, 이미지 모달리티에 대하여 시각단어 히스토그램을 가중치로 사용할 수 있다.

본 단계에 대해 도 3을 참조하면, 각각의 멀티 모달리티 모델들(311,312,313)은 텍스트 모달리티(311a, 312a,313a)와 이미지 모달리티(311b, 312b,313b)로 구성될 수 있다. 각각의 멀티 모달리티 모델의 텍스트 모달리티(311a, 312a,313a)에 대하여 가중치를 이용하여 특징벡터들(321)을 추출하고, 이미지 모달리티(311b, 312b,313b) 에 대하여 특징벡터들(322)을 추출할 수 있다. -320에 도시된 각 셀들은 하나의 특징벡터를 의미함-

생성된 특징벡터들(320)에 대하여 각 모달리티 별로 샘플링을 수행하여 복수의 하이퍼에지들(331a 내지 332c 등)을 생성 생성할 수 있다(단계 S220). 본 단계에 대해 도 3을 참조하면, 텍스트 모달리티 특징벡터(321)에 대하여 샘플링을 실시하여 텍스트 하이퍼에지들(331a, 331b, 331c 등)을 생성하고, 이미지 모달리티 특징벡터(322)에 대하여 샘플링을 실시하여 이미지 하이퍼에지들(332a, 332b, 332c 등)을 생성한다. 일 실시예에서, 샘플링은 무작위 선택에 의하여 이루어질 수 있다.

생성된 복수의 하이퍼에지들(331a 내지 332c)을 기초로 각 모달리티 별로 복수의 하이퍼네트워크들(331,332)을 생성할 수 있다(단계 S230). 본 단계에 대해 도 3을 참조하면, 텍스트 하이퍼에지들(331a, 331b, 331c 등)을 취합하여 텍스트 하이퍼네트워크(331)를 생성하고, 이미지 하이퍼에지들(332a, 332b, 332c 등)을 취합하여 이미지 하이퍼네트워크(332)를 생성할 수 있다. 일 실시예에서, 하이퍼네트워크(331,332)를 구성하는 하이퍼에지들(331a 내지 332c)은 추가되거나 삭제될 수 있다.

생성된 하이퍼네트워크에 관하여, 모달리티 별로 하이퍼에지를 선택하고 조합하여 멀티 모달리티 하이퍼에지 생성할 수 있다.(단계 S240). 일 실시예에서, 복수의 하이퍼네트워크마다 하나의 하이퍼에지를 선택할 수 있다. 선택된 하이퍼에지들을 조합하여 복수의 멀티 모달리티 하이퍼에지들을 생성하고, 생성된 멀티 모달리티 하이퍼에지들을 기초로 멀티 모달리티 하이퍼네트워크를 생성할 수 있다. 일 실시예에서, 각각의 멀티 모달리티 모델들은 자신만의 고유 식별자를 가질 수 있고 하이퍼에지들(331a 내지 332c)은 해당 특징벡터를 추출한 멀티 모달리티 모델에 대한 식별자를 가질 수 있다고 가정하면, 멀티 모달리티 하이퍼에지(341)은 식별자가 동일한 하이퍼에지를 각 모달리티 별로 추출하여 조합함으로써 생성될 수 있다.

본 단계에 대해 도 3을 참조하면, 텍스트 하이퍼네트워크(331)에서 하나의 하이퍼에지(331a)를 선택하고, 이미지 하이퍼네트워크(332)에서 하나의 하이퍼에지(332c)를 선택하여 멀티 모달리티 하이퍼에지(341)를 생성할 수 있다. 일 실시예에서, 하이퍼에지를 선택하는 것은 무작위 선택에 의하여 이루어질 수 있다.

생성된 멀티 모달리티 하이퍼네트워크에 대하여 학습을 수행할 수 있다(단계 S250). 일 실시예에서, 복수의 하이퍼에지들 중에서 가중치가 낮은 일정 수의 하이퍼에지들을 제거하고, 나머지 하이퍼에지들 대상으로 단계 S210 내지 S240을 재수행하여 학습을 수행할 수 있다. 학습 단계에 대해서는 도 4를 참조하여 후술한다.

이하에서는 도 3의 일 실시예에 따른 하이퍼네트워크와 멀티 모달리티 하이퍼네트워크에 관한 수학적 산출 방법에 대하여 설명한다.

하이퍼네트워크를 H라 하고 이를 수식으로 표현하면 이하의 수학식 1과 같다.

V는 버텍스(Vertex) 집합, E는 하이퍼에지 집합, W는 가중치 집합을 나타낼수 있다. 버텍스는 모달리티를 표현하는 특징벡터일 수 있고, 하이퍼에지는 두 개 이상의 버텍스의 조합을 표현할 수 있다. 각각의 하이퍼에지(331a 내지 332c)는 고유의 가중치 값을 가질 수 있다.

하나의 하이퍼에지를 구성하는 버텍스의 개수를 차수라고 정의하며, k-하이퍼에지는 차수가 k인 하이퍼에지를 의미할 수 있다. k-하이퍼에지들로만 구성된 하이퍼네트워크를, k-하이퍼네트워크로 표현한다. 도 3에 도시된 하이퍼에지(331a 내지 332c)들은 차수 k가 3이며,3-하이퍼네트워크(341,342)를 구성한다.

하이퍼네트워크(331,332)는 여러 특징벡터들 간의 고차 연관관계를 표현할 수 있다. 하이퍼네트워크(331,332)는 주어진 멀티 모달리티 모델에 내재된 정보 조각들을 저장하는 확률연상 메모리 모델로 인식될 수 있기 때문에, 저장된 정보와 실제 데이터의 확률분포를 추정하는 모델로 수식화할 수 있다.

특징벡터를 랜덤변수로 가정하고 랜덤변수 벡터 x={x1,x2,‥m}라 표현하면, 데이터가 주어질 때 하이퍼네트워크(331,332)에 포함된 정보의 양을 에너지 함수로 재정의하면 다음의 수학식 2와 같이 표현될 수 있다.

여기에서 함수 I(x(n), Ei)는 하이퍼에지 Ei와 데이터 패턴 x(n)을 매칭하여, 매칭되면 1을 출력하고 매칭되지 않으면 0을 출력하는 함수이다. 입력 데이터는 수학식 3과 같이 표현될 수 있다.

수학식 2에서 W는 주어진 하이퍼네트워크(331,332)의 파라미터이며 wi(k)는 하이퍼에지 Ei의 가중치일 수 있다. 하이퍼네트워크(331,332)가 주어질 때 데이터 패턴을 생성해낼 확률은 다음의 수학식 4 및 5와 같이 표현될 수 있다.

수학식 5에서 Z(W) 는 부분함수로서, 다음의 수학식 6과 같이 표현될 수 있다.

멀티 모달리티 하이퍼네트워크(340)는 적어도 두 개의 층으로 구성된 계층적 구조를 가진다. 첫 번째 층은 하이퍼네트워크 층(331,332)으로서 해당 모달리티에 종속된다. 예를 들어, 텍스트 하이퍼네트워크(331)는 텍스트 모달리티에 종속되고, 이미지 하이퍼네트워크(332)는 이미지 모달리티에 종속된다. 두 번째 층은 멀티 모달리티 하이퍼네트워크(340)로서 모달리티를 통합하여 이루어진다.

입력되는 멀티 모달리티 모델(310)은 모달리티 별로 분할된다. 분할된 멀티 모달리티 모델을 각 모달리티에 대하여 특징벡터들(320)을 추출하고, 특징벡터들에 애하여 샘플링을 하여 하이퍼네트워크(331,332)를 구성할 수 있다. 따라서, 하이퍼네트워크(331,332)의 수는 입력되는 멀티 모달리티 모델(310)의 모달리티의 개수와 동일하다. 예를 들어, 도 3과 마찬가지로, 입력되는 멀티 모달리티 모델(310)이 텍스트와 이미지를 모달리티로 가지고 있으면, 하이퍼네트워크는 텍스트에 대한 하이퍼네트워크(331)와 이미지에 대한 하이퍼네트워크(332), 두 가지로 생성된다.

멀티 모달리티 하이퍼네트워크(340)는 모달리티를 통합하여 하나만 존재한다. 멀티 모달리티 하이퍼네트워크는 하이퍼네트워크(331,332)를 구성하는 하이퍼에지들(331a 내지 332c)에서 무작위로 선택된 하이퍼에지들을 병합함으로써 생성될 수 있다. 두번재 층의 멀티 모달리티 하이퍼네트워크(340)는 모달리티들 간의 연관관계를 표현할 수 있으며 이를 수식으로 표현하면 수학식 7과 같다.

수학식 7에 입력되는 데이터는 두 개의 하이퍼네트워크에서 각 선택된 하이퍼에지이며 이는 수학식 8과 같다.

여기서 m1과 m2 는 특성 벡터를 의미할 수 있다.

멀티 모달리티 하이퍼네트워크(340)로부터 데이터가 생성될 확률은 수학식 9와 같다.

학습된 멀티 모달리티 하이퍼네트워크(340)에 의해 교차 모달리티 추론을 통해 데이터가 생성될 확률은 수학식 10과 같다.

도 4는 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 학습 방법에 관한 순서도이다.

도 4를 참조하여 멀티 모달리티 데이터 학습 방법에 대하여 설명한다. 일 실시예에서, 멀티 모달리티 데이터 학습 방법은 하이퍼네트워크(331,332)에 대한 학습 방법과 멀티 모달리티 하이퍼네트워크(340)에 대한 학습 방법을 포함할 수 있다. 도 4는 멀티 모달리티 데이터 학습 방법에 대하여 하이퍼네트워크(331,332)에 대한 학습을 기초로 설명하였으나, 멀티 모달리티 하이퍼네트워크(340)에 대한 학습을 기초로 이루어질 수 도 있다.

멀티 모달리티 데이터 학습 방법은 생성된 하이퍼네트워크들(331,332)에 대하여 각각 훈련하여 가중치를 계산한다(단계 S410). 일 실시예에서, 하이퍼네트워크(331,332)의 학습 방법은 가중치가 높은 하이퍼에지들로 네트워크 구조를 재생성함으로써 이루어질 수 있다

훈련된 하이퍼네트워크들(331,332)을 기초로 멀티 모달리티 하이퍼네트워크(340)를 생성하고 훈련을 통하여 가중치를 계산한다(단계 S420). 생성된 멀티 모달리티 하이퍼네트워크(340)에 대하여 충분히 훈련되었는지 (예를 들어, 종료조건을 만족하는지) 확인하고, 충분하지 못하면 하이퍼네트워크(331,332)에서 가중치가 낮은 하이퍼에지를 제거하고 새로운 하이퍼에지를 생성할 수 있다(단계 S430). 새로이 생성된 하이퍼에지를 기초로 단계 S410 내지 S420을 반복할 수 있다.

상기의 학습 과정은 유도 함수를 최대화하는 과정으로 설명할 수 있으며, 유도 함수는 수학식 11과 같이 표현될 수 있다.

유도 함수를 최대화 하기 위하여, 제한된 조건에서 가장 가중치가 높은 하이퍼에지들을 포함하여 하이퍼네트워크를 재생성 할 수 있다. 일 실시예에서, 하이퍼네트워크는 가중치가 낮은 일정한 수의 하이퍼에지를 삭제하고, 모달리티 모델에서 특징벡터를 추출하여 삭제된 수만큼의 새로운 하이퍼에지를 생성하여 재구성됨으로써 학습을 수행할 수 있다.

가중치 w에 대해서는 수학식 12와 같이 표현될 수 있다.

일 실시예에서, 멀티 모달리티 하이퍼네트워크(340)의 학습 방법은 하이퍼네트워크(331, 332)의 학습방법과 유사하게 실시될 수 있다. 예를 들어, 가중치가 낮은 일정 개수의 멀티 모달리티 하이퍼에지들을 제거하고, 삭제된 개수 만큼 새로운 멀티 모달리티 하이퍼에지를 이용하여 멀티 모달리티 하이퍼네트워크(340)를 재생성함으로써 학습을 수행할 수 있다. 생성된 멀티모달 하이퍼에지의 가중치는 수학식 12로 부터 계산될 수 있다.

상기의 학습 방법에 대한 알고리즘은 아래와 같이 표현될 수 있다.

도 5는 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 검색 방법의 블록도이고, 도 6은 5에 따른 따른 멀티 모달리티 데이터 검색 방법의 순서도이다.

도 5를 참조하면, 멀티 모달리티 데이터 검색 방법은 제1 모달리티를 가지는 질의 데이터로부터 특징벡터 집합을 생성하고(단계 S510), 특징 벅터 집합에 상응하는 적어도 하나의 멀티 모달리티 하이퍼에지를 선택한 후(단계 S520), 선택된 멀티 모달리티 하이퍼에지에서 제2 모달리티에 해당하는 응답 데이터를 결정한다(단계 S530). 도 5의 각 단계에 대하여, 이하 도 6을 참조하여 상세히 설명한다.

멀티 모달리티 데이터 검색 방법은 특정 모달리티를 가지는 질의 데이터를 입력받는다. 이하에서는 질의 데이터의 모달리티는 텍스트이고, 응답 데이터의 모달리는 이미지인 예(Text to Image, T2I)를 들어 설명한다.

입력 받은 이미지 질의 데이터에 대하여 특징벡터 집합을 생성한다(단계 S610). 일 실시예에서, 특징벡터 집합을 생성할 때 사용되는 가중치는 멀티 모달리티 하이퍼네트워크를 생성할 때 사용되는 가중치에 상응할 수 있다. 예를 들어,멀티 모달리티 하이퍼 네크워크를 생성할 때, 멀티 모딜리티 모델의 텍스트 부분에 대하여 TF-IDF(Term Frequency - Inverse Document Frequency) 가중치를 이용하였다면, 질의 데이터에 대하여 특징벡터를 생성할 때 동일하게 TF-IDF 가중치를 이용할 수 있다.

특징벡터 집합을 생성하면, 그에 상응하는 적어도 하나의 멀티 모달리티 하이퍼에지를 선택한다(단계 S620). 일 실시예에서, 특징벡터 집합에 포함된 원소들을 적어도 하나 포함하는 멀티 모달리티 하이퍼에지를 선택할 수 있다. 다른 실시예에서, 특징벡터 집합에 포함된 원소들을 가장 많이 포함하고 있는 멀티 모달리티 하이퍼에지를 선택할 수 있다. 또 다른 실시예에서, 특징벡터 집합을 구성하는 각 원소에 대하여 가중치를 부여하여, 원소별 가중치와 원소의 종류를 승산하여 가장 높은 가중치를 가지는 멀티 모달리티 하이퍼에지를 선택할 수 있다.

멀티 모달리티 하이퍼에지를 선택하면, 선택된 멀티 모달리티 하이퍼에지에서 이미지에 해당하는 응답 데이터를 결정한다. 일 실시예에서, 응답 데이터를 결정하기 위하여 적어도 하나의 후보 데이터를 결정하고(단계 S630), 각각의 후보 데이터에 관하여 질의 데이터와의 동시 출현 빈도를 계산하여(단계 S640). 동시 출현 빈도가 가장 높은 후보 데이터를 응답 데이터로 결정할 수 있다(단계 S650).

다른 예를 들어, 질의 데이터의 모달리티가 이미지이고, 응답 데이터의 모달리티가 텍스트인 예(Image to Text, I2T)에 대하여 수식을 기초로 설명한다.

일 실시예에서, 멀티 모달리티 하이퍼네트워크는 질의를 받으면, 교차 모달리티 연상 추론을 통해 텍스트 단어와 이미지 시각언어를 생성할 수 있다. 교차 모달리티 연상 생성은 text-to-image (T2I)와 image-to-text (I2T)로 구분된다.

질의의 결과로 생성될 응답 데이터(예를 들어, 확장 텍스트 단어 집합)는 질의로 주어진 이미지의 특징벡터 집합(예를 들어, 시각단어 집합)에 속하는 원소를 하나이상 포함하는 멀티 모달리티 하이퍼에지의 텍스트 모달리티를 기초로 생성될 수 있다. 예를 들어, 응답 데이터는 멀티 모달리티 하이퍼에지의 텍스트 부분에 상응하는 텍스트 단어들 중에서 선택되어 생성될 수 있다.

응답 데이터를 선택하기 위하여, 텍스트 단어와 시각단어의 동시 출현빈도를 계산하여 사용할 수 있다.

시각단어 집합 Q가 질의로 주어진다고 가정할 때, 멀티 모달리티 하이퍼네트워크(340)의 n번째 멀티 모달리티 하이퍼에지 En에 있는 i번째 텍스트 단어의 점수 sIdx(i),En 는 수학식 13과 같이 표현될 수 있다.

수학식 13에서, Idx(i) 는 En의 i번째 텍스트 단어의 텍스트 데이터 벡터에서의 인덱스를 의미하고, xIdx(i)는 Idx(i)의 텍스트 단어 값을, |Q - En|는 차지합의 원소의 개수를, C는 임의의 상수를 의미한다.

따라서, 멀티 모달리티 하이퍼네트워크(340) 전체에 대하여 각 텍스트 단어별 점수 sIdx(i)는 수학식 14와 같이 표현될 수 있다.

수학식 14를 참조하면, 특정 멀티 모달리티 하이퍼에지가 시각단어 요소를 많이 포함하고 있을수록, 그 멀티 모달리티 하이퍼에지를 구성하는 텍스트 단어의 점수는 높아지게 된다. 상기의 수학식 13 및 수학식 14을 기초로 동시 출현 빈도의 값이 높은 텍스트 단어들은 확장 질의 텍스트 집합에 포함될 수 있다.

도 7은 개시된 기술의 일 실시예에 따른 멀티 모달리티 데이터 검색 시스템의 구성도이다.

멀티 모달리티 데이터 검색 시스템은 입출력부(710), 특징벡터 생성부(720), 특징벡터 저장부(730), 하이퍼에지 생성부(740), 하이퍼네트워크 저장부(750) 및 제어부(760)를 포함한다.

입출력부(710)는 색인 작업을 위한 멀티 모달리티 모델을 입력을 수 있고, 검색 작업의 결과를 출력할 수 있다.

특징벡터 생성부(720)는, 색인 작업을 위하여, 멀티 모달리티 모델들에 관하여 모달리티 별로 특징벡터들을 생성할 수 있다. 특징벡터 생성부(720)는, 검색 작업을 위하여, 질의 데이터에 관하여 특징벡터 집합을 생성할 수 있다.

특징벡터 저장부(730)는 생성된 멀티 모달리티 모델들에 관한 특징벡터들을 저장할 수 있다.

하이퍼에지 생성부(740)는 특징벡터 저장부(730)에 저장된 특징벡터를 샘플링하여 하이퍼에지를 생성할 수 있다. 생성된 하이퍼에지는 하이퍼네트워크 저장부(750)에 저장되어 하이퍼네트워크를 구성할 수 있다. 일 실시예에서, 하이퍼에지 생성부(740)는 하이퍼네트워크 저장부(750)에 저장된 하이퍼에지를 입력받고 이들을 조합하여 멀티 모달리티 하이퍼에지를 생성할 수 있다.

하이퍼네트워크 저장부(750)는 하이퍼에지를 저장하고, 제어부(760)의 제어에 의하여 하이퍼네트워크를 구축하여 저장할 수 있다. 일 실시예에서, 멀티 모달리티 하이퍼에지를 입력받아 이를 기초로 멀티 모달리티 하이퍼네트워크를 구축하여 저장할 수 있다.

제어부(760)는 입출력부(710), 특징벡터 생성부(720), 특징벡터 저장부(730), 하이퍼에지 생성부(740) 및 하이퍼네트워크 저장부(750)를 제어하여 멀티 모달리티 하이퍼네트워크를 생성할 수 있다. 일 실시예에서, 제어부(760)는 생성된 멀티 모달리티 하이퍼네트워크를 기초로 질의된 데이터와 연관된, 모달리티가 상이한 응답 데이터를 결정할 수 있다.

일 실시예에서, 제어부(760)는 입출력부(710)를 제어하여 멀티 모달리티 모델을 입력받아 모달리티 별로 복수의 특징벡터들을 생성하도록 특징벡터 생성부(720)를 제어할 수 있다. 제어부(760)는 생성된 복수의 특징벡터들을 특징벡터 저장부(730)에 저장한다. 제어부(760)는 저장된 복수의 특징벡터로부터 복수의 하이퍼에지들을 생성하도록 하이퍼에지 생성부(740)를 제어하고, 생성된 복수의 하이퍼에지들을 하이퍼네트워크 저장부(750)에 저장하여 하이퍼네트워크를 생성할 수 있다. 제어부(760)는 모달리티별로 하나의 하이퍼에지를 선택하고, 선택된 하이퍼에지들을 조합하여 멀티 모달리티 하이퍼에지를 생성하도록 하이퍼에지 생성부(740)를 제어할 수 있다. 제어부(760)는 생성된 멀티 모달리티 하이퍼에지를 하이퍼네트워크 저장부(750)에 저장하여 멀티 모달리티 하이퍼네트워크를 생성할 수 있다.

일 실시예에서, 제어부(760)는 가중치를 이용하여 멀티 모달리티 하이퍼네트워크는 학습할 수 있다. 가중치에 대해서는 도 3을 참조하여 상술하였다. 제어부(760)는 하이퍼네트워크 저장부(750)에 저장된 복수의 하이퍼에지들 중에서 가중치가 낮은 일정 수의 하이퍼에지를 제거하고, 제거된 수 만큼의 하이퍼에지를 생성하도록 하이퍼에지 생성부(740)를 제어할 수 있다. 다른 실시예에서, 제어부(760)는 하이퍼네트워크 저장부(750)에 저장된 복수의 멀티 모달리티 하이퍼에지들 중에서 가중치가 낮은 일정 수의 멀티 모달리티 하이퍼에지를 제거하고, 제거된 수 만큼의 멀티 모달리티 하이퍼에지를 생성하도록 하이퍼에지 생성부(740)를 제어할 수 있다.

일 실시예에서, 제어부(760)는 입출력부(710)를 통하여 질의 데이터를 전달받아 특징벡터 집합을 생성하도록 특징벡터 생성부(720)를 제어할 수 있다. 제어부(760)는 하이퍼네트워크 저장부(750)에 저장된 멀티 모달리티 하이퍼네트워크에서, 특징벡터 집합에 상응하는 멀티 모달리티 하이퍼에지를 선택하고, 선택된 멀티 모달리티 하이퍼에지에서 질의 데이터와 상이한 모달리티를 가지는 응답 데이터를 결정할 수 있다.

일 실시예에서, 제어부(760)는 질의 데이터로부터 생성된 특징벡터 집합을 구성하는 적어도 하나의 원소를 추출하고, 추출된 원소를 적어도 하나 포함하는 멀티 모달리티 하이퍼에지를 하이퍼네트워크 저장부(750)로부터 선택할 수 있다. 제어부(760)는 선택된 멀티 모달리티 하이퍼에지를 이용하여 질의 데이터에 대한 응답 데이터를 결정할 수 있다.

일 실시예에서, 제어부(760)는 질의 데이터에 상응하는 멀티 모달리티 하이퍼에지에서 질의 데이터와 모달리티가 상이한 후보 데이터를 결정하고, 결정된 후보 데이터 각각에 대하여 질의 데이터와의 동시 출현 빈도를 계산할 수 있다. 제어부(760)는 계산된 동시 출현 빈도를 이용하여 (예를 들어, 동시 출현 빈도 값이 높은 순서를 이용하여) 후보 데이터에서 응답 데이터를 선택할 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

일 실시예에 따른 멀티 모달리티 데이터 색인 및 검색방법과 그 시스템은 서로 다른 모달리티들이 혼용된 데이터들을 대상으로 색인이 가능하다. 각 모달리티에 대하여 특징값을 추출하고 이들을 선정하여 조합한 하이퍼네트워크를 이용하여 특징값을 기초로 상호 대응여부를 확인하기 때문이다.

또한 일 실시예에 따른 멀티 모달리티 데이터 색인 및 검색방법과 그 시스템은 질의 데이터와 연관성을 가진 모달리티가 상이한 응답 데이터를 검색할 수 있다. 멀티 모달리티 데이터에 대하여 모달리티 별로 하나의 하이퍼네트워크를 생성하고, 모달리티를 통합하여 또 다른 하이퍼네트워크를 생성하여 검색을 수행하기 때문이다.

또한 일 실시예에 따른 멀티 모달리티 데이터 색인 및 검색방법과 그 시스템은 상이한 모달리티에 대한 검색을 수행함에 있어 정확성을 높일 수 있다. 하이퍼네트워크를 구성하는 하이퍼에지에 대하여 지능형 학습 절차를 수행할 수 있기 때문이다.

또한 일 실시예에 따른 멀티 모달리티 데이터 색인 및 검색방법과 그 시스템을 이용하여 서로 상이한 웹 사이트 간에 상이한 모달리티를 가지는 대상에 대해서 연관 링크를 부여할 수 있다. 하나의 웹 사이트 페이지에 대하여 색인을 수행하고, 다른 웹 사이트 페이지의 내용을 질의로 하여 검색을 수행함으로써 연관성을 계산할 수 있기 때문이다.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 출원의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

1. 멀티 모달리티 데이터 검색 시스템에서 수행되는 멀티 모달리티 데이터 색인 방법에 있어서,
   (a) 복수의 멀티 모달리티 모델들을 입력받는 단계;
   (b) 상기 복수의 멀티 모달리티 모델 각각에 관하여 각 모달리티별로 데이터를 분류하는 단계;
   (c) 상기 각 모달리티에 대한 가중치를 이용 -텍스트 모달리티에 대하여 TF-IDF(Term Frequency-Inverse Document Frequency) 가중치를 이용하고, 이미지 모달리티에 대하여 시각단어 히스토그램을 가중치로 이용함- 하여 상기 분류된 데이터로부터 상기 복수의 멀티 모달리티 모델들에 관하여 모달리티 별로 복수개의 특징벡터들을 생성하는 단계;
   (d) 상기 모달리티 별로 생성된 복수개의 특징벡터들을 샘플링하여 복수개의 하이퍼에지들을 생성하는 단계;
   (e) 상기 생성된 하이퍼에지들을 기초로 상기 복수의 멀티 모달리티 모델들과 연관된 복수의 하이퍼네트워크들을 생성하는 단계;
   (f) 상기 복수의 하이퍼네트워크마다 하나의 상기 하이퍼에지를 선택하는 단계; 및
   (g) 상기 선택된 하이퍼에지들을 조합하여 복수의 멀티 모달리티 하이퍼에지들을 생성하고, 생성된 상기 멀티 모달리티 하이퍼에지들을 기초로 멀티 모달리티 하이퍼네트워크를 생성하는 단계를 포함하는 멀티 모달리티 데이터 색인 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서, 상기 멀티 모달리티 데이터 색인 방법은
   상기 복수의 하이퍼에지들 중에서 가장 가중치가 낮은 일정한 수의 하이퍼에지를 제거하고 상기 (a) 내지 (g) 단계를 재수행하는 학습 단계를 더 포함하는 것을 특징으로 하는 멀티 모달리티 데이터 색인 방법.
   
6. 멀티 모달리티 데이터 검색 시스템에서 수행되는 멀티 모달리티 데이터 색인을 이용한 검색 방법에 있어서, -멀티 모달리티 하이퍼네트워크는 적어도 두 개의 멀티 모달리티 하이퍼에지를 포함함- 상기 검색방법은
   제1 모달리티를 가지는 질의 데이터로부터 특징벡터 집합을 생성(제1 모달리티가 텍스트인 경우, 상기 질의 데이터에 대해 TF-IDF(Term Frequency - Inverse Document Frequency) 가중치를 이용하여 상기 특징벡터 집합을 생성)하는 단계;
   상기 특징벡터 집합을 구성하는 적어도 하나의 원소를 추출하는 단계;
   상기 원소를 적어도 하나 포함하는 상기 멀티 모달리티 하이퍼에지를 상기 멀티 모달리티 하이퍼네트워크에서 선택하는 단계;
   상기 멀티 모달리티 하이퍼에지에서 제2 모달리티에 해당하는 적어도 하나의 후보 데이터를 결정하는 단계;
   상기 적어도 하나의 후보 데이터 각각에 관하여 상기 질의 데이터와의 동시 출현 빈도를 계산하는 단계; 및
   상기 동시 출현 빈도가 가장 높은 후보 데이터를 응답 데이터로 결정하는 단계를 포함하는 멀티 모달리티 데이터 색인을 이용한 검색 방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images