KR20210050139A - 이미지의 유사도 계산 장치 및 방법 - Google Patents

이미지의 유사도 계산 장치 및 방법 Download PDF

Info

Publication number
KR20210050139A
KR20210050139A KR1020190134387A KR20190134387A KR20210050139A KR 20210050139 A KR20210050139 A KR 20210050139A KR 1020190134387 A KR1020190134387 A KR 1020190134387A KR 20190134387 A KR20190134387 A KR 20190134387A KR 20210050139 A KR20210050139 A KR 20210050139A
Authority
KR
South Korea
Prior art keywords
image
text
feature vector
similarity
text object
Prior art date
Application number
KR1020190134387A
Other languages
English (en)
Inventor
김주동
황봉규
윤재웅
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020190134387A priority Critical patent/KR20210050139A/ko
Priority to US16/665,736 priority patent/US20210124976A1/en
Publication of KR20210050139A publication Critical patent/KR20210050139A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00456—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

이미지의 유사도 계산 장치 및 방법이 개시된다. 일 실시예에 따른 유사도 계산 장치는, 이미지로부터 이미지 특징 벡터(image feature vector)를 추출하는 제1 특징 추출 모듈; 상기 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)를 검출하는 텍스트 영역 검출 모듈; 검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출하는 제2 특징 추출 모듈; 상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출하는 제3 특징 추출 모듈; 및 동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성하는 결합 모듈을 포함한다.

Description

이미지의 유사도 계산 장치 및 방법{APPARATUS AND METHOD FOR CALCULATING SIMILARITY OF IMAGES}
개시되는 실시예들은 이미지 검색에 관한 것으로서, 더욱 상세하게는 텍스트 객체(text object)가 포함된 이미지를 효과적으로 검색하기 위한 기술과 관련된다.
이미지 검색이란 검색 시 키워드가 아닌 이미지를 이용하는 검색을 의미하는 것으로서, 이미지-투-이미지(image-to-image)로 칭하기도 한다. 이미지 검색은 키워드를 이용한 텍스트 기반의 검색으로 찾을 수 없는 정보들을 쉽게 얻을 수 있는 장점이 있어 최근 들어 활발히 사용되고 있다.
종래의 이미지 검색 시스템의 경우 질의 이미지(query image) 자체의 유사성만을 검색에 활용하였다. 그러나 이미지 내에는 이미지 자체의 특성 이외에도 다양한 정보를 포함한다. 예를 들어, 제품 사진의 경우 제품 이미지 로고, 제품명, 모델명 등을 포함하는 경우가 많다. 이러한 정보들은 이미지 검색에 있어 이미지 자체의 정보만큼이나 중요한 요소들인데도 불구하고 종래의 이미지 검색 시스템의 경우 이러한 정보들이 제대로 사용되지 못하였다. 특히 이미지에 포함된 텍스트 객체(text object)의 경우 많은 정보를 내포하고 있음에도 불구하고 이미지 검색에 유효한 인자로 반영되지 못함으로써, 검색자의 의도와는 맞지 않는 이미지 검색 결과가 도출되는 문제가 발생하였다.
한국 등록특허공보 10-2007840호 (2019.07.31.)
개시되는 실시예들은 이미지에 포함된 텍스트 객체의 형태적, 의미적 특징을 이미지 검색에 활용함으로써, 이미지 검색의 성능을 향상하기 위한 기술적인 수단을 제공하기 위한 것이다.
일 실시예에 따르면, 이미지로부터 이미지 특징 벡터(image feature vector)를 추출하는 제1 특징 추출 모듈; 상기 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)를 검출하는 텍스트 영역 검출 모듈; 검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출하는 제2 특징 추출 모듈; 상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출하는 제3 특징 추출 모듈; 및 동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성하는 결합 모듈을 포함하는, 이미지 유사도 계산 장치가 제공된다.
상기 결합 모듈은, 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터를 결합(concatenate)하여 상기 텍스트 객체 특징 벡터를 생성할 수 있다.
상기 결합 모듈은, 상기 텍스트 영역 검출 모듈에서 검출된 상기 텍스트 객체 영역이 복수 개인 경우, 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix)를 생성할 수 있다.
상기 장치는, 제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 매트릭스, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 매트릭스를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는 유사도 계산 모듈을 더 포함할 수 있다.
상기 유사도 계산 모듈은, 상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 제1 유사도, 및 상기 제1 텍스트 객체 특징 매트릭스 및 상기 제2 텍스트 객체 특징 매트릭스의 제2 유사도를 이용하여 상기 유사도를 계산할 수 있다.
상기 유사도 계산 모듈은, 상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 내적(inner product) 또는 유클리디언 거리(euclidean distance) 중 하나를 이용하여 상기 제1 유사도를 계산할 수 있다.
상기 유사도 계산 모듈은, 상기 제1 텍스트 객체 특징 매트릭스에 상기 제2 텍스트 객체 특징 매트릭스의 전치행렬(transposed matrix)을 곱하여 생성되는 결과 매트릭스의 원소 중 최대값을 이용하여 상기 제2 유사도를 계산할 수 있다.
상기 유사도 계산 모듈은, 상기 제1 유사도 및 상기 제2 유사도에 가중치를 적용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산할 수 있다.
다른 예시적인 실시예에 따르면, 이미지로부터 이미지 특징 벡터(image feature vector)를 추출하는 제1 특징 추출 단계; 상기 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)를 검출하는 단계; 검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출하는 제2 특징 추출 단계; 상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출하는 제3 특징 추출 단계; 및 동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성하는 결합 단계를 포함하는, 이미지 유사도 계산 방법이 제공된다.
상기 결합 단계는, 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터를 결합(concatenate)하여 상기 텍스트 객체 특징 벡터를 생성할 수 있다.
상기 결합 단계는, 상기 텍스트 영역 검출 모듈에서 검출된 상기 텍스트 객체 영역이 복수 개인 경우, 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix)를 생성하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 결합 단계의 수행 이후, 제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 매트릭스, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 매트릭스를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는 유사도 계산 단계를 더 포함할 수 있다.
상기 유사도 계산 단계는, 상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 제1 유사도, 및 상기 제1 텍스트 객체 특징 매트릭스 및 상기 제2 텍스트 객체 특징 매트릭스의 제2 유사도를 이용하여 상기 유사도를 계산할 수 있다.
상기 유사도 계산 단계는, 상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 내적(inner product) 또는 유클리디언 거리(euclidean distance) 중 하나를 이용하여 상기 제1 유사도를 계산할 수 있다.
상기 유사도 계산 단계는, 상기 제1 텍스트 객체 특징 매트릭스에 상기 제2 텍스트 객체 특징 매트릭스의 전치행렬(transposed matrix)을 곱하여 생성되는 결과 매트릭스의 원소 중 최대값을 이용하여 상기 제2 유사도를 계산할 수 있다.
상기 유사도 계산 단계는, 상기 제1 유사도 및 상기 제2 유사도에 가중치를 적용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산할 수 있다.
개시되는 실시예에 따르면, 이미지 검색에 있어 이미지 자체의 특징값 뿐만 아니라 이미지에 포함된 텍스트 객체의 형태적, 의미적 특징을 이미지 검색에 함께 활용함으로써, 이미지 자체의 특징만을 고려할 때와 비교하여 이미지 검색의 성능을 향상시킬 수 있다.
도 1은 일 실시예에 따른 이미지 유사도 계산 장치(100)를 설명하기 위한 블록도
도 2는 일 실시예에 따른 이미지 유사도 계산 장치(100)에서 대상 이미지(202)로부터 특징을 추출하는 과정을 설명하기 위한 예시도
도 3은 일 실시예에 따른 이미지 유사도 계산 방법(300)을 설명하기 위한 흐름도
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 이미지 유사도 계산 장치(100)를 설명하기 위한 블록도이다. 일 실시예에 따른 이미지 유사도 계산 장치(100)는 제1 이미지 및 제2 이미지 자체의 형태적 특징(image feature) 및 각 이미지에 포함된 텍스트 객체(text object)의 형태적, 의미적 특징을 고려하여 제1 이미지 및 제2 이미지 간의 유사도를 계산하기 위한 장치이다. 이때 텍스트 객체의 형태적 특징은 벡터 형태로 표현되며, 텍스트의 모양(폰트, 크기, 컬러)의 정보를 포함한다. 또한 텍스트 객체의 의미적 특징은 벡터 형태로 표현되며, 텍스트의 뜻이 포함된 정보로 해당 벡터를 통해 언어적 의미 파악할 수 있다. 텍스트 객체의 의미적 특징을 이용하면, 해당 텍스트 객체를 다른 언어로 번역하거나, 텍스트 객체의 의미와 유사한 단어를 유추할 수 있다.
도 1에 도시된 바와 같이, 일 실시예에 따른 유사도 계산 장치(100)는 제1 특징 추출 모듈(102), 텍스트 영역 검출 모듈(104), 제2 특징 모듈(106), 제3 특징 추출 모듈(108), 결합 모듈(110) 및 유사도 계산 모듈(112)을 포함한다.
제1 특징 추출 모듈(102)은 대상 이미지로부터 이미지 특징 벡터(image feature vector)를 추출한다.
도 2는 일 실시예에 따른 이미지 유사도 계산 장치(100)에서 대상 이미지(202)로부터 특징을 추출하는 과정을 설명하기 위한 예시도이다. 도시된 바와 같이, 제1 특징 추출 모듈(102)은 심층 신경망(deep neural network, 204)의 특징 추출 레이어(feature extract layer)를 이용하여 대상 이미지(202)로부터 이미지 특징 벡터(206)를 추출할 수 있다. 이때 추출되는 이미지 특징 벡터(206)의 크기는 1 x N (N은 1 이상의 자연수)일 수 있다. 이미지 특징 벡터(206)는 대상 이미지(202) 전체의 형태적 특징과 관련된 정보를 포함한다.
텍스트 영역 검출 모듈(104)은 대상 이미지(202)에 포함된 하나 이상의 텍스트 객체 영역(text object region, 208)를 검출한다. 일 실시예에서, 텍스트 영역 검출 모듈(104)은 심층 신경망(210)을 이용하여 대상 이미지(202) 내에서 글자, 숫자 등의 텍스트를 포함한 영역을 인식하고 해당 영역을 크롭(crop)함으로써 하나 이상의 텍스트 객체 영역(208)을 검출할 수 있다. 이때 텍스트 객체 영역을 검출하기 위한 심층 신경망(210)의 구조는 대상 이미지(202)로부터 이미지 특징 벡터(206)를 추출하기 위한 심층 신경망(204)와 다른 구조를 가질 수 있다.
도 2에서는 대상 이미지(202)로부터 하나의 텍스트 객체 영역(208)을 검출하는 예를 도시하였다. 그러나 개시되는 실시예들은 특정 개수의 텍스트 객체 영역(208)에 한정되는 것은 아니며, 실시예에 따라 텍스트 영역 검출 모듈(104)은 동일한 이미지 내에 복수 개의 텍스트 객체 영역을 검출할 수 있다.
제2 특징 추출 모듈(106)은 텍스트 영역 검출 모듈(104)에서 검출된 각 텍스트 객체 영역(208)으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출한다. 일 실시예에서, 제2 특징 추출 모듈(106)은 심층 신경망(212)의 특징 추출 레이어(feature extract layer)를 이용하여 각 텍스트 객체 영역(208)으로부터 텍스트 이미지 특징 벡터(214)를 추출할 수 있다. 이때 추출되는 텍스트 이미지 특징 벡터(214)의 크기는 1 x M1 (M1은 1 이상의 자연수)일 수 있다. 텍스트 이미지 특징 벡터(214)는 텍스트 객체 영역(208)의 형태적 특징, 예컨대 해당 텍스트 객체 영역(208)에 포함된 텍스트의 폰트, 크기, 색상 등과 관련된 정보를 포함한다.
제3 특징 추출 모듈(108)은 텍스트 영역 검출 모듈(104)에서 검출된 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출한다. 일 실시예에서, 제3 특징 추출 모듈(108)은 텍스트 객체 영역에서 인식된 텍스트를 자연어 처리 모델(Natural Language Processing Model, 216)에 적용하여 상기 텍스트 시맨틱 특징 벡터(218)를 추출할 수 있다. 이때 추출되는 텍스트 시맨틱 특징 벡터(218)의 크기는 1 x M2 (M2는 1 이상의 자연수)일 수 있다. 텍스트 시맨틱 특징 벡터(218)는 텍스트 객체 영역(208)에 포함된 텍스트의 의미(글자, 단어, 또는 문단의 의미 또는 내용)과 관련된 정보를 포함한다.
결합 모듈(110)은 동일한 텍스트 객체 영역(208)으로부터 추출된 텍스트 이미지 특징 벡터(214) 및 텍스트 시맨틱 특징 벡터(218)로부터 텍스트 객체 특징 벡터(text object feature vector, 220)를 생성한다. 일 실시예에서, 결합 모듈(110)은 텍스트 이미지 특징 벡터(214) 및 텍스트 시맨틱 특징 벡터(216)를 결합(concatenate)하여 텍스트 객체 특징 벡터(220)를 생성할 수 있다. 예를 들어, 텍스트 이미지 특징 벡터(214)의 크기가 (1 x M1) 이고 텍스트 시맨틱 특징 벡터(218)의 크기가 (1 x M2)인 경우, 텍스트 객체 특징 벡터(220)의 크기는 (1 x (M1+M2))일 수 있다.
텍스트 영역 검출 모듈(104)에서 검출된 상기 텍스트 객체 영역이 복수 개인 경우, 결합 모듈(110)은 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix, 222)를 생성할 수 있다.
이와 같이 대상 이미지로부터 생성되는 이미지 특징 벡터 및 텍스트 객체 특징 벡터(또는 텍스트 객체 특징 매트릭스)는 상기 대상 이미지의 다면적 특징(Multi feature, 224)을 구성한다. 유사도 계산 모듈(112)은 제1 이미지 및 제2 이미지로부터 각각 도출되는 다면적 특징들을 서로 비교하여 제1 이미지 및 제2 이미지 간의 유사도를 계산한다.
구체적으로, 유사도 계산 모듈(112)은 제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 벡터, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 벡터를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산한다. 만약 제1 이미지 또는 제2 이미지로부터 생성되는 텍스트 객체 특징 벡터가 복수 개인 경우, 유사도 계산 모듈(112)은 텍스트 객체 특징 벡터가 아닌 텍스트 객체 특징 매트릭스를 이용하여 상기 유사도를 계산한다. 개시되는 실시예들에서, 텍스트 객체 특징 벡터는 텍스트 객체 특징 매트릭스의 행의 수가 1인 특수한 형태로 볼 수 있다. 따라서 이하의 설명에서는 텍스트 객체 특징 매트릭스를 기준으로 하여 유사도 계산 과정을 설명하기로 한다.
일 실시예에서, 유사도 계산 모듈(112)은 제1 이미지 특징 벡터 및 제2 이미지 특징 벡터 간에 계산되는 제1 유사도, 및 제1 텍스트 객체 특징 매트릭스 및 상기 제2 텍스트 객체 특징 매트릭스 간에 계산되는 제2 유사도를 이용하여 상기 유사도를 계산할 수 있다. 유사도 계산 모듈(112)은 상기 제1 유사도 및 상기 제2 유사도에 가중치를 적용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산할 수 있다. 예를 들어, 상기 제1 유사도를 A, 제2 유사도를 B, 상기 제1 유사도 및 제2 유사도 각각의 가중치를 k1, k2라 하면, 상기 유사도는 다음의 수학식 1과 같이 계산될 수 있다.
[수학식 1]
유사도 = k1 * A + k2 * B
일 실시예에서, 유사도 계산 모듈(112)은 상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 내적(inner product) 또는 유클리디언 거리(Euclidean distance) 중 하나를 이용하여 상기 제1 유사도를 계산할 수 있다. 예를 들어, 상기 제1 이미지 특징 벡터를 Ia, 상기 제2 이미지 특징 벡터를 Ib라 할 때, 상기 제1 유사도는 다음의 수학식 2와 같이 계산될 수 있다.
[수학식 2]
제1 유사도 = Ia·Ib
또한, 유사도 계산 모듈(112)은 상기 제1 텍스트 객체 특징 매트릭스에 상기 제2 텍스트 객체 특징 매트릭스의 전치행렬(transposed matrix)을 곱하여 생성되는 결과 매트릭스의 원소 중 최대값을 이용하여 상기 제2 유사도를 계산할 수 있다. 예를 들어, 제1 텍스트 객체 특징 매트릭스를 Ta, 제2 텍스트 객체 특징 매트릭스를 Tb라 할 때, 상기 결과 매트릭스는 다음의 수학식 3과 같이 계산될 수 있다.
[수학식 3]
결과 매트릭스 = Ta·Tb t
제1 텍스트 객체 특징 매트릭스(Ta)의 크기가 (n x (M1+M2))이고, 제2 텍스트 객체 특징 매트릭스(Tb)의 크기가 (m x (M1+M2))일 경우, 상기 결과 매트릭스의 크기는 (n x m)이 된다. 이후, 유사도 계산 모듈(112)은 상기 결과 매트릭스를 구성하는 n x m개의 원소 중 최대값을 상기 제2 유사도로 설정할 수 있다.
도 3은 일 실시예에 따른 이미지 유사도 계산 방법(300)를 설명하기 위한 흐름도이다. 도시된 흐름도는 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예를 들어 전술한 이미지 유사도 계산 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 302에서, 제1 특징 추출 모듈(102)은 제1 이미지 및 제2 이미지로부터 이미지 특징 벡터(image feature vector)를 추출한다.
단계 304에서, 텍스트 영역 검출 모듈(104)은 상기 제1 이미지 및 제2 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)을 검출한다.
단계 306에서, 제2 특징 추출 모듈(106)은 검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출한다.
단계 308에서, 제3 특징 추출 모듈(108)은 상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출한다.
단계 310에서, 결합 모듈(110)은 동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성한다. 만약 동일한 이미지로부터 복수 개의 텍스트 객체 영역이 추출된 경우, 결합 모듈(110)은 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix)를 생성한다.
단계 312에서, 유사도 계산 모듈(112)은 제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 매트릭스, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 매트릭스를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산한다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 이미지 유사도 계산 장치(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 이미지 유사도 계산 장치
102: 제1 특징 추출 모듈
104: 텍스트 영역 검출 모듈
106: 제2 특징 추출 모듈
108: 제3 특징 추출 모듈
110: 결합 모듈
112: 유사도 계산 모듈

Claims (16)

  1. 이미지로부터 이미지 특징 벡터(image feature vector)를 추출하는 제1 특징 추출 모듈;
    상기 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)를 검출하는 텍스트 영역 검출 모듈;
    검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출하는 제2 특징 추출 모듈;
    상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출하는 제3 특징 추출 모듈; 및
    동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성하는 결합 모듈을 포함하는, 이미지 유사도 계산 장치.
  2. 청구항 1에 있어서,
    상기 결합 모듈은,
    상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터를 결합(concatenate)하여 상기 텍스트 객체 특징 벡터를 생성하는, 이미지 유사도 계산 장치.
  3. 청구항 1에 있어서,
    상기 결합 모듈은,
    상기 텍스트 영역 검출 모듈에서 검출된 상기 텍스트 객체 영역이 복수 개인 경우, 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix)를 생성하는, 이미지 유사도 계산 장치.
  4. 청구항 3에 있어서,
    제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 매트릭스, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 매트릭스를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는 유사도 계산 모듈을 더 포함하는, 이미지 유사도 계산 장치.
  5. 청구항 4에 있어서,
    상기 유사도 계산 모듈은,
    상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 제1 유사도, 및
    상기 제1 텍스트 객체 특징 매트릭스 및 상기 제2 텍스트 객체 특징 매트릭스의 제2 유사도를 이용하여 상기 유사도를 계산하는, 이미지 유사도 계산 장치.
  6. 청구항 5에 있어서,
    상기 유사도 계산 모듈은,
    상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 내적(inner product) 또는 유클리디언 거리(euclidean distance) 중 하나를 이용하여 상기 제1 유사도를 계산하는, 이미지 유사도 계산 장치.
  7. 청구항 5에 있어서,
    상기 유사도 계산 모듈은,
    상기 제1 텍스트 객체 특징 매트릭스에 상기 제2 텍스트 객체 특징 매트릭스의 전치행렬(transposed matrix)을 곱하여 생성되는 결과 매트릭스의 원소 중 최대값을 이용하여 상기 제2 유사도를 계산하는, 이미지 유사도 계산 장치.
  8. 청구항 5에 있어서,
    상기 유사도 계산 모듈은,
    상기 제1 유사도 및 상기 제2 유사도에 가중치를 적용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는, 이미지 유사도 계산 장치.
  9. 이미지로부터 이미지 특징 벡터(image feature vector)를 추출하는 제1 특징 추출 단계;
    상기 이미지에 포함된 하나 이상의 텍스트 객체 영역(text object region)를 검출하는 단계;
    검출된 상기 각 텍스트 객체 영역으로부터 텍스트 이미지 특징 벡터(text image feature vector)를 추출하는 제2 특징 추출 단계;
    상기 각 텍스트 객체 영역에서 텍스트를 인식하고, 인식된 텍스트로부터 텍스트 시맨틱 특징 벡터(text semantic feature vector)를 추출하는 제3 특징 추출 단계; 및
    동일한 텍스트 객체 영역으로부터 추출된 상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터로부터 텍스트 객체 특징 벡터(text object feature vector)를 생성하는 결합 단계를 포함하는, 이미지 유사도 계산 방법.
  10. 청구항 9에 있어서,
    상기 결합 단계는,
    상기 텍스트 이미지 특징 벡터 및 상기 텍스트 시맨틱 특징 벡터를 결합(concatenate)하여 상기 텍스트 객체 특징 벡터를 생성하는, 이미지 유사도 계산 방법.
  11. 청구항 9에 있어서,
    상기 결합 단계는,
    상기 텍스트 영역 검출 모듈에서 검출된 상기 텍스트 객체 영역이 복수 개인 경우, 각 텍스트 객체 영역으로부터 생성되는 텍스트 특징 벡터를 행(row)으로 가지는 텍스트 객체 특징 매트릭스(text object feature matrix)를 생성하는 단계를 더 포함하는, 이미지 유사도 계산 방법.
  12. 청구항 11에 있어서,
    상기 결합 단계의 수행 이후,
    제1 이미지로부터 생성되는 제1 이미지 특징 벡터 및 제1 텍스트 객체 특징 매트릭스, 및 제2 이미지로부터 생성되는 제2 이미지 특징 벡터 및 제2 텍스트 객체 특징 매트릭스를 이용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는 유사도 계산 단계를 더 포함하는, 이미지 유사도 계산 방법.
  13. 청구항 12에 있어서,
    상기 유사도 계산 단계는,
    상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 제1 유사도, 및
    상기 제1 텍스트 객체 특징 매트릭스 및 상기 제2 텍스트 객체 특징 매트릭스의 제2 유사도를 이용하여 상기 유사도를 계산하는, 이미지 유사도 계산 방법.
  14. 청구항 13에 있어서,
    상기 유사도 계산 단계는,
    상기 제1 이미지 특징 벡터 및 상기 제2 이미지 특징 벡터 간의 내적(inner product) 또는 유클리디언 거리(euclidean distance) 중 하나를 이용하여 상기 제1 유사도를 계산하는, 이미지 유사도 계산 방법.
  15. 청구항 13에 있어서,
    상기 유사도 계산 단계는,
    상기 제1 텍스트 객체 특징 매트릭스에 상기 제2 텍스트 객체 특징 매트릭스의 전치행렬(transposed matrix)을 곱하여 생성되는 결과 매트릭스의 원소 중 최대값을 이용하여 상기 제2 유사도를 계산하는, 이미지 유사도 계산 방법.
  16. 청구항 13에 있어서,
    상기 유사도 계산 단계는,
    상기 제1 유사도 및 상기 제2 유사도에 가중치를 적용하여 상기 제1 이미지 및 상기 제2 이미지 간의 유사도를 계산하는, 이미지 유사도 계산 방법.
KR1020190134387A 2019-10-28 2019-10-28 이미지의 유사도 계산 장치 및 방법 KR20210050139A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190134387A KR20210050139A (ko) 2019-10-28 2019-10-28 이미지의 유사도 계산 장치 및 방법
US16/665,736 US20210124976A1 (en) 2019-10-28 2019-10-28 Apparatus and method for calculating similarity of images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134387A KR20210050139A (ko) 2019-10-28 2019-10-28 이미지의 유사도 계산 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210050139A true KR20210050139A (ko) 2021-05-07

Family

ID=75585908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134387A KR20210050139A (ko) 2019-10-28 2019-10-28 이미지의 유사도 계산 장치 및 방법

Country Status (2)

Country Link
US (1) US20210124976A1 (ko)
KR (1) KR20210050139A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188746B1 (en) * 2020-03-25 2021-11-30 Verizon Media Inc. Systems and methods for deep learning based approach for content extraction
CN111598818B (zh) * 2020-04-17 2023-04-28 北京百度网讯科技有限公司 人脸融合模型训练方法、装置及电子设备
US11874902B2 (en) 2021-01-28 2024-01-16 Adobe Inc. Text conditioned image search based on dual-disentangled feature composition
US11720651B2 (en) * 2021-01-28 2023-08-08 Adobe Inc. Text-conditioned image search based on transformation, aggregation, and composition of visio-linguistic features
CN114118278A (zh) * 2021-11-29 2022-03-01 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007840B1 (ko) 2012-04-13 2019-08-06 엘지전자 주식회사 이미지 검색 방법 및 이를 위한 디지털 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007840B1 (ko) 2012-04-13 2019-08-06 엘지전자 주식회사 이미지 검색 방법 및 이를 위한 디지털 디바이스

Also Published As

Publication number Publication date
US20210124976A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
KR20210050139A (ko) 이미지의 유사도 계산 장치 및 방법
KR102225093B1 (ko) 카메라 포즈 추정 장치 및 방법
US11514235B2 (en) Information extraction from open-ended schema-less tables
US10936970B2 (en) Machine learning document processing
JP5387870B2 (ja) テキスト含意判定装置、テキスト含意判定方法、及びプログラム
JP5257071B2 (ja) 類似度計算装置及び情報検索装置
AU2016277558B2 (en) Generating a semantic network based on semantic connections between subject-verb-object units
JP5424001B2 (ja) 学習データ生成装置、固有表現抽出システム、学習データ生成方法、及びプログラム
JP5536875B2 (ja) 同義語を識別し、同義語を使用して検索するための方法および装置
US20110085739A1 (en) System and method for similarity search of images
US8645184B2 (en) Future technology projection supporting apparatus, method, program and method for providing a future technology projection supporting service
KR101099908B1 (ko) 문서 간 유사도 계산 시스템 및 방법
US10706322B1 (en) Semantic ordering of image text
US20170371865A1 (en) Target phrase classifier
JP2002312365A (ja) 文書画像検索装置
US8510099B2 (en) Method and system of selecting word sequence for text written in language without word boundary markers
US20140348400A1 (en) Computer-readable recording medium storing program for character input
JP7149976B2 (ja) 誤り訂正方法及び装置、コンピュータ読み取り可能な媒体
CN110858217A (zh) 微博敏感话题的检测方法、装置及可读存储介质
US11663398B2 (en) Mapping annotations to ranges of text across documents
Wang et al. DM_NLP at semeval-2018 task 12: A pipeline system for toponym resolution
US11699435B2 (en) System and method to interpret natural language requests and handle natural language responses in conversation
KR20230062251A (ko) 텍스트 기반의 문서분류 방법 및 문서분류 장치
Kelm et al. A novel fusion method for integrating multiple modalities and knowledge for multimodal location estimation
US20220245340A1 (en) Electronic device for processing user's inquiry, and operation method of the electronic device