KR102628460B1 - 메타버스를 위한 가상 공간 검색 방법 및 시스템 - Google Patents

메타버스를 위한 가상 공간 검색 방법 및 시스템 Download PDF

Info

Publication number
KR102628460B1
KR102628460B1 KR1020220151373A KR20220151373A KR102628460B1 KR 102628460 B1 KR102628460 B1 KR 102628460B1 KR 1020220151373 A KR1020220151373 A KR 1020220151373A KR 20220151373 A KR20220151373 A KR 20220151373A KR 102628460 B1 KR102628460 B1 KR 102628460B1
Authority
KR
South Korea
Prior art keywords
information
virtual space
image
domain
search request
Prior art date
Application number
KR1020220151373A
Other languages
English (en)
Inventor
김재호
양수림
주형준
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020220151373A priority Critical patent/KR102628460B1/ko
Application granted granted Critical
Publication of KR102628460B1 publication Critical patent/KR102628460B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

메타버스의 가상 공간을 검색하는 방법 및 시스템이 개시된다. 개시된 가상 공간 검색 방법은 사용자로부터 메타버스에 포함된 가상 공간에 대한 검색 요청 정보를 입력받는 단계; 상기 가상 공간에 할당된 식별 정보를 이용하여, 상기 가상 공간 중에서 상기 검색 요청 정보에 대응되는 타겟 공간을 검색하는 단계; 및 상기 타겟 공간을 상기 사용자에게 제공하는 단계를 포함하며, 상기 식별 정보는, 상기 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 포함한다.

Description

메타버스를 위한 가상 공간 검색 방법 및 시스템{VIRTUAL SPACE SEARCH METHOD METHOD AND SYSTEM FOR METAVERSE}
본 발명은 메타버스를 위한 가상 공간 검색 방법 및 시스템에 관한 것이다.
메타버스(metaverse)란 가공·초월을 의미하는 메타(Meta)와 세계를 의미하는 유니버스(Universe)의 합성어로서, 가상과 현실이 융복합 된 디지털 세계, 초월 세계를 의미한다. 최근 5G 기술과, 가상기술(AR/VR)의 발전과 함께, 여가생활과 경제활동을 하는 가상융합공간으로서 메타버스가 부상되고 있다.
메타버스 기술의 발전과 함께 다양한 가상 공간이 서비스되고 있으며, 서비스되는 가상 공간은 앞으로 더욱 증가할 것으로 예상된다. 서비스되는 가상 공간이 증가하면서, 다양한 가상 공간 중에서 사용자가 서비스받고자 하는 가상 공간을 검색할 수 있는 검색 방법이 요구되고 있다.
관련 선행문헌으로, 대한민국 등록특허 제10-0349676호, 제10-1626384호, 제10-1861198호가 있다.
본 발명은 메타버스의 가상 공간을 검색하는 방법 및 시스템을 제공하기 위한 것이다.
또한 본 발명은 메타버스의 가상 공간을 검색하기 위한 식별 정보를 생성하는 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따르면, 사용자로부터 메타버스에 포함된 가상 공간에 대한 검색 요청 정보를 입력받는 단계; 상기 가상 공간에 할당된 식별 정보를 이용하여, 상기 가상 공간 중에서 상기 검색 요청 정보에 대응되는 타겟 공간을 검색하는 단계; 및 상기 타겟 공간을 상기 사용자에게 제공하는 단계를 포함하며, 상기 식별 정보는, 상기 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 포함하는 메타버스를 위한 가상 공간 검색 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 메타버스의 가상 공간에 포함된 객체를 크롤링하는 단계; 상기 객체에 대한 특징 정보 및 시맨틱 정보를 추출하는 단계; 및 상기 특징 정보 및 시맨틱 정보를 인덱스로 변환하여 저장소에 저장하되, 상기 특징 정보를 상기 객체의 포맷별로 인덱싱 처리하여 서로 다른 저장소에 저장하는 단계를 포함하는 가상 공간 검색을 위한 식별 정보 생성 방법이 제공된다.
또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 메타버스의 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 추출하는 제1정보 추출부; 상기 특징 정보 및 시맨틱 정보를 인덱스로 변환하는 인덱싱 처리부; 상기 특징 정보 및 시맨틱 정보에 대한 인덱스를 저장하는 인덱스 저장소; 상기 가상 공간에 대한 검색 요청 정보로부터 특징 정보 및 시맨틱 정보를 추출하는 제2정보 추출부; 및 상기 특징 정보 및 시맨틱 정보에 대한 인덱스와, 상기 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보를 매칭시켜, 상기 가상 공간 중에서 상기 검색 요청 정보에 대응되는 타겟 공간을 검색하는 검색 엔진을 포함하는 메타버스를 위한 가상 공간 검색 시스템이 제공된다.
본 발명의 일실시예에 따르면 객체의 특징 정보 뿐만 아니라 시맨틱 정보를 이용하여 가상 공간을 검색함으로써, 사용자의 검색 의도에 부합되는 가상 공간이 정확하게 검색될 수 있다.
또한 본 발명의 일실시예에 따르면, 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서 검색 요청 정보에 포함된 이미지의 도메인을 변환함으로써, 가상 공간에 대한 검색 정확도가 향상될 수 있다.
도 1은 본 발명의 일실시예에 따른 메타버스를 위한 가상 공간 검색 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 메타버스를 위한 가상 공간 검색 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 메타버스를 위한 가상 공간 검색 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 가상 공간 검색을 위한 식별 정보 할당 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 메타버스를 위한 가상 공간 검색 시스템을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 가상 공간 검색 시스템은, 메타버스의 가상 공간에 포함된 객체에 대한 식별 정보를 생성한다. 그리고 사용자의 검색 요청 정보로부터 추출된 특징 정보와 식별 정보를 비교함으로써, 가상 공간 중에서 검색 요청 정보에 대응되는 타겟 공간을 검색하여 사용자에게 제공한다.
도 1을 참조하면 본 발명의 일실시예에 따른 가상 공간 검색 시스템은 제1정보 추출부(110), 인덱싱 처리부(120), 인덱스 저장소(130), 제2정보 추출부(140) 및 검색 엔진(150)을 포함하며, 실시예에 따라서 도메인 변환부(160)를 더 포함할 수 있다.
제1정보 추출부(110)는 메타버스의 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 추출한다.일예로서, 가상 공간에는 텍스트, 오디오, 2D 이미지, 3D 이미지와 같은 객체가 포함될 수 있으며, 메타버스의 가상 공간에 포함된 객체는 크롤링 과정을 통해 획득될 수 있다. 제1정보 추출부(110)는 오디오의 경우 오디오를 텍스트로 변환한 후, 변환된 텍스트로부터 특징 정보를 추출할 수 있으며, 2D 및 3D 이미지로부터는 이미지의 특징점과 같은 특징 정보를 추출할 수 있다. 실시예에 따라서, 제1정보 추출부(110)는 텍스트 및 오디오에 대해서는 시맨틱 정보만을 추출할 수 있다.
시맨틱 정보는, 객체의 구조적인 특징을 나타내는 특징 정보와 달리, 객체의 의미적인 특징을 나타내는 정보로서, 제1정보 추출부(110)는 시맨틱 검색 알고리즘이나 미리 학습된 신경망 모델을 이용하여 시맨틱 정보를 추출할 수 있다.
그리고 인덱싱 처리부(120)는 특징 정보 및 시맨틱 정보에 대한 인덱싱 처리를 통해, 특징 정보 및 시맨틱 정보를 인덱스로 변환한다. 인덱싱 처리부(120)는 일반적인 검색 과정에서 검색 대상을 인덱싱 처리하는 방법을 이용하여, 특징 정보 및 시맨틱 정보를 인덱스로 변환할 수 있다.
인덱스 저장소(130)는 제1정보 추출부(110)에 의해 추출된 특징 정보 및 시맨틱 정보에 대한 인덱스를 저장한다. 인덱스 저장소(130)는 일실시예로서, 텍스트 인덱스 저장소(131), 이미지 인덱스 저장소(132) 및 시맨틱 정보 저장소(133)를 포함할 수 있다.
텍스트 인덱스 저장소(131)는 텍스트 및 오디오 객체에 대한 특징 정보 또는 텍스트 및 오디오의 인덱스를 저장하며, 이미지 인덱스 저장소(132)는 2D 및 3D 이미지 객체에 대한 특징 정보의 인덱스를 저장한다. 이를 위해, 인덱싱 처리부(120)는 객체의 포맷별로 특징 정보를 인덱싱 처리하여, 인덱스를 생성할 수 있다. 여기서 객체의 포맷은 텍스트, 오디오, 2D 이미지 및 3D 이미지 등을 포함할 수 있다. 시맨틱 정보 저장소(133)는 시맨틱 정보에 대한 인덱스를 저장한다.
제2정보 추출부(140)는 가상 공간에 대한 사용자의 검색 요청 정보로부터 특징 정보 및 시맨틱 정보를 추출한다. 사용자는 텍스트, 오디오, 2D 이미지 또는 3D 이미지를 이용하여, 검색을 요청할 수 있다.
검색 엔진(150)은 인덱스 저장소(103)에 저장된 특징 정보 및 시맨틱 정보에 대한 인덱스와, 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보를 매칭시켜, 가상 공간 중에서 검색 요청 정보에 대응되는 타겟 공간을 검색한다.
예컨대, 검색 요청 정보에 공원라는 텍스트나 이미지 또는 나무, 분수를 포함하는 이미지가 포함된 경우, 검색 엔진(150)은 공원이라는 텍스트 또는 이미지로부터 추출된 특징 정보와 시맨틱 정보를, 인덱스 저장소(130)에 저장된 특징 정보 및 시맨틱 정보에 대한 인덱스와 매칭시켜, 타겟 공간을 검색한다. 공원 객체가 포함된 가상 공간이 검색 엔진(150)에 의해, 타겟 공간으로 검색될 수 있다.
또한 시맨틱 정보가 검색에 함께 이용되기 때문에, 공원이라는 검색 요청 정보에 대응하여, 분수와 벤치가 있는 가상 공간이 타겟 공간으로 검색될 수 있다.
또한 검색 엔진(150)은 검색 요청 정보의 종류에 따라서 선택된 인덱스 저장소에 저장된 인덱스와, 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보를 매칭시켜, 타겟 공간을 검색할 수 있다. 예컨대, 검색 요청 정보에 텍스트가 포함된 경우, 텍스트 인덱스 저장소(131)가 선택될 수 있으며, 검색 요청 정보에 이미지가 포함된 경우, 이미지 인덱스 저장소(132)가 선택될 수 있다.
이와 같이 본 발명의 일실시예에 따르면 객체의 특징 정보 뿐만 아니라 시맨틱 정보를 이용하여 가상 공간을 검색함으로써, 사용자의 검색 의도에 부합되는 가상 공간이 정확하게 검색될 수 있다.
한편, 가상 공간은 다양한 도메인 형태로 이루어질 수 있다. 예컨대, 현실 세계와 동일한 실사 이미지 공간 또는 인위적으로 만들어진 생성된 가상 이미지 공간 형태로 이루어 질 수 있다. 여기서, 실사 이미지 공간의 경우, 검색을 위하여 가상 공간을 크롤링하여 얻어지는 데이터들은, 사진 이미지와 같은 실사 이미지 형태에 대응되며, 인위적으로 생성된 가상 이미지 공간에서 크롤링하여 얻어지는 데이터들은, 인위적인 가상 이미지 형태에 대응된다.
사진 이미지로 이루어진 실사 이미지 공간에 대해 가상 이미지로 검색 요청이 이루어진 경우, 또는 인위적으로 생성된 가상 이미지 공간에 대해 실사 이미지로 검색 요청이 이루어진 경우, 가상 공간에서 크롤링된 이미지 객체와 검색 이미지와의 도메인 차이로 인해 추출되는 특징 정보에 차이가 발생하여 검색 정확도가 낮아질 수 있다.
이에 본 발명의 일실시예에 따른 가상 공간 검색 시스템은 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서, 검색 요청 정보에 포함된 이미지의 도메인을 변환하는 도메인 변환부(160)를 더 포함할 수 있다. 가상 공간의 도메인에 대한 정보는, 가상 공간이 생성될 때 또는 별도의 가상 공간에 대한 확인 과정을 통해 생성될 수 있다.
도메인 변환부(160)는 검색 요청 정보에 포함된 이미지의 도메인이, 가상 공간에서 크롤링된 이미지 객체의 도메인과 상이할 경우, 검색 요청 정보에 포함된 이미지의 도메인을, 가상 공간에서 크롤링된 이미지 객체의 도메인으로 변환할 수 있다. 도메인 변환부(160)는 가상 공간에서 크롤링된 이미지 객체의 도메인이 가상 이미지이며, 실사 이미지를 통해 검색 요청이 이루어진 경우, 검색 요청 정보에 포함된 실사 이미지를 가상 이미지로 변환할 수 있다. 또는 가상 공간에서 크롤링된 이미지 객체의 도메인이 실사 이미지이며, 가상 이미지를 통해 검색 요청이 이루어진 경우, 검색 요청 정보에 포함된 가상 이미지를 실사 이미지로 변환할 수 있다.
이미지의 도메인 변환은 일실시예로서, GAN(Generative Adversarial Networks, 생성적 적대 신경망)과 같은 인공 신경망을 통해 수행될 수 있다.
본 발명의 일실시예에 따르면, 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서 검색 요청 정보에 포함된 이미지의 도메인을 변환함으로써, 가상 공간에 대한 검색 정확도가 향상될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 메타버스를 위한 가상 공간 검색 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 가상 공간 검색 시스템은 메타버스의 가상 공간에 인덱싱을 처리하는 처리부(210)와, 사용자의 검색 요청 즉 쿼리를 처리하는 처리부(220)를 포함한다.
크롤러(211)는 가상 공간에 포함된 텍스트, 오디오, 2D 이미지, 3D 이미지와 같은 객체를 크롤링하고, 제1특징 추출부(212)는 텍스트, 오디오, 2D 및 3D 이미지 등의 특징 정보를 추출한다. 제1저장소(213)는 추출된 특징 정보를 저장하고, 제1시맨틱 트랜슬레이터(214)는 특징 정보로부터 시맨틱 정보를 생성한다. 생성된 시맨틱 정보는 제2저장소(215)에 저장된다. 제1 및 제2저장소(213, 215)에 저장된 특징 정보와 시맨틱 정보는 인덱서(216)에 의해 인덱스로 변환되고, 텍스트 인덱스 저장소(217), 이미지 인덱스 저장소(218) 및 시맨틱 인덱스 저장소(219) 각각에 저장된다.
제2특징 추출부(221)는 사용자의 검색 쿼리, 즉 검색 요청 정보로부터 특징 정보를 추출하고, 제2시맨틱 트랜슬레이터(222)는 특징 정보로부터 시맨틱 정보를 생성한다. 텍스트 매칭부(223)는 텍스트 인덱스 저장소(217)에 저장된 텍스트에 대한 인덱스와, 검색 요청 정보에 포함된 텍스트 및 오디오로부터 변환된 텍스트 사이의 매칭을 수행하고, 이미지 매칭부(224)는 이미지 인덱스 저장소(218)에 저장된 이미지에 대한 인덱스와 검색 요청 정보에 포함된 이미지 사이의 매칭을 수행한다. 시맨틱 매칭부(225)는 시맨틱 인덱스 저장소(219)에 저장된 시맨틱 정보에 대한 인덱스와, 제2시맨틱 트랜슬레이터(222)에 의해 생성된 시맨틱 정보 사이의 매칭을 수행한다.
가상 공간 중에서, 매칭 정도가 가장 높은 즉, 유사도가 가장 높은 가상 공간이 검색 요청 정보에 대응되는 타겟 공간으로 검색된다.
도 3은 본 발명의 일실시예에 따른 메타버스를 위한 가상 공간 검색 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 가상 공간 검색 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 전술된 시스템은 이러한 컴퓨팅 장치의 일예일 수 있다.
도 3을 참조하면, 본 발명의 일실시예에 따른 컴퓨팅 장치는 사용자로부터 메타버스에 포함된 가상 공간에 대한 검색 요청 정보를 입력(S310)받아, 가상 공간에 할당된 식별 정보를 이용하여, 가상 공간 중에서 검색 요청 정보에 대응되는 타겟 공간을 검색(S320)한다. 검색 요청 정보는, 사용자의 검색 대상인 가상 공간에 대한 정보를 포함한다.
여기서 식별 정보는 전술된 바와 같이, 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 포함한다. 또한 식별 정보는 객체의 포맷별로 인덱싱 처리되어, 서로 다른 저장소에 저장될 수 있으며, 객체의 포맷은 텍스트, 오디오, 2D 이미지 및 3D 이미지를 포함할 수 있다.
또한 일실시예로서, 이미지 객체에 대한 특징 정보는, 이미지 객체를 생성한 디바이스의 클래스별로 인덱싱 처리되어, 서로 다른 저장소에 저장될 수 있다. 예컨대, 이미지 객체를 생성한 디바이스의 클래스는 RGB 카메라, 3D 카메라, 열화상 카메라, 라이다, 컴퓨터 등을 포함할 수 있으며, RGB 카메라, 3D 카메라, 열화상 카메라, 라이다, 컴퓨터에 의해 생성된 이미지 객체의 인덱스 각각을 저장하는 서로 다른 저장소에, 인덱스가 저장될 수 있다.
또한 검색 요청 정보는 검색 요청을 위한 텍스트, 오디오, 2D 이미지 또는 3D 이미지를 포함하며, 컴퓨팅 장치는 단계 S320에서 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보와, 객체의 특징 정보 및 시맨틱 정보를 비교하여, 타겟 공간을 검색할 수 있다.
이 때 컴퓨팅 장치는 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서, 검색 요청 정보에 포함된 이미지의 도메인을 변환하고, 도메인이 변환된 이미지로부터 추출된 특징 정보 및 시맨틱 정보를 이용하여, 타겟 공간을 검색할 수 있다. 컴퓨팅 장치는 검색 요청 정보에 포함된 이미지의 도메인이, 가상 공간에서 크롤링된 이미지 객체의 도메인과 상이할 경우, 검색 요청 정보에 포함된 이미지의 도메인을 가상 공간에 포함된 이미지 객체의 도메인으로 변환할 수 있으며, 일예로서 검색 요청 정보에 포함된 실사 이미지를 가상 이미지로 변환하거나, 검색 요청 정보에 포함된 가상 이미지를 실사 이미지로 변환할 수 있다.
한편, 가상 공간의 도메인은 복수개일 수 있다. 즉 가상 공간에는 실사 이미지 공간과 가상 이미지 공간이 동시에 존재할 수 있다. 이러한 경우, 컴퓨팅 장치는 검색 요청 정보에 포함된 이미지 및 도메인이 변환된 이미지로부터 추출된 특징 정보 및 시맨틱 정보를 이용하여, 타겟 공간을 검색할 수 있다. 가상 공간에서 크롤링된 이미지 객체에 대한 특징 정보는, 도메인 별로 인덱싱 처리되어 서로 다른 저장소에 저장될 수 있다.
컴퓨팅 장치는 단계 S320에서 검색된 타겟 공간을 사용자에게 제공(S330)한다.
도 4는 본 발명의 일실시예에 따른 가상 공간 검색을 위한 식별 정보 할당 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따른 식별 정보 생성 방법은 프로세서 및 메모리를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 전술된 시스템은 이러한 컴퓨팅 장치의 일예일 수 있다.
도 4를 참조하면, 본 발명의 일실시예에 따른 컴퓨팅 장치는 메타버스의 가상 공간에 포함된 객체를 크롤링(S410)하고, 크롤링된 객체에 대한 특징 정보 및 시맨틱 정보를 추출(S420)한다. 컴퓨팅 장치는 추출된 특징 정보 및 시맨틱 정보를 인덱스로 변환하여 저장소에 저장하되, 특징 정보를 객체의 포맷별로 인덱싱 처리하여 서로 다른 저장소에 저장(S430)한다.
단계 S430에서 컴퓨팅 장치는 가상 공간에 포함된 이미지 객체를 생성한 디바이스의 클래스 별로 이미지 객체에 대한 특징 정보를 인덱싱 처리하여, 서로 다른 저장소에 저장할 수 있으며, 또는 가상 공간에서 크롤링된 이미지 객체의 도메인 별로 이미지 객체에 대한 특징 정보를 인덱싱 처리하여, 서로 다른 저장소에 저장할 수 있다.
이 경우, 사용자는 이미지를 생성한 디바이스에 대한 클래스 정보나, 이미지의 도메인 정보도 검색 요청 정보로 이용할 수 있다. 컴퓨팅 장치는 검색 요청 정보에 포함된 디바이스에 대한 클래스 정보나 이미지의 도메인 정보 각각에 대응되는 저장소에 저장된 인덱스를 이용하여 검색을 수행할 수 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 컴퓨팅 장치에 의해 수행되는, 메타버스를 위한 가상 공간 검색 방법에 있어서,
    사용자로부터 메타버스에 포함된 가상 공간에 대한 검색 요청 정보를 입력받는 단계;
    상기 가상 공간에 할당된 식별 정보를 이용하여, 상기 가상 공간 중에서 상기 검색 요청 정보에 대응되는 타겟 공간을 검색하는 단계; 및
    상기 타겟 공간을 상기 사용자에게 제공하는 단계를 포함하며,
    상기 식별 정보는, 상기 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 포함하며,
    상기 특징 정보는, 상기 객체의 포맷별로 인덱싱 처리되어, 서로 다른 저장소에 저장되며,
    상기 타겟 공간을 검색하는 단계는
    상기 검색 요청 정보에 따라 선택된 상기 저장소에 저장된 상기 특징 정보를 이용하여, 상기 타겟 공간을 검색하는,
    메타버스를 위한 가상 공간 검색 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 객체의 포맷은
    텍스트, 오디오, 2D 이미지 및 3D 이미지를 포함하는
    메타버스를 위한 가상 공간 검색 방법.
  4. 제 3항에 있어서,
    상기 이미지 객체에 대한 특징 정보는
    상기 이미지 객체를 생성한 디바이스의 클래스별 또는 상기 이미지 객체의 도메인별로 인덱싱 처리되어, 서로 다른 저장소에 저장되는
    메타버스를 위한 가상 공간 검색 방법.
  5. 제 1항에 있어서,
    상기 검색 요청 정보는
    검색 요청을 위한 텍스트, 오디오, 2D 이미지 또는 3D 이미지를 포함하며,
    상기 타겟 공간을 검색하는 단계는
    상기 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보와, 상기 객체의 특징 정보 및 시맨틱 정보를 비교하여, 상기 타겟 공간을 검색하는
    메타버스를 위한 가상 공간 검색 방법.
  6. 제 5항에 있어서,
    상기 타겟 공간을 검색하는 단계는
    상기 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서, 상기 검색 요청 정보에 포함된 이미지의 도메인을 변환하는 단계; 및
    상기 도메인이 변환된 이미지로부터 추출된 특징 정보 및 시맨틱 정보를 이용하여, 상기 타겟 공간을 검색하는 단계
    를 포함하는 메타버스를 위한 가상 공간 검색 방법.
  7. 제 6항에 있어서,
    상기 이미지의 도메인을 변환하는 단계는
    상기 검색 요청 정보에 포함된 이미지의 도메인이, 상기 가상 공간에서 크롤링된 이미지 객체의 도메인과 상이할 경우, 상기 검색 요청 정보에 포함된 이미지의 도메인을 상기 가상 공간에서 크롤링된 이미지 객체의 도메인으로 변환하는
    메타버스를 위한 가상 공간 검색 방법.
  8. 제 7항에 있어서,
    상기 이미지의 도메인을 변환하는 단계는
    상기 검색 요청 정보에 포함된 실사 이미지를 가상 이미지로 변환하거나, 상기 검색 요청 정보에 포함된 가상 이미지를 실사 이미지로 변환하는
    메타버스를 위한 가상 공간 검색 방법.
  9. 제 7항에 있어서,
    상기 타겟 공간을 검색하는 단계는
    상기 가상 공간에서 크롤링된 이미지 객체의 도메인이 복수개인 경우, 상기 검색 요청 정보에 포함된 이미지 및 상기 도메인이 변환된 이미지로부터 추출된 특징 정보 및 시맨틱 정보를 이용하여, 상기 타겟 공간을 검색하는
    메타버스를 위한 가상 공간 검색 방법.
  10. 컴퓨팅 장치에 의해 수행되는, 가상 공간 검색을 위한 식별 정보 생성 방법에 있어서,
    메타버스의 가상 공간에 포함된 객체를 크롤링하는 단계;
    상기 객체에 대한 특징 정보 및 시맨틱 정보를 추출하는 단계; 및
    상기 특징 정보 및 시맨틱 정보를 인덱스로 변환하여 저장소에 저장하되, 상기 특징 정보를 상기 객체의 포맷별로 인덱싱 처리하여 서로 다른 저장소에 저장하는 단계를 포함하며,
    상기 특징 정보를 상기 객체의 포맷별로 인덱싱 처리하여 서로 다른 저장소에 저장하는 단계는
    이미지 객체를 생성한 디바이스의 클래스별 또는 이미지 객체의 도메인별로 상기 특징 정보를 인덱싱 처리하여, 서로 다른 저장소에 저장하는
    가상 공간 검색을 위한 식별 정보 생성 방법.
  11. 메타버스의 가상 공간에 포함된 객체에 대한 특징 정보 및 시맨틱 정보를 추출하는 제1정보 추출부;
    상기 특징 정보 및 시맨틱 정보를 인덱스로 변환하는 인덱싱 처리부;
    상기 특징 정보 및 시맨틱 정보에 대한 인덱스를 저장하는 인덱스 저장소;
    상기 가상 공간에 대한 검색 요청 정보로부터 특징 정보 및 시맨틱 정보를 추출하는 제2정보 추출부;
    상기 특징 정보 및 시맨틱 정보에 대한 인덱스와, 상기 검색 요청 정보로부터 추출된 특징 정보 및 시맨틱 정보를 매칭시켜, 상기 가상 공간 중에서 상기 검색 요청 정보에 대응되는 타겟 공간을 검색하는 검색 엔진; 및
    상기 가상 공간에서 크롤링된 이미지 객체의 도메인에 따라서, 상기 검색 요청 정보에 포함된 이미지의 도메인을 변환하는 도메인 변환부를 포함하며
    상기 객체의 포맷은
    텍스트, 오디오, 2D 이미지 및 3D 이미지를 포함하며,
    상기 인덱싱 처리부는
    상기 특징 정보를 상기 객체의 포맷별로 인덱싱 처리하며,
    상기 인덱스 저장소는
    상기 텍스트 및 상기 오디오에 대한 특징 정보의 인덱스를 저장하는 텍스트 인덱스 저장소;
    상기 2D 이미지 및 3D 이미지에 대한 특징 정보의 인덱스를 저장하는 이미지 인덱스 저장소; 및
    상기 시맨틱 정보에 대한 인덱스를 저장하는 시맨틱 인덱스 저장소
    를 포함하는 메타버스를 위한 가상 공간 검색 시스템.
  12. 삭제
  13. 삭제
  14. 제 11항에 있어서,
    상기 도메인 변환부는
    상기 검색 요청 정보에 포함된 이미지의 도메인이, 상기 가상 공간에서 크롤링된 이미지 객체의 도메인과 상이할 경우, 상기 검색 요청 정보에 포함된 이미지의 도메인을 상기 가상 공간에서 크롤링된 이미지 객체의 도메인으로 변환하는
    메타버스를 위한 가상 공간 검색 시스템.
  15. 제 14항에 있어서,
    상기 도메인 변환부는
    상기 검색 요청 정보에 포함된 실사 이미지를 가상 이미지로 변환하거나, 상기 검색 요청 정보에 포함된 가상 이미지를 실사 이미지로 변환하는
    메타버스를 위한 가상 공간 검색 시스템.
KR1020220151373A 2022-11-14 2022-11-14 메타버스를 위한 가상 공간 검색 방법 및 시스템 KR102628460B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220151373A KR102628460B1 (ko) 2022-11-14 2022-11-14 메타버스를 위한 가상 공간 검색 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220151373A KR102628460B1 (ko) 2022-11-14 2022-11-14 메타버스를 위한 가상 공간 검색 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102628460B1 true KR102628460B1 (ko) 2024-01-23

Family

ID=89713576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220151373A KR102628460B1 (ko) 2022-11-14 2022-11-14 메타버스를 위한 가상 공간 검색 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102628460B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150004917A (ko) * 2005-12-29 2015-01-13 아마존 테크놀로지스, 인크. 검색가능한 데이터 서비스를 위한 방법 및 장치
KR20150018474A (ko) * 2013-08-08 2015-02-23 큐리온코리아 주식회사 시맨틱 키워드를 추출하기 위한 방법, 비일시성의 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20150032141A (ko) * 2013-09-16 2015-03-25 고려대학교 산학협력단 스마트 기기 내 시맨틱 검색 시스템 및 검색방법
US20170124181A1 (en) * 2015-10-30 2017-05-04 Oracle International Corporation Automatic fuzzy matching of entities in context
WO2019023659A1 (en) * 2017-07-28 2019-01-31 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUS FOR CONTINUOUSLY INTEGRATING INCREASED, INTEGRATED, VIRTUAL AND / OR MIXED REALITIES WITH PHYSICAL REALITIES FOR IMPROVING WEB, MOBILE EXPERIENCES AND / OR OTHER DIGITAL EXPERIENCES
KR102166016B1 (ko) * 2019-09-10 2020-10-15 인하대학교 산학협력단 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
US20210383115A1 (en) * 2018-10-09 2021-12-09 Resonai Inc. Systems and methods for 3d scene augmentation and reconstruction
KR20210150838A (ko) * 2020-06-04 2021-12-13 김경민 가상공간 아카이브를 이용한 가상공간 임대차 서비스 제공 시스템
KR20220026917A (ko) * 2020-08-26 2022-03-07 연세대학교 산학협력단 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150004917A (ko) * 2005-12-29 2015-01-13 아마존 테크놀로지스, 인크. 검색가능한 데이터 서비스를 위한 방법 및 장치
KR20150018474A (ko) * 2013-08-08 2015-02-23 큐리온코리아 주식회사 시맨틱 키워드를 추출하기 위한 방법, 비일시성의 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20150032141A (ko) * 2013-09-16 2015-03-25 고려대학교 산학협력단 스마트 기기 내 시맨틱 검색 시스템 및 검색방법
US20170124181A1 (en) * 2015-10-30 2017-05-04 Oracle International Corporation Automatic fuzzy matching of entities in context
WO2019023659A1 (en) * 2017-07-28 2019-01-31 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUS FOR CONTINUOUSLY INTEGRATING INCREASED, INTEGRATED, VIRTUAL AND / OR MIXED REALITIES WITH PHYSICAL REALITIES FOR IMPROVING WEB, MOBILE EXPERIENCES AND / OR OTHER DIGITAL EXPERIENCES
US20210383115A1 (en) * 2018-10-09 2021-12-09 Resonai Inc. Systems and methods for 3d scene augmentation and reconstruction
JP2022508674A (ja) * 2018-10-09 2022-01-19 レソナイ インコーポレイテッド ３ｄシーン拡張及び再構築のためのシステム及び方法
KR102166016B1 (ko) * 2019-09-10 2020-10-15 인하대학교 산학협력단 이미지 대 이미지의 변환을 위한 도메인 인식 기반의 변환 기법
KR20210150838A (ko) * 2020-06-04 2021-12-13 김경민 가상공간 아카이브를 이용한 가상공간 임대차 서비스 제공 시스템
KR20220026917A (ko) * 2020-08-26 2022-03-07 연세대학교 산학협력단 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법

Similar Documents

Publication Publication Date Title
US9251434B2 (en) Techniques for spatial semantic attribute matching for location identification
US8301437B2 (en) Tokenization platform
KR100903961B1 (ko) 시그니처 파일을 이용한 고차원 데이터 색인 및 검색방법과 그 시스템
CN104798068A (zh) 视频检索方法和装置
CN114342353A (zh) 用于视频分割的方法和系统
CN108664526A (zh) 检索的方法和设备
US11599581B2 (en) Content access and storage
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
KR100442991B1 (ko) 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
CN110956213A (zh) 遥感影像特征库生成、遥感影像检索方法及装置
JP6173754B2 (ja) 画像検索システム、画像検索装置および画像検索方法
CN118035489A (zh) 视频搜索方法及装置、存储介质及电子设备
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
Song et al. Generalized zero-shot learning with multi-source semantic embeddings for scene recognition
Baghel et al. Image conditioned keyframe-based video summarization using object detection
CN108304384B (zh) 拆词方法及设备
KR102628460B1 (ko) 메타버스를 위한 가상 공간 검색 방법 및 시스템
CN113343692A (zh) 搜索意图的识别方法、模型训练方法、装置、介质及设备
Salarian et al. Improved image-based localization using SFM and modified coordinate system transfer
KR20080046490A (ko) 몽타주 얼굴 영상을 이용한 얼굴 인식 방법 및 그 장치
CN112632406A (zh) 查询方法、装置、电子设备及存储介质
CN117093600A (zh) 搜索提示词的生成方法、装置、电子设备及存储介质
CN113032641B (zh) 一种智能搜索方法和设备
CN114780700A (zh) 基于机器阅读理解的智能问答方法、装置、设备及介质

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant