KR20230114882A - 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템 - Google Patents

Abstract

애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템이 개시된다.
상기 지능형 큐레이션 플랫폼 시스템은, 콘텐츠로부터 획득된 복수 유형의 콘텐츠 데이터를 콘텐츠 오브젝트 관련 정보, 기획 관련 정보 및 뷰어 관련 정보로 분류하고, 상기 분류된 정보들에 기초하여 콘텐츠 애셋, 기획 애셋 및 뷰어 애셋 별로 상기 콘텐츠 데이터를 연관하여 저장하고, 상기 사용자의 요청에 의해 상기 정보를 출력하는 데이터베이스부; 및 상기 정보들 및 탐색 쿼리 중 적어도 하나에 기초한 머신 러닝에 의해, 상기 콘텐츠 데이터를 검색하여 신규 콘텐츠 데이터를 추출하고, 상기 신규 컨텐츠 데이터로 상기 정보들을 추가하는 어노테이션부를 포함한다.

Description

애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템 {INTELLIGENT CURATION PLATFORM SYSTEM FOR USING ASSET-BASED CONTENT}

본 개시는 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템에 관한 것이며, 보다 구체적으로 콘텐츠 활용을 위한 애셋, 예를 들어 문화유산 애셋을 구축하여 분석, 검색 및 뷰어가 용이하도록 구현됨과 아울러서, 콘텐츠 데이터의 관련 자료들을 연관시키는 지능형 큐레이션 플랫폼 시스템에 관한 것이다.

문화유산의 디지털화는 주로 문화유산의 상태를 기록하는 보존의 목적에 집중되어 있다. 시대에 따라 당시 최고의 기술로 문화유산의 외형과 모양, 문양 등을 3D데이터를 포함한 다양한 방식으로 기록하고, 이를 저장하여 보존하고 있다.

이러한 디지털 보존의 방식은, 실제 문화유산이 수장고에 관리되는 것을 모사하여, 디지털 수장고 형태로 박물관내에 특정 위치에 저장되고, 관리자에 의해 엄격하게 관리되고 있다.

디지털 수장고 형식의 저장방식은 실제 데이터의 활용에는 중점을 두고 있지 않아, 최근에 요구가 증가되는 실감형 박물관(메타버스, AR, VR 등)의 콘텐츠 데이터로 활용하기 위해서는 용이하게 획득할 수가 없다. 또한, 데이터를 제공받은 경우에도, 보존의 형태를 주목적으로 두고 있어, 콘텐츠로 직접 사용하기에는 곤란한 점이 있다.

이는 기존의 디지털화가 아날로그 형태의 문화유산을 당시의 최고 기술로 보존하는 목적에 집중하고 있어, 데이터 형식이나, 취득방식, 및 디스플레이하는 표현 방식 등이 콘텐츠의 활용과는 현저하게 다른데 기인한다.

이에 따라, 문화유산들을 콘텐츠로 활용하기 위해서는, 콘텐츠의 목적에 따라 문화유산의 콘텐츠를 재획득하거나, 획득이 불가능한 경우, 관리자가 컴퓨터를 활용하여 문화유산 디지털 데이터를 새로이 생성하여야 한다.

문화유산 콘텐츠를 필요에 따라 제작하는 형태는 현재까지도 각각의 콘텐츠 제작자들에게 전적으로 일임하고 있어, 문화유산을 보유하는 박물관들은 콘텐츠들을 재사용하거나, 다른 형태의 서비스로 활용되지 못하는 실정이다. 이는 문화유산 콘텐츠 데이터에 대한 인식이 정립되지 않은데 기인하고, 실제 문화유산 콘텐츠가 많이 활성화되지 않은 데서 비롯된 결과이다.

활용가능한 대부분의 문화유산 디지털 데이터는 사진형태로 구성되며, 데이터베이스 기술과 네트워크에 발달에 따라, 일반적으로 웹이나, 모바일 디바이스를 통해 사람들에게 공유되고 있다. 사진의 경우, 많은 사람들이 다양한 형태로 활용하는 것이 일반화되어, 박물관에서도 데이터베이스화하고 이를 활용하기 위해 장려하는 형태로 발전되어 왔다.

그러나, 사진 외의 다양한 문화유산 관련 데이터인, 관련 텍스트, 동영상, 공간정보, 인터렉션 정보, 모델링, 텍스쳐, 유물 간의 관계정보, 기존의 전시 정보, 메타 데이터 등은 데이터베이스 형태로 존재하지 못하고, 각각의 박물관 종사자들이 개인적으로 혹은 부분적으로 저장하고 있는 형태로 존재하고 있다.

현재 메타버스라는 새로운 개념의 가상 공간 세상이 도래하는 시점에서, 전시 기획을 담당하는 큐레이터들을 포함하여 일반 사용자들도 다양한 형태의 콘텐츠에 대한 경험이 축적되고 있다. 또한, 1인 미디어의 폭발적인 성장으로 인해, 많은 사람들이 콘텐츠의 소비자가 아닌 생산자로서의 활동이 증가하고 있는 상황이다.

컴퓨터의 표현력, 저장 기술의 발전, 네트워크의 속도 향상, 및 인공지능 기술의 다양한 분야에서의 접목이 이루어지는 점을 감안하면, 최근의 기술들을 활용하여 큐레이터들이 문화유산 관련된 데이터를 용이하게 검색하고, 의도한 형태로 콘텐츠 기획을 가능하게 하는 큐레이션 플랫폼 개발이 필요한 시점이다.

본 개시의 기술적 과제는 콘텐츠 활용을 위한 애셋, 예를 들어 문화유산 애셋을 구축하여 분석, 검색 및 뷰어가 용이하도록 구현됨과 아울러서, 콘텐츠 데이터의 관련 자료들을 연관시키는 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템을 제공하는데 그 목적이 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템이 제공된다. 상기 지능형 큐레이션 플랫폼 시스템은, 콘텐츠로부터 획득된 복수 유형의 콘텐츠 데이터를 콘텐츠 오브젝트 관련 정보, 기획 관련 정보 및 뷰어 관련 정보로 분류하고, 상기 분류된 정보들에 기초하여 콘텐츠 애셋, 기획 애셋 및 뷰어 애셋 별로 상기 콘텐츠 데이터를 연관하여 저장하고, 상기 사용자의 요청에 의해 상기 정보를 출력하는 데이터베이스부; 및 상기 정보들 및 탐색 쿼리 중 적어도 하나에 기초한 머신 러닝에 의해, 상기 콘텐츠 데이터를 검색하여 신규 콘텐츠 데이터를 추출하고, 상기 신규 컨텐츠 데이터로 상기 정보들을 추가하는 어노테이션부를 포함한다.

본 개시의 다른 실시예에 따르면, 상기 복수 유형의 콘텐츠 데이터는 상기 콘텐츠 오브젝트 정보와 관련된 영상 데이터, 오디오 데이터, 텍스트 데이터, 상기 기획 관련 정보와 관련된 상기 콘텐츠의 기획 자료 데이터, 전시 데이터, 및 상기 뷰어 관련 정보와 관련되며 상기 데이터들을 기 설정된 형태로 시각화 하도록 가공한 시각화 데이터를 포함할 수 있다.

상기 실시예에서, 상기 콘텐츠 오브젝트 정보 및 상기 기획 관련 정보와 관련된 데이터는 외부로부터 획득되거나, 획득한 콘텐츠 데이터로부터 변환되어 생성될 수 있다.

상기 실시예에 추가하여, 상기 획득한 콘텐츠 데이터를 변환하여 가공 콘텐츠 데이터를 생성하는 변환부를 더 포함하되, 상기 콘텐츠 데이터가 영상 데이터인 경우, 상기 변환부는 상기 영상 데이터의 속성, 상기 플랫폼 시스템 및 서비스 디바이스의 뷰어 성능에 기초하여 상기 영상 데이터의 영상 품질을 조정하거나, 상기 영상 데이터에 기반한 가상 현실, 증강 현실 및 메타버스 중 적어도 하나와 관련된 영상을 생성할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 데이터베이스부는 상기 콘텐츠 데이터의 메타 데이터 및 속성 정보를 분석하여 상기 연관된 콘텐츠 데이터의 메타 데이터 및 속성 정보를 인덱스 형태로 연계하고, 상기 사용자의 요청과 관련된 상기 인덱스의 메타 데이터 및 속성 정보 중 적어도 하나를 검색하여 매칭된 정보들을 출력할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 데이터베이스부는 상기 콘텐츠 데이터의 속성 정보에 기초하여 상기 연관된 콘텐츠 데이터의 속성 정보를 그래프 노드 관계 데이터에 의해 연계하여 관리하고, 상기 어노테이션부에 의해 상기 정보들이 추가되면, 추가된 정보에 기초하여 상기 그래프 노드 관계 데이터를 갱신할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 콘텐츠에 대한 상기 사용자의 상기 기획 관련 정보의 요청에 응답하여 상기 데이터베이스부에서 관리되는 상기 기획 애셋에 속한 상기 기획 관련 정보를 제공하는 기획 데이터 제공부를 더 포함할 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 어노테이션부는 상기 데이터베이스부에 연관되어 저장된 상기 콘텐츠 데이터 및 상기 탐색 쿼리에 기반하여 상기 콘텐츠와 관련하여 검색된 콘텐츠 데이터를 학습하여 신규 속성 정보를 생성하고, 상기 신규 속성 정보에 기초하여 상기 신규 콘텐츠 데이터를 검색하여 추출하고, 상기 신규 콘텐츠 데이터에 기초하여 상기 콘텐츠의 추가 정보를 부가할 수 있다.

상기 실시예에서, 상기 탐색 쿼리에 기반하여 상기 콘텐츠와 관련한 콘텐츠 데이터를 검색함과 아울러서, 상기 속성 정보에 기초하여 상기 신규 콘텐츠 데이터를 검색하는 검색부를 더 포함하되, 상기 데이터베이스부는 상기 콘텐츠 데이터의 속성 정보에 기반하는 그래프 노드 관계 데이터를 가지며, 상기 그래프 노드 관계 데이터 및 상기 검색된 콘텐츠 데이터의 검색 속성 정보에 기반한 검색 그래프 노드 관계 데이터 간에 소정 유사도를 갖는 경우, 상기 검색부는 상기 검색 속성 정보를 신규 생성 정보로 채택할 수 있다.

본 개시의 다른 양상에 따르면, 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템이 제공된다. 상기 지능형 큐레이션 플랫폼 시스템은, 콘텐츠로부터 획득된 복수 유형의 콘텐츠 데이터를 콘텐츠 오브젝트 관련 정보, 기획 관련 정보 및 뷰어 관련 정보로 분류하고, 상기 분류된 정보들에 기초하여 콘텐츠 애셋, 기획 애셋 및 뷰어 애셋 별로 상기 콘텐츠 데이터를 연관하여 저장하는 데이터베이스부; 상기 정보들 및 사용자의 입력 쿼리 중 적어도 하나에 기초한 머신 러닝에 의해, 상기 콘텐츠 데이터를 검색하여 신규 콘텐츠 데이터를 추출하고, 상기 신규 컨텐츠 데이터로 상기 정보들을 추가하도록 상기 데이터베이스부를 제어하는 어노테이션부; 상기 콘텐츠에 대한 상기 사용자의 상기 기획 관련 정보의 요청에 응답하여 상기 데이터베이스부에서 관리되는 상기 기획 에셋에 속한 상기 기획 관련 정보를 제공하는 기획 데이터 제공부; 및 상기 콘텐츠에 대한 상기 사용자의 상기 뷰어 관련 정보의 요청에 응답하여 상기 뷰어 에셋에 속한 상기 뷰어 관련 정보를 제공하는 뷰어 엔진부를 포함한다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 콘텐츠 활용을 위한 애셋, 예를 들어 문화유산 애셋을 구축하여 분석, 검색 및 뷰어가 용이하도록 구현됨과 아울러서, 콘텐츠 데이터의 관련 자료들을 연관시키는 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템을 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시예에 따른 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템의 개략 블록도이다.
도 2는 콘텐츠를 애셋으로 변환하는 것을 예시한 도면이다.
도 3은 변환부를 구성하는 3D 변환부의 블록도이다.
도 4는 획득한 영상 데이터가 변환된 가공 영상 데이터를 예시한 도면이다.
도 5는 검색부의 블록도이다.
도 6은 데이터베이스부에서 콘텐츠 데이터가 애셋 별로 연계 관리되는 것을 예시한 도면이다.
도 7은 어노테이션부의 기능을 개념적으로 예시한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하에서는, 본 명세서의 도면을 참조하여 본 개시에 따른 실시예들을 설명한다.

도 1은 본 개시의 일 실시예에 따른 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템의 개략 블록도이다.

애셋(asset) 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템(100; 이하, '플랫폼 시스템'이라 약칭함)은 다양한 콘텐츠와 관련된 콘텐츠 데이터의 애셋을 데이터베이스화 하기 위한 스키마 설계, 각 용도에 맞는 콘텐츠 애셋의 자동 생성 및 변환, 온톨로지(ontology) 기반의 콘텐츠 관계 시각화를 활용한 콘텐츠 추천 기술, 및 콘텐츠 애셋의 사용자 확인을 위한 뷰어 기술 등으로 구성될 수 있다. 플랫폼 시스템(100)은 하나의 플랫폼안에서 데이터를 입력받아 적합한 형태로 자동으로 변경할 수 있다. 플랫폼 시스템(100)은 콘텐츠 관련 데이터에서 정보를 추출하고, 추출된 정보를 이용하여 콘텐츠 데이터 및 다른 콘텐츠와의 관계를 분석하고, 사용자 요청에서 의도하는 정보를 제공할 수 있다. 여기서, 애셋은 문화유산 디지털데이터를 스마트폰, 웹, PC와 같은 다양한 디바이스에서 가상, 증강, 혼합 현실을 포함한 가상 전시, 체험 콘텐츠로 용이하게 적용할 수 있도록, 사용자(예를 들어, 큐레이터) 요구사항에 따라 문화유산 디지털 데이터 내지 획득한 콘텐츠 데이터를 변환한 데이터 패키지일 수 있다. 애셋은 문화유산의 콘텐츠 데이터를 콘텐츠 오브젝트 정보, 기획 관련 정보 및 뷰어 관련 정보 별로 분류하고, 상호 데이터의 연관에 의해 구조화된 데이터 셋일 수 있다. 또한, 애셋은 개별 문화유산 뿐만 아니라, 상이한 문화유산일지라도 상호 연관성을 갖는 콘텐츠 오브젝트 정보, 기획 관련 정보 및 뷰어 관련 정보를 연계하여 구조화된 데이터 셋일 수도 있다.

이하에서는 설명의 편의를 위해 콘텐츠가 문화유산인 것을 예시하여 설명하나, 콘텐츠는 이에 제한되지 않고, 본 개시의 실시예가 적용 가능하다면 다양한 종류, 예컨대 대중 예술물, 공연물, 각종 전시회, 개인화된 콘텐츠 등을 포함하는 문화 미디어 또는 여러 유형의 미디어 객체일 수 있다.

구체적으로, 플랫폼 시스템(100)은 큐레이션 관리자 시스템(200), 큐레이션 사용자 시스템(300), 큐레이션 API(400) 및 문화유산 표준 관리 시스템(500) 등과 상호 데이터를 교환하여 운영될 수 있다. 이러한 플랫폼 시스템(100)은 변환부(110), 검색부(120), 크롤링부(130), 데이터베이스부(140), 어노테이션부(150), 기획 데이터 제공부(160), 뷰어 엔진부(170)를 포함할 수 있다. 또한, 플랫폼 시스템(100)은 문화유산 콘텐츠 관련 데이터를 보유하는 외부 서버 또는 외부 캐싱 서버로부터 콘텐츠 데이터를 수신하는 CDN 부(180; Contents Delivery Network), 및 시스템의 운영을 위한 애플리케이션, 운영 데이터 및 외부로부터 입수된 다양한 데이터를 저장하는 스토리지(190)를 구비할 수 있다.

큐레이션 관리자 시스템(200)은 도 2에 예시된 바와 같이, 문화유산으로부터 콘텐츠 데이터를 생성하여 플랫폼 시스템(100)으로 전달하거나, 외부에서 제작되어 전송된 콘텐츠 데이터를 전달할 수 있다. 콘텐츠 데이터는 복수의 유형의 데이터일 수 있다. 콘텐츠 데이터는 예컨대, 문화 유산 자체의 콘텐츠 오브젝트 데이터, 즉 문화 유산과 관련된 영상 데이터, 오디오 데이터, 텍스트 데이터일 수 있다. 또한, 콘텐츠 데이터는 기획 관련 정보와 관련된 콘텐츠의 기획 자료 데이터, 전시 데이터일 수 있다. 콘텐츠 데이터는 뷰어 관련 정보와 관련되며 콘텐츠 오브젝트 데이터 및 기획 관련 정보와 관련된 데이터들을 기 설정된 형태로 시각화 하도록 가공한 시각화 데이터일 수 있다. 시각화 데이터는, 예컨대 기획 자료와 관련된 정보를 일정 양식으로 제시하거나, 문화유산 영상 데이터를 가상 현실, 증강 현실 또는 메타버스(metaverse)로 변환하거나 생성하는데 필요한 저작 데이터일 수 있다. 콘텐츠 데이터는 해당 문화유산 콘텐츠의 메타 데이터를 포함하여 생성될 수 있다. 메타 데이터는 콘텐츠 데이터의 제목, 데이터 출처, 생성시기, 데이터의 파라미터(예컨대, 영상 촬영 조건, 3차원 스캐너 사양, 오디오 품질, 텍스트 판독도 등), 간략 색인 정보 등을 포함할 수 있다. 이에 더하여, 콘텐츠 데이터는 해당 문화유산 콘텐츠 데이터의 속성 정보를 포함하여 생성될 수 있다. 속성 정보는 예를 들어, 콘텐츠 데이터의 제작 과정에서 도출된 중간 데이터와 관련된 파라미터, 콘텐츠 데이터에 포함된 객체 특징, 활용가능한 애플리케이션 정보, 쌍방향(interactive) 서비스 구현에 사용되는 정보 등일 수 있다. 콘텐츠 데이터가 영상 데이터인 경우, 속성 정보는 촬영된 문화유산의 객체 특징과 관련된 정보일 수 있다. 콘텐츠 데이터가 관련 도록, 논문, 전시 데이터, 기획 자료 데이터인 경우, 이들 데이터에 포함된 특징적인 텍스트일 수 있다. 활용가능한 애플리케이션 정보는 3D 영상 구현 여부 및 다른 종류의 3D 영상을 위한 파라미터일 수 있다. 쌍방향 서비스 구현용 정보는 예컨대 스마트폰, 웹, 키오스크 등의 쌍방형 디바이스에 적합한 데이터일 수 있다.

변환부(110)는 예컨대 시스템에서 이미 지정한 설정 또는 큐레이터의 요청에 따라, 획득된 문화유산 콘텐츠 데이터를 변환하여 가공 콘텐츠 데이터를 생성할 수 있다. 예를 들어, 콘텐츠 데이터가 콘텐츠 오브젝트 정보와 관련된 영상, 오디오 또는 텍스트 데이터일 경우, 이들 데이터를 요청 등에 부합하는 형태(모바일 디바이스 또는 키오스크에 적합한 쌍방형 서비스 데이터, 3D 영상 등)으로 변환할 수 있다.

구체적으로, 콘텐츠 데이터가 영상 데이터인 경우, 변환부(110)는 영상 데이터의 속성, 플랫폼 시스템(100) 및 서비스를 제공하고자 하는 디바이스의 뷰어 성능에 기초하여, 영상 데이터의 영상 품질을 조정하거나, 영상 데이터에 기반한 가상 현실, 증강 현실 및 메타버스 중 적어도 하나와 관련된 영상을 생성할 수 있다.

변환부(110)가 획득된 콘텐츠 데이터를 변환하는 구성과 관련하여, 도 3을 참조하여 보다 상세히 서술하기로 한다. 도 3은 변환부를 구성하는 3D 변환부의 블록도이다.

변환부(110)의 3D 변환부(121)는 3D 데이터 획득부(122), 3D 데이터 분석부(123), 3D 데이터 변형 분석부(124) 및 3D 데이터 자동 변형부(125)를 포함할 수 있다.

3D 데이터 획득부(122)는 큐레이션 관리자 시스템(200) 또는 문화유산 표준 관리 시스템(500) 등으로부터 디지털화된 문화유산 콘텐츠 데이터를 취득할 수 있다.

3D 데이터 분석부(123)는 문화유산 디지털 데이터의 획득 정보 및 각 콘텐츠 데이터의 생성 정보를 분석하여 각 콘텐츠 데이터에 대한 자료를 확인할 수 있다. 콘텐츠 데이터, 예컨대 영상 컨텐츠 데이터 또는 영상, 텍스트, 오디오가 조합된 콘텐츠 데이터의 포맷, 폴리곤(polygon), 텍스쳐(texture), 보유 데이터의 종류 등을 분석하여 가시화할 수 있다. 생성 정보는 생성시 사용하였던 기법(3D Scanner, Photogrammetry)등과 관련된 방법 정보, 텍스처 생성시 사용한 정보(카메라, 해상도, 조명)등을 포함할 수 있다. 생성 정보의 세부 정보를 예로 들면, 3D 데이터 생성시의 각 스캔 장비에 대한 정보, 스캔 데이터 생성 정보, 텍스처 생성 디바이스 정보, 텍스처 데이터, 3D 폴리곤 데이터 등일 수 있다. 이에 더하여, 콘텐츠 데이터는 디바이스, 카메라, 렌즈, 조도, 폴리곤 생성 범위, 오차범위 정보, 해상도, 생성 포맷, 폴리곤 생성 알고리즘 종류, 텍스처 생성 알고리즘 종류 등과 관련된 정보를 포함할 수 있다.

3D 데이터 분석부(123)는 전술의 정보를 분석하여 사용자에게 가사화 하여 제공할 수 있다.

3D 데이터 변형 분석부(124)는 콘텐츠 데이터의 정보 및 현재 3D 데이터를 활용하여 변형이 가능한 형태에 대한 예상값을 제공할 수 있다. 3D 데이터 변형 분석부(124)는 3D 데이터 분석부(120)에서 분석된 내용, 예컨대 콘텐츠 데이터의 속성에 기초하여, 3D 데이터를 다른 형태로 가공할 수 있는지에 대한 정보를 제공할 수 있다. 이에 더하여, 3D 데이터 변형 분석부(124)는 플랫폼 시스템(100) 및 서비스를 제공하고자 하는 디바이스의 뷰어 성능에 기초하여, 다른 형태로 가공할 수 있는지에 대한 정보를 제공할 수 있다.

구체적으로, 3D 데이터 변형 분석부(124)는 획득된 콘텐츠 데이터에서 가공 콘텐츠 데이터 형식에 부합하도록 변형하여 데이터 정보 리스트를 생성할 수 있다. 데이터 정보 리스트는 획득된 콘텐츠 데이터의 원천 정보를 활용하여, 실제 문화유산 콘텐츠의 실제 크기 정보, Import Log, 폴리곤 정보, 변형 이력 등에 대한 정보를 생성할 수 있다. 3D 데이터 변형 분석부(124)는 PBR(physically Based Rendering)의 정보를 위하여, 콘텐츠 데이터의 카메라, 렌즈, 조도 등의 정보를 분석하여 생성시 환경에 대한 가장 유사한 정보를 생성할 수 있다. PBR의 경우, 랜더링 품질에 중요한 요소로 가공 콘텐츠 데이터의 환경값에 따라 실제 문화유물과의 유사도를 높일 수 있다. 폴리곤 데이터의 경우, 원천 정보에서 제공하는 데이터 중 오류를 발생할 수 있는 홀(hole)등을 포함하는 데이터가 존재하는 경우가 있다. 이에 따라, 3D 데이터 변형 분석부(124)는 각 데이터의 오류 검증을 진행하여 홀 필링 등의 작업을 진행하여 변형에 오류가 없는 데이터를 생성하여 제공할 수 있다. 3D 데이터 변형 분석부(124)는 생성된 데이터 정보 리스트를 활용하여 현재 생성된 폴리곤, 텍스처의 활용 범위 및 변형 가능한 형태에 대한 정보를 생성하여 제공할 수 있다.

이후, 3D 데이터 변형 분석부(124)는 콘텐츠 데이터가 이를 적용할 플랫폼(AR/VR/Metaverse/전시/교육)에 활용이 가능한지에 대한 정보를 가시화하여 사용자에게 제공할 수 있다.

3D 데이터 자동 변형부(125)는 제공된 3D 데이터와 3D 데이터 변형 분석부(130)에서 분석된 내용을 활용하여 자동으로 3D 데이터를 변형하고 가시화할 수 있다. 3D 데이터 변형 분석부(124)는 자동 변환 알고리즘을 활용하여 3D 데이터를 변형하여 가공 콘텐츠 데이터를 생성할 수 있다. 가공 콘텐츠 데이터는 도 4에 예시된 바와 같이, 차등화된 영상 품질을 갖는 영상이거나, 메타버스, 웹, 모바일 디바이스와 같은 다른 플랫폼에 제공할 증강 현실, 가상 현실 관련 영상일 수 있다. 도 4는 획득한 영상 데이터가 변환된 가공 영상 데이터를 예시한 도면이다. 가공 콘텐츠 데이터는 해당 콘텐츠의 다른 정보들과 연계되면서, 뷰어 애셋에 속한 정보로 데이터베이스부(140)에 저장되며, 이에 의해 전시/교육/콘텐츠에 활용이 가능하다.

검색부(120)는 큐레이션 관리자 시스템(200)의 요청 또는 플랫폼 시스템(100)의 설정에 따른 탐색 쿼리에 기반하여, 콘텐츠와 관련한 콘텐츠 데이터를 검색하고, 데이터베이스부(140)에 저장된 콘텐츠 데이터의 속성 정보에 기초하여 신규 콘텐츠 데이터를 검색할 수 있다.

검색부(120)에 대해 도 5을 참조하여 보다 상세히 서술하기로 한다. 도 5는 검색부의 블록도이다.

검색부(120)는 데이터베이스부(140)에 포함된 그래프 데이터베이스(141) 및 사용자 인터페이스(600)와 접속하여 검색 작업을 처리할 수 있다. 사용자 인터페이스(600)는 큐레이션 사용자 시스템(300) 및 큐레이션 관리자 시스템(200) 중 적어도 하나에 구비될 수 있다. 그래프 데이터베이스(141)는 예컨대, 그래프 노드 관계 데이터를 구성하는 하나의 노드 객체인 각 콘텐츠(예컨대, 문화유산)에 대해 객관적 사실로서 명백하게 합의된 객관적 지식을 기본 정보로 저장할 수 있다. 사용자 인터페이스(600)는 사용자가 도출하고자 하는 그래프 노드 관계 데이터(이하, 그래프 노드 관계 데이터 또는 그래프를 혼용하여 서술)를 생성하기 위해 필요한 검색 문장을 처리하는 문장 검색부(601), 검색 문장에 기초하여 도출한 그래프를 생성, 편집하는데 활용되는 설정을 지시하거나, 출력 그래프의 상태를 설정할 수 있는 데이터베이스 설정부(602), 검색 결과로 출력된 그래프를 화면에 출력하는 화면 출력부(603)를 포함할 수 있다.

검색부(120)는 문화유물 특화 지도 또는 비지도학습 인식기에 기초한 사용자 검색어 처리, 그래프 데이터베이스(141)에 작성되는 그래프의 생성, 갱신에 활용되는 속성 정보를 획득하기 위한 콘텐츠 데이터(예컨대, 텍스트) 수집, 속성 정보에 따른 그래프 생성 등을 수행할 수 있다.

검색부(120)는 텍스트 처리 모듈(131), 그래프 연산 모듈(132) 및 그래프 병합 모듈(133)을 포함할 수 있다. 텍스트 처리 모듈(131)은 텍스트 수집 모듈(134), AI 자연어 처리 모듈(135) 및 그래프 생성 모듈(136)을 포함할 수 있다.

텍스트 수집 모듈(134)은 AI 자연어 처리 모듈(135)과 협업하여 사용자 또는 시스템의 설정에 의해 입력된 쿼리에 따른 콘텐츠 관련 문서들을 수집할 수 있다. 텍스트 수집 모듈(134)은 기존의 그래프 노드 관계 데이터 및 쿼리에 기초하여, 사용자 등이 검색한 쿼리, 예컨대, 단어 또는 문장에 부합하는 관련 문서들을 판별하여 크롤링할 수 있다. 구체적으로, 텍스트 수집 모듈(134)은 사용자 인터페이스(600)를 통한 사용자 요청 또는 시스템 설정에서 지정한 범위에 속하는 외부 문서 및 관련 분야의 지식을 사용자 검색 기반으로 수집하고, 수집한 텍스트를 전처리할 수 있다. 또한, 텍스트 수집 모듈(134)은 전처리한 텍스트에서 주요 개념을 추출하고, 이 추출한 키워드를 기반으로 키워드에 적합한 내용을 갖는 텍스트를 선별하여 텍스트 개념 관계 그래프를 생성할 수 있다.

AI 자연어 처리 모듈(135)은 수집한 텍스트와 사용자 검색어의 유사도를 비교하여 적합한 텍스트인지 판별할 수 있다. AI 자연어 처리 모듈(135)은 예를 들어, 비지도 학습을 위하여 문화유산 텍스트 데이터에 대해 태깅 작업을 실시한 후, 태깅 데이터 기반 학습된 언어모델을 사용한 파인 튜닝(fine-tuning)을 진행할 수 있다. 파인 튜닝은 기존에 학습되어져 있는 레이어에 데이터를 추가로 학습시켜 파라미터를 업데이트하는 작업을 의미한다. 파인 튜닝 방식으로 문화유산 인식기를 구축하는 경우, 다양한 개념들에 대해 임의의 값으로 초기화된 파라미터를 처음부터 학습시키는 경우에 비해, 처음부터 문화 유산과 관련된 개체들에 대해 사용자의 목적에 부합하는 정보가 획득될 수 있다. 이에 따라, 본 개시에 따른 출력 결과가 처음부터 문화유산 의미 관계에 적합한 그래프를 사용자에게 제공할 수 있다.

그래프 생성 모듈(136)은 문서의 키워드가 되는 주요 개념을 중심으로 새로운 그래프 노드 관계 데이터를 생성할 수 있다. 즉, 그래프 생성 모듈(136)은 적합한 텍스트에 속한 검색 속성 정보를 기반으로 검색 그래프 노드 관계 데이터를 생성할 수 있다.

그래프 연산 모듈(132)은 새로이 생성한 검색 그래프와 기존의 그래프 간의 유사도 측정을 통해, 양 그래프를 비교한 후, 기존에 없는 새로운 키워드를 추출할 수 있고, 새로운 키워드가 기존 키워드의 노드와 서로소 관계에 있는 노드로서, 기존의 그래프에 추가되어 그래프 노드 관계 데이터를 갱신하는 작업을 반복할 수 있다.

그래프 병합 모듈(133)은 그래프 연산 모듈(132)을 통해 확인된 서로소 관계의 새로운 키워드의 노드를 기존의 그래프를 구성하는 트리의 노드로 추가할 수 있다. 그래프 병합 모듈(133)은 사용자 설정에 기초하여 출력할 그래프의 디테일을 계산하여 불필요하게 그래프가 방대해지는 것을 방지할 수 있다.

데이터베이스 제어 모듈(142)은 데이터베이스 설정부(602)의 설정에 따라, 그래프 병합 모듈(133)의 결과로 갱신된 그래프를 검사하여, 그래프 데이터베이스(141)에 업데이트시킬 수 있다. 업데이트된 그래프는 화면 출력부(603)를 통해 출력되며, 화면 출력부(603)는 사용자 디스플레이에 적합하게 줌인/줌 아웃 기능을 수행하여 그래프를 전체 또는 세부적으로 볼 수 있도록 제어할 수 있다.

그래프 데이터베이스(141)에 저장된 갱신된 그래프는 사용자의 다음 문장검색과 웹 크롤링 텍스트 문장에서 적절한 지식을 발견하여 새로운 그래프를 만들 때 기존의 그래프로서 사용될 수 있다.

크롤링부(130)는 검색부(120)를 통해 요청한 쿼리에 부합하는 다양한 유형의 콘텐츠 데이터를 수집하여 변환부(110), 검색부(120), 데이터베이스부(140)에 전송할 수 있다.

데이터베이스부(140)는 플랫폼 시스템(100)의 외부로부터 복수의 유형으로 획득된 문화유산 콘텐츠 데이터를 콘텐츠 오브젝트 관련 정보, 기획 관련 정보 및 뷰어 관련 정보로 분류하고, 분류된 정보들에 기초하여 콘텐츠 애셋, 기획 애셋 및 뷰어 애셋 별로 콘텐츠 데이터를 연관하여 저장할 수 있다. 즉, 데이터베이스부(140)는 상기 정보들에 기반한 관계형 데이터베이스로 구축될 수 있다.

콘텐츠 오브젝트 정보 및 기획 관련 정보와 관련된 데이터는 예컨대 큐레이션 관리자 시스템(200), 문화 유산 표준 관리 시스템(500) 등의 외부 시스템으로부터 획득될 수 있다. 또한, 상기 정보들은 변환부(110)에 의해, 외부 시스템에서 획득한 콘텐츠 데이터로부터 변환되어 생성될 수 있다.

도 6은 데이터베이스부에서 콘텐츠 데이터가 애셋 별로 연계 관리되는 것을 예시한 도면이다.

콘텐츠 애셋은 예컨대, 문화유산 자체의 영상, 관련 도록, 콘텐츠의 생성 이력, 소장 위치, 인터랙션 등과 관련된 데이터일 수 있다. 기획 애셋은 예를 들어, 기존 기획서, 문화유산 보호 및 보관을 위한 요구 사항, 관련 자료, 기존 시행된 인터랙션 리스트 등과 관련된 데이터일 수 있다. 뷰어 애셋은 전시에 사용될 가공 영상, 기획서 서식, 요구 사항 리스트, 인터랙션 프리뷰, 가상 공간에서의 가상 문화유산의 배치 등과 관련된 데이터일 수 있다. 도 6의 예시에 추가하여, 데이터베이스부(140)은 개별 문화유산의 애셋 관리 뿐만 아니라, 상이한 문화유산일지라도 상호 연관성을 갖는 콘텐츠 오브젝트 정보, 기획 관련 정보 및 뷰어 관련 정보를 연계하여, 상기 정보들이 구조화된 연관 애셋 형태로 관리할 수도 있다.

데이터베이스부(140)는 콘텐츠 데이터의 메타 데이터 및 속성 정보를 분석하여 연관된 콘텐츠 데이터의 메타 데이터 및 속성 정보를 인덱스 형태로 연계하여 관리할 수 있다. 데이터베이스부(140)는 사용자의 요청이 있는 경우, 요청과 관련된 인덱스의 메타 데이터 및 속성 정보 중 적어도 하나를 검색하여 매칭된 정보들을 제공할 수 있다.

상술의 점을 예로 들어 설명하면, 큐레이션 관리자 시스템(200)에서 사용되는 3D 스캐너 프로그램과 2D이미지 3D변환 프로그램은 전부 3D 폴리곤 오브젝트를 생성하는 동시에 텍스처를 생성할 수 있다. 2D 사진 촬영의 경우, 문화유산 오브젝트에 대한 원본 사진은 3D모델 변환 프로그램을 통해 3D오브젝트를 생성할 수 있다. 따라서 2D이미지는 완성된 3D 폴리곤 데이터의 텍스처를 만들기 위해서 뿐만 아니라, 3D오브젝트를 생성할 수 있다는 점을 고려하여 데이터베이스부(140)에 저장될 필요가 있다.

또한, 오브젝트 또는 텍스처를 생성함에 있어서 생성 방법에 따라 응용프로그램에서 실제 사용가능여부가 달라질 수 있으므로, 관계형으로 구축된 데이터베이스부(140)는 이들 정보를 인덱스로 관리하는 테이블에 중간 폴더의 경로를 저장할 때, 테이블에 생성 방법을 메타 데이터로 생성하고, 생성 방법에 관한 정보가 각 객체에 기록될 수 있다. 큰 용량의 초고해상도 3D 원본 프로젝트보다 실제로 사용되는 3D 모델 파일은 변환부(110)에 의해, 수정을 가한 경량화 파일로 데이터베이스부(140) 또는 스토리지(190)에 저장될 수 있다. 이 경우, 데이터베이스부(140)는 경량화 모델의 테이블에 모델이 저장되어 있는 경로와, 경량화를 위해 사용한 프로그램, 경량화 정도 등에 대한 메타 데이터를 테이블에 저장할 수 있다. 이에 의해, 데이터베이스부(140)는 사용자 쿼리를 통해 적절한 용량의 모델을 찾도록 지원할 수 있다.

또한, 데이터베이스부(140)는 콘텐츠 데이터의 속성 정보에 기초하여 연관된 콘텐츠 데이터의 속성 정보를 그래프 노드 관계 데이터에 의해 연계하여 관리할 수 있다. 이에 더하여, 검색부(120)는 그래프 노드 관계 데이터 및 검색된 콘텐츠 데이터의 검색 속성 정보에 기반한 검색 그래프 노드 관계 데이터 간에 소정 유사도를 갖는 경우, 검색부(120)는 검색 속성 정보를 신규 생성 정보로 채택하여, 신규 생성 정보에 따른 인덱스 생성 및 그래프의 갱신을 수행하도록, 데이터베이스부(140)를 제어할 수 있다.

어노테이션부(150)는 데이터베이스부에 연관되어 저장된 콘텐츠 데이터 및 탐색 쿼리에 기반하여 콘텐츠와 관련하여 검색된 콘텐츠 데이터를 학습하여 신규 속성 정보를 생성하고, 신규 속성 정보에 기초하여 신규 콘텐츠 데이터를 검색하여 추출하고, 신규 콘텐츠 데이터에 기초하여 콘텐츠의 추가 정보를 부가할 수 있다.

도 7은 어노테이션부의 기능을 개념적으로 예시한 도면이다.

어노테이션부(150)는 데이터베이스부(140)에서 정제되지 않은 콘텐츠 데이터로부터 큐레이션에 필요한 속성 정보를 추출할 수 있다. 어노테이션부(150)는 큐레이터의 탐색 쿼리에 부합하는 콘텐츠 데이터 및 속성 정보를 검색하고, 검색된 콘텐츠 데이터를 학습할 수 있다. 어노테이션부(150)는 검색부(120)의 지원을 통해, 신규 속성 정보에 기초하여 신규 콘텐츠 데이터를 검색하여 추출할 수 있다. 어노테이션부(150)는 도 7의 최우측과 같이, 많은 컨텐츠 데이터가 기록되지 않은 기존의 문화 유산에 추출된 신규 콘텐츠 데이터를 보충하거나 추가할 수 있다. 추가된 문화유산 콘텐츠 데이터는 데이터베이스부(140)에 의해, 애셋의 정보 별로 분류되어 연계됨으로써 관리될 수 있다. 또한, 어노테이션부(150)에 의해 상기 정보가 추가되면, 추가된 정보에 기초하여 그래프 노드 관계 데이터를 갱신할 수 있다.

기획 데이터 제공부(160)는 콘텐츠에 대한 사용자의 기획 관련 정보의 요청에 응답하여 데이터베이스부(140)에서 관리되는 기획 에셋에 속한 기획 관련 정보를 제공할 수 있다.

뷰어 엔진부(170)는 콘텐츠에 대한 사용자의 상기 뷰어 관련 정보의 요청에 응답하여 뷰어 에셋에 속한 상기 뷰어 관련 정보를 제공할 수 있다.

본 개시의 실시예에 따르면, 기존의 문화유산 디지털 데이터의 활용의 한계성을 극복하고, 시대의 요구에 맞는 AR, VR, 메타버스 등의 콘텐츠로의 활용성을 증가시킬 수 있다. 기존의 이미지와 텍스트 데이터로 구성된 문화유산 콘텐츠 데이터에, 게임이나 콘텐츠 제작에서 활용하고 있는 애셋 개념을 도입하여, 문화유산 데이터를 효율적으로 재구성할 수 있다. 또한, 동적 변화성이 있는 문화유산 애셋에 대하여, 본 실시예는 콘텐츠 애셋, 기획 애셋, 뷰어 애셋 등으로 분류하고 애셋을 관계 데이터베이스로 구성하도록 설계한다. 인공지능 기술을 활용하여, 문화유산과 관련된 내용을 학습하고, 이를 이용하여 문화유산에 특화된 텍스트 검출 및 자동 분석이 가능하게 된다. 큐레이션 플랫폼을 박물관 내부에 구성하지 않고 외부 클라우드를 통해 개발함으로써, 사용자의 접근성과 활용성을 증대시킬 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (1)

1. 애셋 기반의 콘텐츠 활용을 위한 지능형 큐레이션 플랫폼 시스템에 있어서,
   콘텐츠로부터 획득된 복수 유형의 콘텐츠 데이터를 콘텐츠 오브젝트 관련 정보, 기획 관련 정보 및 뷰어 관련 정보로 분류하고, 상기 분류된 정보들에 기초하여 콘텐츠 애셋, 기획 애셋 및 뷰어 애셋 별로 상기 콘텐츠 데이터를 연관하여 저장하고, 상기 사용자의 요청에 의해 상기 정보를 출력하는 데이터베이스부; 및
   상기 정보들 및 탐색 쿼리 중 적어도 하나에 기초한 머신 러닝에 의해, 상기 콘텐츠 데이터를 검색하여 신규 콘텐츠 데이터를 추출하고, 상기 신규 컨텐츠 데이터로 상기 정보들을 추가하는 어노테이션부를 포함하는 지능형 큐레이션 플랫폼 시스템.

Images