KR102565659B1

KR102565659B1 - 정보 생성 방법 및 장치

Info

Publication number: KR102565659B1
Application number: KR1020210038963A
Authority: KR
Inventors: 슈 왕; 커신 런; 씨아오한 장; 즈판 펑; 춘구앙 차이; 용 주
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-04-15
Filing date: 2021-03-25
Publication date: 2023-08-10
Also published as: KR20210040885A; JP7170082B2; CN111522994A; JP2021120863A; CN111522994B; EP3859562A3; EP3859562A2; US20210216717A1; US11847164B2

Abstract

본 출원은 지식 그래프 분야에 관한 것으로, 정보 생성 방법 및 장치를 개시한다. 구체적인 실시형태는, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하고, 여기서, 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하며, 비디오 코어 엔티티 단어는 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함하고; 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하며; 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정하고; 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득하는 것이다. 상기 실시형태는 지식 그래프를 사용하여 비디오의 구조화된 의미 정보를 생성하고, 비디오 의미 정보를 보류함과 동시에, 의미 정보의 구조화를 통해 비디오 추천, 검색의 효율 및 정확도를 향상시킬 수 있다.

Description

정보 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING INFORMATION}

본 출원의 실시예는 컴퓨터 기술 분야에 관한 것으로, 구체적으로 지식 그래프 기술 분야에 관한 것이다.

인터넷에서의 비디오 리소스가 증가됨에 따라, 예컨대 비디오 추천 및 비디오 검색 등 비디오 관련 제품이 점점 증가되고 있다.

관련 기술에서, 비디오 검색 또는 비디오 추천은 일반적으로 비디오 라벨링 기술을 사용하여 비디오 리소스에 대해 대응되는 라벨을 설정한다. 다음, 라벨에 기반하여 비디오를 추천하거나 라벨에 기반하여 인덱스를 구축하여 비디오의 추천 또는 검색을 구현한다. 일반적으로, 비디오의 라벨은 1차원적인 구조화되지 않은 것이고, 비디오의 라벨은 비디오의 의미 정보를 포함하지 않으므로, 비디오 추천, 검색 등에 적용되지 않는다.

본 출원의 실시예는 정보 생성 방법, 장치, 기기 및 저장 매체를 제공한다.

제1 양태에 따르면, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계 - 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하고, 비디오 코어 엔티티 단어는 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함함 -; 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하는 단계; 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정하는 단계; 및 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득하는 단계를 포함하는 정보 생성 방법을 제공한다.

제2 양태에 따르면, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 획득 유닛 - 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하고, 비디오 코어 엔티티 단어는 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함함 -; 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하는 연결 유닛; 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정하는 결정 유닛; 및 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득하는 구조화 유닛을 포함하는 정보 생성 장치를 제공한다.

제3 양태에 따르면, 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 통신 연결되는 메모리를 포함하고, 메모리에 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되며, 명령어가 적어도 하나의 프로세서에 의해 실행될 경우 적어도 하나의 프로세서가 상기 방법을 구현할 수 있도록 하는 전자 기기를 제공한다.

제4 양태에 따르면, 컴퓨터 명령어가 저장된 비일시적 컴퓨터 판독 가능한 저장 매체를 제공하며, 컴퓨터 명령어는 컴퓨터가 상기 방법을 수행하도록 한다.

제5 양태에 따르면, 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 상기 방법을 수행한다.

본 출원에 따른 기술은 비디오의 라벨이 구조화되지 않아 의미 정보가 부족하여 비디오 라벨이 비디오 추천, 검색 등에 적용되지 않는 문제를 해결하고, 비디오 추천, 검색의 효율 및 정확도를 향상시킨다.

이 부분에서 설명된 내용은 본 출원의 실시예의 코어 또는 중요 특징을 나타내는 것이 아니고, 본 출원의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 출원의 다른 특징은 아래의 명세서를 통해 용이하게 이해될 것이다.

도면은 본 해결수단을 더 잘 이해하도록 제공되는 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원에 따른 정보 생성 방법의 제1 실시예의 모식도이다.
도 2는 본 실시예에 따른 정보 생성 방법에서 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계 일 실시형태이다.
도 3은 본 출원에 따른 정보 생성 방법의 제2 실시예의 모식도이다.
도 4는 본 출원에 따른 정보 생성 장치의 실시예의 모식도이다.
도 5는 본 출원의 실시예에 따른 정보 생성 방법을 구현하기 위한 전자 기기의 블록도이다.

아래 도면과 결부시켜 본 출원의 예시적 실시예를 설명하며, 여기에 이해를 돕기 위한 본 출원의 실시예의 다양한 세부사항들이 포함되지만, 이들은 단지 예시적인 것으로 이해해야 한다. 따라서, 본 기술분야의 통상의 기술자는 본 출원의 범위 및 정신을 벗어나지 않는 전제 하에 여기서 설명된 실시예에 대해 다양한 엣지형 및 수정을 진행할 수 있음을 이해해야 한다. 마찬가지로, 명확 및 간략을 위해, 아래의 설명에서 공지 기능 및 구조에 대한 설명을 생략한다.

모순되지 않는 한 본 출원의 실시예 및 실시예의 특징은 서로 조합될 수 있음을 유의해야 한다. 아래 도면을 참조하고 실시예를 참조하여 본 출원을 상세히 설명하기로 한다.

도 1을 참조하면, 본 출원에 따른 정보 생성 방법의 제1 실시예의 모식도를 나타낸다. 상기 정보 생성 방법은 하기와 같은 단계를 포함할 수 있다.

단계 101에서, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득한다.

본 실시예에서, 정보 생성 방법의 수행 주체는 정보 생성 장치일 수 있고, 상기 정보 생성 장치는 하나의 전자 엔티티(예를 들어, 서버), 또는 소프트웨를 사용하여 집적된 애플리케이션일 수 있다. 사용시, 대상 비디오를 상기 정보 생성 장치에 입력할 수 있다. 상기 정보 생성 장치는 본 실시예의 정보 생성 방법을 사용하여 대상 비디오의 구조화된 의미 정보를 생성할 수 있다.

본 실시예에서, 상기 수행 주체는 다양한 방식을 사용하여 대상 비디오로부터 라벨 엔티티 단어를 획득할 수 있다. 여기서, 라벨 엔티티 단어는 인지 및 감지 두 측면에서 대상 비디오를 구현할 수 있다. 예시로서, 상기 수행 주체는 대상 비디오를 미리 트레이닝된 엔티티 단어 획득 모델에 입력하여 상기 대상 비디오의 라벨 엔티티 단어를 획득할 수 있고, 엔티티 단어 획득 모델은 대상 비디오와 라벨 엔티티 단어의 대응 관계를 특성화할 수 있다. 물론, 상기 수행 주체는 다른 방식을 통해 대상 비디오의 라벨 엔티티 단어를 획득할 수도 있다.

구체적으로, 상기 라벨 엔티티 단어는 적어도 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함할 수 있다. 상기 인물 엔티티 단어는 상기 대상 비디오에서 나타난 인물(예를 들어, 류더화)를 지시할 수 있다. 상기 작품 엔티티 단어는 상기 대상 비디오가 속하는 작품의 이름 또는 상기 대상 비디오의 작품 이름(예를, 무간도)을 지시할 수 있다. 비디오 카테고리 엔티티 단어는 대상 비디오의 카테고리를 특성화할 수 있는데, 여기서 카테고리는 영상물, 홍콩 및 대만 영화, 중국 내륙 예능 프로그램, 중국 국산 애니메이션 등을 포함할 수 있다. 비디오 코어 엔티티 단어는 대상 비디오에 관련된 콘텐츠와의 엔티티 단어를 특성화할 수 있는데, 예를 들어, 비디오 코어 엔티티 단어는 대상 비디오에서 나타난 음악의 음악 이름, 상기 음악을 부른 가수, 애니메이션 캐릭터 등을 포함할 수 있다.

단계 102에서, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결한다.

본 실시예에서, 미리 설정된 지식 그래프(knowledge graph, KG)는 선행기술에서 공지된 지식 그래프일 수 있다. 상기 지식 그래프는 다수의 노드(Point)를 포함할 수 있고, 여기서 일부 노드 사이에는 연결된 엣지(Edge)가 존재한다. 단계 101에서 획득한 다수의 라벨 엔티티 단어에 기반하여, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 수행 주체는 상기 라벨 엔티티 단어를 상기 지식 그래프 내의 노드에 연결할 수 있음으로써, 상기 다수의 라벨 엔티티 단어 중 각각의 엔티티 단어는 모두 지식 그래프의 노드에 연결될 수 있다. 라벨 엔티티 단어를 지식 그래프의 노드에 연결하는 것은 라벨 엔티티 단어의 문자열을 지식 그래프 중 대응되는 노드에 매핑시키는 것을 의미할 수 있음을 이해할 수 있다.

지식 그래프는 본질적으로 의미 네트워크로서, 그래프의 데이터 구조에 기반하여, 노드와 엣지로 구성된 것이다. 지식 그래프에서, 각각의 노드는 구별 가능성을 가지고 독립적으로 존재하는 어느 하나의 사물을 나타내고, 각 엣지는 노드와 노드 사이의 관계를 나타낸다. 노드 중 사물은 어느 한 사람, 어느 하나의 도시, 어느 하나의 식물, 어느 하나의 상품 등일 수 있다. 지식 그래프는 관계의 한 가지 유효한 표현 방식이고, 진실 세계에 존재하는 다양한 사물 및 그 관계를 서술하는 것이다. 따라서, 라벨 엔티티 단어를 지식 그래프의 노드에 연결하여 노드와 엣지의 관계를 통해 라벨 엔티티 단어의 의미 정보를 획득할 수 있다.

본 실시예의 일부 선택 가능한 실시형태에서, 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결한 후, 상기 수행 주체는 지식 그래프를 이용하여 각 라벨 엔티티 단어를 검사할 수 있음으로써, 다수의 라벨 엔티티 단어에 대상 비디오와 무관한 라벨 엔티티 단어가 존재하는지 여부를 판단한다. 구체적으로, 상기 수행 주체는 지식 그래프에서의 각 라벨 엔티티 단어의 연결 결과에 기반하여 각 라벨 엔티티 단어에 무관 엔티티 단어가 존재하는지 여부를 판단할 수 있다. 여기서의 무관 엔티티 단어는 다수의 라벨 엔티티 단어 중 대상 비디오와 무관한 엔티티 단어일 수 있다. 예를 들어, 대상 비디오가 영화 "무간도"의 한 장면이면, 상기 수행 주체에 의해 획득한 각 라벨 엔티티 단어에 인물 엔티티 단어 "장쉐여우"가 포함되고, 상기 인물 엔티티 단어를 지식 그래프의 "장쉐여우" 노드에 연결한 후, 상기 노드 및 엣지의 관계에 따라 "장쉐여우"가 대상 비디오와 무관함을 판단할 수 있는데, 이때, 상기 인물 엔티티 단어가 대상 비디오와 무관한 라벨 엔티티 단어임을 결정할 수 있다. 상기 수행 주체는 라벨 엔티티 단어가 무관 엔티티 단어임을 결정한 후 상기 무관 엔티티 단어를 삭제할 수 있음을 이해할 수 있다. 상기 실시형태에 의해 제공되는 해결수단은 지식 그래프를 이용하여, 획득한 각 라벨 엔티티 단어를 검사하고, 각 라벨 엔티티 단어에서 대상 비디오와 무관한 엔티티 단어를 삭제할 수 있음으로써, 대상 비디오의 구조화된 의미 정보를 획득하는 정확도를 향상시킨다.

단계 103에서, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정한다.

본 실시예에서, 상기 수행 주체는 단계 102의 연결 결과를 획득하고, 각 라벨 엔티티 단어의 연결 결과를 이용하여, 지식 그래프에서의 각 라벨 엔티티 단어의 연결 노드 및 상기 노드와 연결되는 엣지 및 노드에 따라, 각 라벨 엔티티 단어의 의미 정보를 결정할 수 있다. 여기서, 각 라벨 엔티티 단어의 의미 정보를 상기 대상 비디오의 의미 정보로 결정할 수 있다. 예시로서, 상기 라벨 엔티티 단어는 인물 엔티티 단어 "류더화"이고, 상기 수행 주체는 상기 인물 엔티티 단어를 지식 그래프의 노드에 연결한 후, 상기 노드에 포함된 정보, 및 엣지를 통해 상기 노드와 연결된 노드에 포함된 정보를 획득할 수 있는데, 예를 들어, 류더화의 신분 정보, 대표 작품 정보 등을 획득할 수 있고, 이러한 정보는 인물 엔티티 단어의 의미 정보이다.

본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행 주체는 하기와 같은 방식을 통해 상기 단계 103을 구현할 수 있는 바, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어의 속성 정보를 획득하고; 각 라벨 엔티티 단어의 연결 결과에 기반하여, 지식 그래프 내 엣지의 관계에 따라 각 라벨 엔티티 단어를 확장하여, 대상 비디오의 확장 정보를 획득하며; 각 라벨 엔티티 단어의 속성 정보 및 확장 정보를 대상 비디오의 의미 정보로 결정한다. 상기 실시형태는 각 라벨 엔티티 단어의 연결 결과를 이용하여 각 라벨 엔티티 단어의 속성 정보(예를 들어, 라벨 엔티티 단어는 인물 엔티티 단어 및 작품 엔티티 단어를 포함하고, 인물 엔티티 단어의 속성 정보는 인물 신분 정보, 대표 작품 정보 등을 포함할 수 있으며, 작품 엔티티 단어의 속성 정보는 작품 시간 정보, 출연 인원 정보 등을 포함할 수 있다)를 획득할 수 있다. 다음, 상기 수행 주체는 각 라벨 엔티티 단어의 연결 결과를 이용하여, 지식 그래프 내 엣지와 노드의 관계에 따라 각 라벨 엔티티 단어에 대해 정보 확장을 진행할 수 있음으로써, 확장 정보를 획득할 수 있다. 예를 들어, 라벨 엔티티 단어는 인물 엔티티 단어(류더화) 및 작품 엔티티 단어(무간도)를 포함할 수 있고, 인물 엔티티 단어(류더화) 및 작품 엔티티 단어(무간도)인 이 2개의 라벨 엔티티 단어의 연결 결과를 이용하여, 지식 그래프 중 연결 결과의 노드와 엣지의 관계에 따라 이 2개의 라벨 엔티티 단어에 대해 정보 확장을 진행하여, 예컨대 작품에서의 인물의 캐릭터 정보(류더화가 무간도에서 맡은 캐릭터인 류찌안밍) 등 확장 정보를 획득할 수 있다. 상기 실시형태는 대상 비디오의 의미 정보를 더 확장시킬 수 있다.

단계 104에서, 지식 그래프 내의 노드와 엣지의 관계에 따라, 각 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득한다.

본 실시예에서, 단계 103에서 획득한 의미 정보에 기반하여, 상기 수행 주체는 의미 정보가 지식 그래프에서 위치한 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화할 수 있음으로써, 상기 대상 비디오의 구조화된 의미 정보를 획득한다. 상기 수행 주체는 대상 비디오에 대해 획득한 구조화된 의미 정보를 라벨링할 수 있음을 이해할 수 있다.

일부 선택 가능한 실시형태에서, 도 2에 도시된 바와 같이, 도 2는 본 실시예에 따른 정보 생성 방법에서 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계 일 실시형태를 나타낸다. 구체적으로, 상기 수행 주체는 하기와 같은 방식을 통해 단계 101에서의 "대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계"를 구현할 수 있다.

단계 201에서, 대상 비디오에 대해 얼굴 인식을 진행하여 대상 비디오의 인물 엔티티 단어를 획득한다.

본 실시형태에서, 상기 수행 주체는 얼굴 인식 기술을 사용하여 대상 비디오를 인식하고, 대상 비디오로부터 인물 엔티티 단어를 획득할 수 있다. 상기 실시형태에서, 상기 수행 주체는 기설정된 얼굴 데이터베이스에 대상 비디오에 포함된 얼굴이 존재하는지 여부를 판단할 수 있다. 얼굴 데이터베이스에 대상 비디오에 포함된 얼굴이 존재하면, 상기 수행 주체는 대상 비디오 중의 인물 엔티티 단어를 결정할 수 있다. 또는, 상기 수행 주체는 대상 비디오 또는 대상 비디오 중의 얼굴 이미지를 포함하는 이미지 프레임을 미리 트레이닝된 얼굴 인식 모델에 입력하여 대상 비디오 중의 인물 엔티티 단어를 획득할 수도 있다. 얼굴 인식 모델은 대상 비디오 또는 대상 비디오에 포함된 얼굴 이미지와 인물 엔티티 단어 사이의 대응 관계를 특성화할 수 있다.

단계 202에서, 대상 비디오에 대해 비디오 지문 인식을 진행하여 대상 비디오의 작품 엔티티 단어를 획득한다.

본 실시형태에서, 하나의 비디오 라이브러리를 미리 설정할 수 있고, 상기 비디오 라이브러리에는 대량의 완전한 소스 비디오가 포함될 수 있으며, 비디오 라이브러리에는 각각의 소스 비디오의 작품 이름이 표기되어 있다. 비디오 지문 인식 시, 대상 비디오와 비디오 라이브러리 중 각 소스 비디오를 매칭시킬 수 있음으로써, 상기 대상 비디오의 작품 이름 또는 대상 비디오가 속하는 소스 비디오의 작품 이름을 결정하여 대상 비디오의 작품 엔티티 단어를 획득할 수 있다.

단계 203에서, 대상 비디오의 이미지 콘텐츠, 오디오 콘텐츠 및 텍스트 콘텐츠의 인식 결과에 기반하여, 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득한다.

본 실시형태에서, 상기 수행 주체는 다양한 방식을 사용하여 대상 비디오를 처리할 수 있음으로써, 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득할 수 있다. 구체적으로, 상기 수행 주체는 다양한 실시형태를 사용하여 대상 비디오의 이미지 콘텐츠, 오디오 콘텐츠 및 텍스트 콘텐츠를 처리하여 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득할 수 있다. 상기 실시형태에 의해 제공되는 다수의 라벨 엔티티 단어의 획득 방법은 감지 및 인지인 2개의 측면에서 라벨 엔티티 단어를 획득할 수 있음으로써, 라벨 엔티티 단어를 획득하는 전면성을 향상시킨다.

선택 가능하게, 상기 수행 주체는 대상 비디오로부터 멀티프레임 이미지를 추출할 수 있으며, 추출된 멀티프레임 이미지는 상기 대상 비디오의 이미지 콘텐츠이다. 다음, 대상 비디오의 이미지 콘텐츠(예를 들어, 대상 비디오에서 나타난 애니메이션 인물, 장면 등)를 분석함으로써, 대상 비디오 중 예컨대 애니메이션 캐릭터 등 비디오 코어 엔티티 단어를 결정할 수 있다. 또한, 상기 수행 주체는 대상 비디오로부터 오디오 정보를 추출할 수도 있으며, 추출된 오디오 정보는 대상 비디오의 오디오 콘텐츠이다. 다음, 대상 비디오의 오디오 콘텐츠에 대해 텍스트 변환, 성문 인식 등 처리를 진행함으로써, 대상 비디오 중 예컨대 음악 이름, 가수 등 비디오 코어 엔티티 단어를 결정할 수 있다. 또한, 상기 수행 주체는 대상 비디오로부터 텍스트 정보(예를 들어, 대상 비디오의 자막 정보)를 추출할 수도 있으며, 여기서 추출된 텍스트는 대상 비디오의 텍스트 콘텐츠이다. 다음, 대상 비디오의 텍스트 콘텐츠에 대해 의미 분석 등 처리를 진행함으로써, 대상 비디오의 가사 등 비디오 코어 엔티티 단어를 결정할 수 있다. 대상 비디오의 이미지 콘텐츠、오디오 콘텐츠 및 텍스트 콘텐츠 중 적어도 하나의 인식 결과로부터 대상 비디오의 비디오 카테고리 엔티티 단어를 더 결정할 수 있는데, 예를 들어, 비디오 카테고리 엔티티 단어는 홍콩 및 대만 영화임을 결정할 수 있음을 이해할 수 있다.

선택 가능하게, 상기 수행 주체는 예컨대 대상 비디오의 얼굴 정보, 자막 정보 등 비 의미 정보에 대응되는 라벨 엔티티 단어를 획득한 후, 획득한 라벨 엔티티 단어를 지식 그래프에 연결할 수 있음으로써, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어 등을 직접 획득할 수 있다.

상기 수행 주체는 단계 201, 단계 202 및 단계 203 중 적어도 하나로부터 대상 비디오의 라벨 엔티티 단어를 획득할 수 있음을 이해할 수 있다. 상기 단계 201, 단계 202 및 단계 203의 수행 순서에는 선후는 한정되어 있는 것이 아니며, 여기서 이에 대해 제한하지 않는 바, 예를 들어, 상기 단계 201, 단계 202 및 단계 203은 동시에 수행될 수도 있다.

본 출원의 상기 실시예에 의해 제공되는 정보 생성 방법은, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득할 수 있고, 다음, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결할 수 있으며, 그 다음, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정할 수 있고, 마지막으로, 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득할 수 있음으로써, 비디오에 구조화된 의미 정보를 제공하며, 비디오의 라벨이 구조화되지 않아 의미 정보가 부족하여 비디오 라벨이 비디오 추천, 검색 등에 적용되지 않는 문제를 해결하고, 비디오 추천, 검색의 효율 및 정확도를 향상시킨다.

계속하여 도 3을 참조하면, 도 3은 본 출원에 따른 정보 생성 방법의 제2 실시예의 모식도이다. 상기 정보 생성 방법은 하기와 같은 단계를 포함할 수 있다.

단계 301에서, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득한다.

단계 302에서, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결한다.

단계 303에서, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정한다.

단계 304에서, 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득한다.

본 실시예에서, 상기 단계 301 ~ 단계 304에 포함된 내용은 상기 실시예 중의 단계 101 ~ 단계 104에 포함된 내용과 동일하거나 유사하므로, 여기서 더 이상 설명하지 않는다.

단계 305에서, 대상 비디오의 구조화된 의미 정보에 기반하여, 대상 비디오의 구조화 서브그래프를 생성한다.

본 실시예에서, 단계 304에서 획득한 대상 비디오의 의미화된 의미 정보에 기반하여, 상기 수행 주체는 지식 그래프 중 노드와 엣지의 관계에 따라 상기 대상 비디오의 구조화 서브그래프를 구축할 수 있다. 상기 구조화 서브그래프는 노드와 엣지를 포함할 수 있고, 노드와 엣지의 관계를 통해 대상 비디오에 포함된 의미 정보 사이의 관계를 나타낼 수 있다.

단계 306에서, 구조화 서브그래프를 미리 트레이닝된 벡터화 모델에 입력하여 대상 비디오의 구조화된 의미 정보를 획득한다.

본 실시예에서, 단계 305에서 획득한 대상 비디오의 구조화 서브그래프에 기반하여, 상기 수행 주체는 획득한 구조화 서브그래프를 미리 트레이닝된 벡터화 모델에 입력할 수 있다. 상기 벡터화 모델은 상기 대상 비디오의 구조화된 의미 정보의 벡터를 출력할 수 있다. 여기서, 벡터화 모델은 구조화 서브그래프와 구조화된 의미 정보의 벡터 사이의 대응 관계를 특성화할 수 있다. 획득한 벡터는 구조화 서브그래프의 벡터 표현일 수 있거나, 또는 획득한 벡터는 구조화 서브그래프 내의 노드의 벡터 표현일 수도 있다. 예를 들어, 구조화 서브그래프의 벡터 표현은 비디오 추천 업무에 응용될 수 있고, 노드의 벡터 표현은 비디오 검색 업무에 응용될 수 있다. 상기 수행 주체는 다양한 수단을 사용하여 상기 벡터화 모델을 트레이닝할 수 있고, 여기서 실제 필요에 따라 모델을 트레이닝할 수 있으며, 유일하게 한정하지 않음을 이해할 수 있다.

본 실시예의 일부 선택 가능한 실시형태에서, 상기 수행 주체는 그래프 신경망(Graph Neural Networks, GNN)를 통해 상기 벡터화 모델을 트레이닝할 수 있다. 그래프 신경망을 통해 트레이닝하여 획득한 벡터화 모델은 구조화 서브그래프의 벡터 표현을 출력할 수 있다. 예를 들어, 그래프 신경망는 구체적으로 그래프 콘볼루션 신경망(Graph Convolutional Network, GCN)를 사용하여, 구조화 서브그래프 내의 노드의 속성 및 노드의 라벨에 기반하여 특정 태스크에 대해 모델 파라미터를 단대단으로 트레이닝할 수 있음으로써, 상기 벡터화 모델을 획득한다. 물론, 기 수행 주체는 그래프 임베딩(Graph Embedding, GE) 알고리즘을 사용하여 상기 벡터화 모델을 트레니이할 수도 있다. 그래프 임베딩 알고리즘을 통해 트레이닝하여 획득한 벡터화 모델은 구조화 서브그래프 내의 노드의 벡터 표현을 출력할 수 있다. 예를 들어, 그래프 임베딩 알고리즘은 구체적으로 노드 벡터Node2Vec의 방식을 사용하여 벡터화 모델을 트레이닝할 수 있다. 구조화 서브그래프 내의 노드와 엣지로 구성된 네트워크에는 아주 많은 채널이 존재하는데, 각각의 노드를 한 가닥의 선으로 연결하면, 이러한 연결선은 동일한 문장 중 각각의 단어 사이의 관계와 같은 노드 사이의 상호 관계를 포함한다. 따라서, 이러한 노드 시퀀스를 문장으로 사용할 수 있고, 단어 벡터 word2vec의 방법으로 트레이닝하는데, 즉 노드벡터 Node2Vec의 방식으로 트레이닝하여 노드의 벡터 표현을 획득할 수 있다. 상기 실시형태는 구조화 서브그래프의 벡터 표현을 출력하기 위한 벡터화 모델 및 노드의 벡터 표현을 출력하기 위한 벡터화 모델을 제공할 수 있음으로써, 출력된 대상 비디오의 구조화된 의미 정보의 벡터가 다양화할 수 있도록 할 수 있다.

도 3으로부터 알 수 있는 바, 도 1의 대응되는 실시예와 비교해보면, 본 실시예에서의 정보 생성 방법은 지식 그래프를 이용하여 비디오의 구조화된 의미 정보를 생성한 후, 대응되는 구조화 서브그래프를 획득하고, 미리 트레이닝된 벡터화 모델을 사용하여 비디오의 구조화된 의미 정보의 벡터 표현을 획득할 수 있음으로써, 생성된 비디오의 구조화된 의미 정보가 비디오 추천 및 비디오 검색에 더 잘 적용될 수 있도록 하므로, 비디오의 구조화된 의미 정보의 실용성을 향상시킨다.

또한 도 4를 참조하면, 상기 각 도에 도시된 방법의 구현으로서, 본 출원은 정보 생성 장치의 일 실시예를 제공하며, 상기 장치 실시예는 도 1에 도시된 방법 실시예와 대응되고, 상기 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.

도 4에 도시된 바와 같이, 본 실시예의 정보 생성 장치(400)은 획득 유닛(401), 연결 유닛(402), 결정 유닛(403) 및 구조화 유닛(404)을 포함한다. 여기서, 획득 유닛(401)은, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하고, 여기서, 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하며, 비디오 코어 엔티티 단어는 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함하고; 연결 유닛(402)은, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하며; 결정 유닛(403)은, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정하고; 구조화 유닛(404)은, 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득한다.

본 실시예의 일부 선택 가능한 실시형태에서, 장치(400)는, 대상 비디오의 구조화된 의미 정보에 기반하여, 대상 비디오의 구조화 서브그래프를 생성하는 생성 유닛; 및 구조화 서브그래프를 미리 트레이닝된 벡터화 모델에 입력하여 대상 비디오의 구조화된 의미 정보를 획득하는 입력 유닛을 더 포함하고, 여기서, 벡터화 모델은 구조화 서브그래프와 구조화된 의미 정보의 벡터 사이의 대응 관계를 특성화하기 위한 것이다.

본 실시예의 일부 선택 가능한 실시형태에서, 벡터화 모델은 그래프 신경망 또는 그래프 임베딩 알고리즘을 통해 트레이닝하여 획득한다.

본 실시예의 일부 선택 가능한 실시형태에서, 획득 유닛(401)은 또한, 대상 비디오에 대해 얼굴 인식을 진행하여 대상 비디오의 인물 엔티티 단어를 획득하고; 대상 비디오에 대해 비디오 지문 인식을 진행하여 대상 비디오의 작품 엔티티 단어를 획득하며; 대상 비디오의 이미지 콘텐츠, 오디오 콘텐츠 및 텍스트 콘텐츠의 인식 결과에 기반하여, 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득한다.

본 실시예의 일부 선택 가능한 실시형태에서, 장치(400)는, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 각 라벨 엔티티 단어에 무관 엔티티 단어가 존재하는지 여부를 판단하는 판단 유닛 - 무관 엔티티 단어는 다수의 라벨 엔티티 단어 중 대상 비디오와 무관한 엔티티 단어임 -; 및 라벨 엔티티 단어가 무관 엔티티 단어임을 결정한 것에 응답하여, 무관 엔티티 단어를 삭제하는 삭제 유닛을 더 포함한다.

본 실시예의 일부 선택 가능한 실시형태에서, 결정 유닛(403)은 또한, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어의 속성 정보를 획득하고; 각 라벨 엔티티 단어의 연결 결과에 기반하여, 지식 그래프 내 엣지의 관계에 따라 라벨 엔티티 단어를 확장하여, 대상 비디오의 확장 정보를 획득하며; 각 라벨 엔티티 단어의 속성 정보 및 확장 정보를 대상 비디오의 의미 정보로 결정한다.

장치(400)에 기재된 모든 유닛은 도 1을 참조하여 설명된 방법에서의 각 단계와 대응된다. 이로써, 위에서 방법에 대해 설명한 동작 및 특징은 마찬가지로 장치(400) 및 그 중에 포함된 유닛에 적용되므로, 여기서 더 이상 설명하지 않는다.

본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능한 저장 매체를 더 제공한다.

도 5에 도시된 바와 같이, 본 출원의 실시예에 따른 정보 생성 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 운영 플랫폼, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 다른 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 의미한다. 전자 기기는 개인 디지털 처리, 셀룰러폰, 스마트폰, 웨어러블 기기 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 이동 장치를 의미할 수도 있다. 본문에서 나타낸 부재, 이들의 연결과 관계, 및 이들의 기능은 단지 예시적인 것으로, 본문에서 설명 및/또는 요구된 본 출원의 구현을 한정하지 않는다.

도 5에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서(501), 메모리(502), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부재를 연결하기 위한 인터페이스를 포함한다. 각 부재는 상이한 버스를 이용하여 서로 연결되고, 공통 메인보드에 장착될 수 있거나 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는, 메모리에 저장되거나 메모리에서 외부 입력/출력 장치(예를 들어, 인터페이스에 커플링된 표시 기기)에 GUI의 그래픽 정보를 표시하는 명령어를 포함하는 전자 기기 내에서 실행되는 명령어를 처리할 수 있다. 다른 실시형태에서, 필요에 따라 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 다수의 전자 기기를 연결할 수 있고, 각 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 다중 프로세서 시스템)을 제공한다. 도 5에서 하나의 프로세서(501)를 예로 든다.

메모리(502)는 본 출원에 의해 제공되는 비일시적 컴퓨터 판독 가능한 저장 매체이다. 여기서, 메모리에 적어도 하나의 프로세서가 본 출원에 의해 제공되는 정보 생성 방법을 수행하도록 하는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장된다. 본 출원의 비일시적 컴퓨터 판독 가능한 저장 매체는 본 출원에 의해 제공되는 정보 생성 방법을 수행하도록 하는 컴퓨터 명령어를 저장한다.

메모리(502)는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능한 프로그램, 및 본 출원의 실시예의 정보 생성 방법에 대응되는 프로그램 명령어/모듈(예를 들어, 도 4에 도시된 획득 유닛(401), 연결 유닛(402), 결정 유닛(403) 및 구조화 유닛(404))과 같은 모듈을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는데, 즉 상기 방법 실시예의 정보 생성 방법을 구현한다.

메모리(502)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 데이터 저장 영역은 정보를 생성하기 위한 전자 기기의 사용에 따라 구축한 다양한 데이터 등을 저장할 수 있다. 이 밖에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 다른 비일시적 고체 상태 메모리와 같은 비일시적 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(502)는 프로세서(501)에 대해 원격으로 설치된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 정보를 생성하기 위한 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예로 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지 않는다.

정보 생성 방법의 전자 기기는 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 다른 방식을 통해 연결될 수 있고, 도 5에서 버스를 통해 연결되는 것을 예로 든다.

입력 장치(503)는 입력된 디지털 또는 문자 정보를 수신할 수 있고, 정보를 생성하기 위한 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 발생할 수 있으며, 상기 입력 장치는 예를 들어 터치스크린, 키패드, 마우스, 트랙 패널, 터치 패널, 지시 바, 하나 또는 다수의 마우스 버튼, 트랙 볼, 조이스틱 등 입력 장치이다. 출력 장치(504)는 표시 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 표시 기기는 액정 표시 장치(LCD), 발광 다이오드(LED) 표시 장치 및 플라스마 표시 장치를 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 표시 기기는 터치스크린일 수 있다.

여기서 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 다수의 컴퓨터 프로그램에서의 구현을 포함할 수 있고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령어를 수신할 수 있으며, 데이터 및 명령어를 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라고도 함)은 프로그램 가능 프로세서의 기계 명령어를 포함하고, 하이레벨 프로세스 및/또는 객체에 대한 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 본문에서 사용된 바와 같이, 용어 “기계 판독 가능한 매체” 및 “컴퓨터 판독 가능한 매체”는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 로직 장치(PLD))를 의미하고, 기계 판독 가능한 신호인 기계 명령어를 수신하는 기계 판독 가능한 매체를 포함한다. 용어 “기계 판독 가능한 신호”는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 의미한다.

사용자와의 인터랙션을 제공하기 위하여, 컴퓨터에서 여기서 설명된 시스템 및 기술을 실시할 수 있고, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 표시 장치) 모니터); 및 키보드 및 지향 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 상기 키보드 및 상기 지향 장치를 통해 컴퓨터에 입력을 제공한다. 다른 타입의 장치는 또한 사용자와의 인터랙션을 제공할 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고; 임의의 형태(소리 입력, 음성 입력, 또는 촉각 입력)로 사용자로부터의 입력을 수신할 수 있다.

여기서 설명된 시스템 및 기술을 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비하는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기서 설명된 시스템 및 기술의 실시형태와 인터랙션할 수 있음), 또는 이러한 백그라운드 부재, 미들웨어 부재, 또는 프론트 엔드 부재의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 일반적으로 통신 네트워크를 통해 서로 인터랙션한다. 대응되는 컴퓨터에서 실행되고 또한 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트 및 서버의 관계를 생성한다.

본 출원의 실시예에 따른 기술적 해결수단은, 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득할 수 있고, 다음, 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결할 수 있으며, 그 다음, 각 라벨 엔티티 단어의 연결 결과에 기반하여, 대상 비디오의 의미 정보를 결정할 수 있고, 마지막으로, 지식 그래프 내의 노드와 엣지의 관계에 따라, 대상 비디오의 의미 정보를 구조화하여, 대상 비디오의 구조화된 의미 정보를 획득할 수 있음으로써, 비디오에 구조화된 의미 정보를 제공하며, 선행기술에서의 비디오의 라벨이 구조화되지 않아 의미 정보가 부족하여 비디오 라벨이 비디오 추천, 검색 등에 적용되지 않는 문제를 해결하고, 비디오 추천, 검색의 효율 및 정확도를 향상시킨다.

위에서 설명한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 동시에 수행될 수 있거나 순차적으로 수행될 수 있거나 상이한 순서로 수행될 수 있고, 본 출원에서 공개된 기술적 해결수단이 이루고자 하는 결과를 구현할 수만 있으면, 본문은 여기서 한정하지 않는다.

상기 구체적인 실시형태는 본 출원의 보호 범위를 한정하지 않는다. 본 기술분야의 통상의 기술자는 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체를 진행할 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 진행한 임의의 수정, 등가적 대체 및 개선 등은 모두 본 출원의 보호 범위 내에 속해야 한다.

Claims

정보 생성 장치에 의해 수행되는 정보 생성 방법으로서,
대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계 - 상기 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하고, 상기 비디오 코어 엔티티 단어는 상기 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함함 -;
상기 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하는 단계;
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 상기 대상 비디오의 의미 정보를 결정하는 단계;
상기 지식 그래프 내의 노드와 엣지의 관계에 따라, 상기 대상 비디오의 의미 정보를 구조화하여, 상기 대상 비디오의 구조화된 의미 정보를 획득하는 단계;
상기 대상 비디오의 구조화된 의미 정보에 기반하여, 상기 대상 비디오의 구조화 서브그래프를 생성하는 단계; 및
상기 구조화 서브그래프를 미리 트레이닝된 벡터화 모델에 입력하여 상기 대상 비디오의 구조화된 의미 정보를 획득하는 단계를 포함하고,
상기 벡터화 모델은 구조화 서브그래프와 구조화된 의미 정보의 벡터 사이의 대응 관계를 특성화하기 위한 것인 정보 생성 방법.
삭제
제1항에 있어서,
상기 벡터화 모델은 그래프 신경망 또는 그래프 임베딩 알고리즘을 통해 트레이닝하여 획득되는 정보 생성 방법.
제1항에 있어서,
상기 대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 단계는,
상기 대상 비디오에 대해 얼굴 인식을 진행하여 상기 대상 비디오의 인물 엔티티 단어를 획득하는 단계;
상기 대상 비디오에 대해 비디오 지문 인식을 진행하여 상기 대상 비디오의 작품 엔티티 단어를 획득하는 단계; 및
상기 대상 비디오의 이미지 콘텐츠, 오디오 콘텐츠 및 텍스트 콘텐츠의 인식 결과에 기반하여, 상기 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득하는 단계를 포함하는 정보 생성 방법.
제1항에 있어서,
상기 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하는 단계 이후에, 상기 방법은,
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어에 무관 엔티티 단어가 존재하는지 여부를 판단하는 단계 - 상기 무관 엔티티 단어는 상기 다수의 라벨 엔티티 단어 중 상기 대상 비디오와 무관한 엔티티 단어임 -; 및
상기 라벨 엔티티 단어가 무관 엔티티 단어임을 결정한 것에 응답하여, 상기 무관 엔티티 단어를 삭제하는 단계를 더 포함하는 정보 생성 방법.
제1항, 제3항 내지 제5항 중 어느 한 항에 있어서,
상기 각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 상기 대상 비디오의 의미 정보를 결정하는 단계는,
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어의 속성 정보를 획득하는 단계;
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 상기 지식 그래프 내 엣지의 관계에 따라 상기 라벨 엔티티 단어를 확장하여, 상기 대상 비디오의 확장 정보를 획득하는 단계; 및
각 상기 라벨 엔티티 단어의 속성 정보 및 상기 확장 정보를 상기 대상 비디오의 의미 정보로 결정하는 단계를 포함하는 정보 생성 방법.
정보 생성 장치로서,
대상 비디오로부터 다수의 라벨 엔티티 단어를 획득하는 획득 유닛 - 상기 라벨 엔티티 단어는 인물 엔티티 단어, 작품 엔티티 단어, 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 포함하고, 상기 비디오 코어 엔티티 단어는 상기 대상 비디오에 관련된 콘텐츠를 특성화하기 위한 엔티티 단어를 포함함 -;
상기 다수의 라벨 엔티티 단어 중 어느 하나의 라벨 엔티티 단어에 대해, 상기 라벨 엔티티 단어를 미리 설정된 지식 그래프 내의 노드에 연결하는 연결 유닛;
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 상기 대상 비디오의 의미 정보를 결정하는 결정 유닛;
상기 지식 그래프 내의 노드와 엣지의 관계에 따라, 상기 대상 비디오의 의미 정보를 구조화하여, 상기 대상 비디오의 구조화된 의미 정보를 획득하는 구조화 유닛;
상기 대상 비디오의 구조화된 의미 정보에 기반하여, 상기 대상 비디오의 구조화 서브그래프를 생성하는 생성 유닛; 및
상기 구조화 서브그래프를 미리 트레이닝된 벡터화 모델에 입력하여 상기 대상 비디오의 구조화된 의미 정보를 획득하는 입력 유닛을 포함하고,
상기 벡터화 모델은 구조화 서브그래프와 구조화된 의미 정보의 벡터 사이의 대응 관계를 특성화하기 위한 것인 정보 생성 장치.
삭제
제7항에 있어서,
상기 벡터화 모델은 그래프 신경망 또는 그래프 임베딩 알고리즘을 통해 트레이닝하여 획득되는 정보 생성 장치.
제7항에 있어서,
상기 획득 유닛은 또한,
상기 대상 비디오에 대해 얼굴 인식을 진행하여 상기 대상 비디오의 인물 엔티티 단어를 획득하고;
상기 대상 비디오에 대해 비디오 지문 인식을 진행하여 상기 대상 비디오의 작품 엔티티 단어를 획득하며;
상기 대상 비디오의 이미지 콘텐츠, 오디오 콘텐츠 및 텍스트 콘텐츠의 인식 결과에 기반하여, 상기 대상 비디오의 비디오 카테고리 엔티티 단어 및 비디오 코어 엔티티 단어를 획득하는 정보 생성 장치.
제7항에 있어서,
상기 장치는,
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어에 무관 엔티티 단어가 존재하는지 여부를 판단하는 판단 유닛 - 상기 무관 엔티티 단어는 상기 다수의 라벨 엔티티 단어 중 상기 대상 비디오와 무관한 엔티티 단어임 -; 및
상기 라벨 엔티티 단어가 무관 엔티티 단어임을 결정한 것에 응답하여, 상기 무관 엔티티 단어를 삭제하는 삭제 유닛을 더 포함하는 정보 생성 장치.
제7항, 제9항 내지 제11항 중 어느 한 항에 있어서,
상기 결정 유닛은 또한,
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 각 상기 라벨 엔티티 단어의 속성 정보를 획득하고;
각 상기 라벨 엔티티 단어의 연결 결과에 기반하여, 상기 지식 그래프 내 엣지의 관계에 따라 상기 라벨 엔티티 단어를 확장하여, 상기 대상 비디오의 확장 정보를 획득하며;
각 상기 라벨 엔티티 단어의 속성 정보 및 상기 확장 정보를 상기 대상 비디오의 의미 정보로 결정하는 정보 생성 장치.
전자 기기로서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서에 통신 연결되는 메모리를 포함하고,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장되며, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 경우 상기 적어도 하나의 프로세서가 제1항에 따른 정보 생성 방법을 수행하도록 하는 전자 기기.
컴퓨터 명령어가 저장된 비일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 명령어는 컴퓨터가 제1항에 따른 정보 생성 방법을 수행하도록 하는 비일시적 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우, 제1항에 따른 정보 생성 방법을 수행하는 컴퓨터 프로그램.