KR20180087702A - 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법 - Google Patents

영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법 Download PDF

Info

Publication number
KR20180087702A
KR20180087702A KR1020170012056A KR20170012056A KR20180087702A KR 20180087702 A KR20180087702 A KR 20180087702A KR 1020170012056 A KR1020170012056 A KR 1020170012056A KR 20170012056 A KR20170012056 A KR 20170012056A KR 20180087702 A KR20180087702 A KR 20180087702A
Authority
KR
South Korea
Prior art keywords
user
structure query
story graph
query
image
Prior art date
Application number
KR1020170012056A
Other languages
English (en)
Other versions
KR102161784B1 (ko
Inventor
손정우
김상권
김선중
김승희
이현우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170012056A priority Critical patent/KR102161784B1/ko
Priority to US15/689,401 priority patent/US20180210890A1/en
Publication of KR20180087702A publication Critical patent/KR20180087702A/ko
Application granted granted Critical
Publication of KR102161784B1 publication Critical patent/KR102161784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F17/3079—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G06F17/3082—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법에 관한 것으로서, 본 발명의 실시 예에 따른 콘텐츠 맵 서비스 장치는, 영상 콘텐츠에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 상기 추출된 개체 관계를 기반으로 스토리 그래프를 생성하는 스토리 그래프 생성 장치; 상기 생성된 스토리 그래프를 저장하는 스토리 그래프 데이터베이스; 그래프 형태의 사용자 구조 질의를 입력받는 구조 질의 입력 장치; 상기 스토리 그래프와 상기 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 상기 계산된 유사도를 기초로 하여 매칭되는 영상을 선택하는 스토리 그래프 매칭 장치; 및 상기 입력된 사용자의 구조 질의와 상기 스토리 그래프에서 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공하는 시각화 장치;를 포함한다.

Description

영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법{Apparatus and method for servicing content map using story graph of video content and user structure query}
본 발명은 정보 검색, 콘텐츠 마이닝 기술에 관한 것으로, 더욱 상세하게는 영상의 내용을 내포된 키워드와 이들 간 관계를 표현하는 스토리 그래프로 도출하고, 키워드와 키워드 간 관계로 정의되는 사용자의 구조화된 질의와 영상으로부터 도출된 스토리 그래프와의 비교를 통해 사용자의 질의 전체 혹은 일부에 대응하는 영상을 사용자 구조 질의와 함께 시각화하여 사용자에게 제공할 수 있는, 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법에 관한 것이다.
구글(Google), 유투브(Youtube), 네이버 등 국내외 다수의 검색 사업자는 키워드 기반의 동영상 검색 서비스를 제공하고 있다. 인터넷상의 다양한 콘텐츠 중, 동영상 콘텐츠가 가지는 비중은 날로 커지고 있어 동영상 검색 서비스의 중요성 또한 부각된 지 오래되었다. 종래 텍스트나 HTML로 구성된 콘텐츠와 달리, 영상은 사용자가 쉽게 내용 전달이 직관적이기 때문에 담고 있는 내용을 쉽게 이해할 수 있다. 동영상 검색 서비스의 활성화로 종래 방송 사업자까지 무시할 수 없는 규모의 시장을 형성하게 되었고, 현재는 네이버 TV캐스트와 같은 기 제작된 방송 콘텐츠 제공 서비스를 넘어 포털에서 콘텐츠를 자체 제작하기에 이르렀다. 날로 높아지는 동영상 기반 서비스의 중요도와 반대로, 서비스의 형태 자체는 종래의 형태를 벗어나지 못하고 있다.
영상 콘텐츠는 시간상으로 다이내믹한 내용을 담고 있다. 등장하는 엔티티(entity)들은 하나의 콘텐츠 안에서도 시간에 따라 다양한 형태의 관계를 생성하기도 하며, 엔티티 간에 생성된 관계가 없어지기도 한다. 따라서 영상 콘텐츠를 다수의 키워드로 표현하기에는 한계가 있지만, 대다수의 서비스에서는 하나의 영상 콘텐츠를 사용자 태그 등으로부터 추출된 키워드의 집합으로 표현한다. 이 경우, 사용자 질의는 종래 텍스트, HTML 문서에 대한 검색과 마찬가지로 키워드의 집합으로 정의할 수 있으며, 키워드 간 매칭을 통해 영상을 제공한다. 앞서 언급했듯이 영상 콘텐츠를 표현하는 이러한 기법은 종래 서비스의 확장을 통해 쉽게 구현하고 사용자에게 큰 이질감 없이 영상 콘텐츠를 제공하는 이점이 있으나, 영상의 내용을 정확히 검색하기에는 한계가 있다. 그뿐만 아니라, 긴 시간을 담고 있는 영상의 경우, 해당 내용을 사용자가 직접 찾아야 하는 번거로움이 있다.
본 발명의 실시 예들은 영상 콘텐츠에 대한 스토리 그래프를 도출하고, 구조화된 사용자 구조 질의에 대해 매칭되는 영상 콘텐츠를 입력된 질의 전체 혹은 일부와 결합하여 제공할 수 있는, 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법을 제공하고자 한다.
본 발명의 실시 예들은 키워드 기반의 질의를 바탕으로 검색 결과를 단순 나열하여 제공하는 종래 기술과 달리, 구조화된 사용자 구조 질의를 입력으로 전체 혹은 일부에 매칭되는 동영상 콘텐츠를 시각화 도구 내에서 사용자 구조 질의와 함께 사용자에게 제공할 수 있는, 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법을 제공하고자 한다.
본 발명의 제1 측면에 따르면, 영상 콘텐츠에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 상기 추출된 개체 관계를 기반으로 스토리 그래프를 생성하는 스토리 그래프 생성 장치; 상기 생성된 스토리 그래프를 저장하는 스토리 그래프 데이터베이스; 그래프 형태의 사용자 구조 질의를 입력받는 구조 질의 입력 장치; 상기 스토리 그래프와 상기 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 상기 계산된 유사도를 기초로 하여 매칭되는 영상을 선택하는 스토리 그래프 매칭 장치; 및 상기 입력된 사용자의 구조 질의와 상기 스토리 그래프에서 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공하는 시각화 장치;를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치가 제공될 수 있다.
상기 스토리 그래프 생성 장치는, 상기 입력된 영상 콘텐츠에 대해 영상 개체를 추출하는 영상 개체 추출부; 및 상기 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트 및 엣지 행렬로 이루어진 스토리 그래프를 생성하는 개체 관계 추출부;를 포함할 수 있다.
상기 스토리 그래프 생성 장치는, 외부 데이터를 이용하여 선택적으로 개체 및 개체 간 관계를 확장하고, 상기 생성된 노드 가중치 리스트 및 엣지 행렬을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인하는 스토리 그래프 스무딩부;를 더 포함할 수 있다.
상기 구조 질의 입력 장치는, 사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는 구조 질의 인터페이스부; 외부 데이터를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터로부터 추출하여 사용자 구조 질의를 확장하는 구조 질의 확장부; 및 사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성하는 구조 질의 스무딩부;를 포함할 수 있다.
상기 스토리 그래프 매칭 장치는, 사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 상기 데이터베이스로부터 전달받는 스토리 그래프 요청부; 사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인하고, 상기 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭하는 스토리 그래프 매칭부; 및 상기 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공하는 스토리 그래프 정렬부;를 포함할 수 있다.
상기 스토리 그래프 매칭부는, 상기 확인된 유사 하위 구조에 대해 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도를 계산할 수 있다.
상기 스토리 그래프 정렬부는, 상기 계산된 유사도를 바탕으로 정렬된 결과에 대해 사용자의 영상 콘텐츠 선호도, 기검색된 결과와의 영상 일관성 및 영상 콘텐츠의 중요도 중에서 적어도 하나 이상을 기반으로 재정렬할 수 있다.
상기 시각화 장치는, 상기 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화하고, 각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 상기 사용자 구조 질의에 매칭되는 영상을 연결하여 제공할 수 있다.
상기 시각화 장치는, 상기 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인하고, 사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하고, 상기 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결할 수 있다.
상기 시각화 장치는, 상기 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의간 상하위 구조를 결정하고, 상기 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화할 수 있다.
한편, 본 발명의 제2 측면에 따르면, 영상 콘텐츠에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 상기 추출된 개체 관계를 기반으로 스토리 그래프를 생성하는 단계; 그래프 형태의 사용자 구조 질의를 입력받는 단계; 상기 스토리 그래프와 상기 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 상기 계산된 유사도를 기초로 하여 매칭되는 영상을 선택하는 단계; 및 상기 입력된 사용자의 구조 질의와 상기 스토리 그래프에서 상기 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공하는 단계;를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법이 제공될 수 있다.
상기 스토리 그래프를 생성하는 단계는, 상기 입력된 영상 콘텐츠에 대해 영상 개체를 추출하는 단계; 및 상기 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트 및 엣지 행렬로 이루어진 스토리 그래프를 생성하는 단계;를 포함할 수 있다.
상기 스토리 그래프를 생성하는 단계는, 외부 데이터를 이용하여 선택적으로 개체 및 개체 간 관계를 확장하는 단계; 및 상기 생성된 노드 가중치 리스트 및 엣지 행렬을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인하는 단계;를 더 포함할 수 있다.
상기 사용자 구조 질의를 입력받는 단계는, 사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는 단계; 외부 데이터를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터로부터 추출하여 사용자 구조 질의를 확장하는 단계; 및 사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성하는 단계;를 포함할 수 있다.
상기 매칭되는 영상을 선택하는 단계는, 사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 전달받는 단계; 사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인하고, 상기 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭하는 단계; 및 상기 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공하는 단계;를 포함할 수 있다.
상기 매칭하는 단계는, 상기 확인된 유사 하위 구조에 대해 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도를 계산할 수 있다.
상기 영상 콘텐츠를 정렬하여 제공하는 단계는, 상기 계산된 유사도를 바탕으로 정렬된 결과에 대해 사용자의 영상 콘텐츠 선호도, 기검색된 결과와의 영상 일관성 및 영상 콘텐츠의 중요도 중에서 적어도 하나 이상을 기반으로 재정렬할 수 있다.
상기 시각화하여 제공하는 단계는, 상기 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화하는 단계; 및 각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 상기 사용자 구조 질의에 매칭되는 영상을 연결하여 제공하는 단계;를 포함할 수 있다.
상기 시각화하여 제공하는 단계는, 상기 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인하는 단계; 사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하는 단계; 및 상기 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결하는 단계;를 더 포함할 수 있다.
상기 시각화하여 제공하는 단계는, 상기 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의간 상하위 구조를 결정하는 단계; 및 상기 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화하는 단계;를 더 포함할 수 있다.
본 발명의 실시 예들은 영상 콘텐츠에 대한 스토리 그래프를 도출하고, 구조화된 사용자 구조 질의에 대해 매칭되는 영상 콘텐츠를 입력된 질의 전체 혹은 일부와 결합하여 제공할 수 있다.
본 발명의 실시 예들은 키워드 기반의 질의를 바탕으로 검색 결과를 단순 나열하여 제공하는 종래 기술과 달리, 구조화된 사용자 구조 질의를 입력으로 전체 혹은 일부에 매칭되는 동영상 콘텐츠를 시각화 도구 내에서 사용자 구조 질의와 함께 사용자에게 제공할 수 있다.
또한, 본 발명의 실시 예들은 구조화된 사용자 구조 질의를 통한 검색 정확도의 향상과 질의 내 내용의 흐름에 따른 영상 콘텐츠를 시각화하여 제공할 수 있어, 마인드 맵 도구의 확장 및 시각화, 교육 콘텐츠 제작 등에 적용할 수 있다.
도 1은 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치의 구성 및 절차를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프를 생성하는 스토리 그래프 생성 장치의 구성 및 절차를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 사용자의 구조화된 질의를 입력받는 구조 질의 입력 장치의 구성 및 절차를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 사용자가 선택한 전체 혹은 일부 질의 그래프와 영상 콘텐츠의 스토리 그래프를 매칭하는 스토리 그래프 매칭 장치의 구성 및 절차를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자의 질의 그래프와 검색된 영상 콘텐츠를 함께 시각화하는 시각화 장치의 구성 및 절차를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법에 대한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 스토리 그래프 생성 장치에 의해 수행되는 스토리 그래프 생성 과정에 대한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 구조 질의 입력 장치에 의해 수행되는 사용자 구조 질의의 입력 과정에 대한 흐름도이다.
도 9는 본 발명의 실시 예에 따른 스토리 그래프 매칭 장치에 의해 수행되는 스토리 그래프의 매칭 과정에 대한 흐름도이다.
도 10은 본 발명의 실시 예에 따른 시각화 장치에 의해 수행되는 시각화 과정에 대한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 발명의 실시 예를 설명하면서, 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
본 발명의 실시 예에서는 스토리 그래프로 표현된 영상 콘텐츠를 검색하는 새로운 검색 기법과 이를 사용자에게 시각화하여 제공하는 방법 및 이를 탑재한 장치에 관한 것이다. 본 발명의 실시 예에서 스토리 그래프로 표현된 영상 콘텐츠란, 영상 콘텐츠 내 객체를 식별하거나, 영상과 연관된 텍스트로부터 도출된 객체와 이들 간의 관계 정보를 통해 영상 콘텐츠의 내용이 표현된 영상 콘텐츠를 의미한다.
따라서 본 발명의 실시 예에서 영상 콘텐츠는 하나의 그래프로 형상화되어 데이터베이스에 저장되어 있다. 사용자 질의 또한 종래 키워드가 아닌 키워드와 키워드 간 관계로 표현되는 그래프가 되며, 질의 그래프 전체 혹은 일부에 대해 매칭되는 영상 콘텐츠를 찾고, 이를 질의 그래프의 해당하는 부분과 함께 시각화하여 사용자에게 전달한다.
이와 관련하여, 본 발명의 실시 예에서는 영상 콘텐츠를 입력으로 스토리 그래프로 표현하고, 사용자의 구조화된 질의를 입력받고, 입력된 질의에 대한 다수의 영상 콘텐츠를 사용자 구조 질의와 함께 시각화하는 방법 및 이를 탑재한 장치에 대하여 기술한다.
도 1은 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치의 구성 및 절차를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 콘텐츠 맵 서비스 장치(100)는, 스토리 그래프 생성 장치(110), 구조 질의 입력 장치(120), 스토리 그래프 매칭 장치(130), 시각화 장치(140) 및 스토리 그래프 데이터베이스(150)를 포함한다.
이하, 도 1의 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
스토리 그래프 생성 장치(110)는 영상 콘텐츠(200)에 포함된 영상 개체(entity)와 개체 간의 개체 관계를 추출하고 그 추출된 개체 관계를 기반으로 스토리 그래프를 생성한다. 스토리 그래프 생성 장치(110)는 영상 콘텐츠(200)를 입력받아 영상 콘텐츠(200)에 나타난 개체와 개체 간 관계를 추출하고 추출된 관계를 토대로 스토리 그래프를 생성한다.
구조 질의 입력 장치(120)는 그래프 형태의 사용자 구조 질의를 입력받는다. 구조 질의 입력 장치(120)는 사용자의 구조화된 사용자 구조 질의를 입력받아 스무딩 기능을 수행한 후, 사용자의 선택에 따라 일부 혹은 전체에 대해 질의 그래프로 질의를 수행한다.
스토리 그래프 매칭 장치(130)는 스토리 그래프와 구조 질의 입력 장치(120)에서 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 그 계산된 유사도를 기초로 하여 매칭되는 영상을 선택한다. 스토리 그래프 매칭 장치(130)는 영상 콘텐츠(200)의 스토리 그래프와 사용자 구조 질의의 매칭을 통해 최적의 대응 영상을 사용자 구조 질의에 연결한다.
시각화 장치(140)는 구조 질의 입력 장치(120)에서 입력된 사용자의 구조 질의와 상기 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공한다. 시각화 장치(140)는 스토리 그래프 매칭 장치(130)에서 매칭된 영상 콘텐츠와 사용자 입력 질의를 사용자에게 시각화한다.
스토리 그래프 데이터베이스(150)는 스토리 그래프 생성 장치(110)에서 생성된 스토리 그래프를 저장한다. 데이터베이스로는 스토리 그래프 생성 장치(110)에서 생성된 스토리 그래프를 저장하는 스토리 그래프 데이터베이스(150)가 존재한다.
한편, 스토리 그래프 생성 장치(110) 및 구조 질의 입력 장치(120)에서는 관측된 개체, 개체 간 관계 정보를 확장하기 위해 외부 데이터(300)를 활용할 수 있다. 구조 질의 입력 장치(120) 및 스토리 그래프 매칭 장치(130)에서는 사용자가 수동으로 일부 결과를 수정할 수 있다.
도 2는 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프를 생성하는 스토리 그래프 생성 장치의 구성 및 절차를 나타낸 도면이다.
도 2에 도시된 바와 같이, 스토리 그래프 생성 장치(110)는 영상 개체 추출부(111), 개체 관계 추출부(112) 및 스토리 그래프 스무딩부(115)를 포함한다.
이하, 도 2의 스토리 그래프 생성 장치(110)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
영상 개체 추출부(111)는 입력된 영상 콘텐츠(200)에 대해 영상 개체를 추출한다. 먼저, 영상 콘텐츠(200)가 입력되면, 영상 개체 추출부(111)는 영상 내 시간에 따른 영상 개체에 대해서 영상 개체 추출 기능을 수행한다. 이때, 영상 내 시간에 따른 개체란, 영상 분석을 통해 검출 및 식별되는 객체, 음성 분석을 통해 얻어지는 배경음악, 인식된 단어, 그리고 자막, 대본, 웹 데이터 중에서 적어도 하나 이상의 외부 데이터 분석을 통해 얻어지는 키워드를 포함한다.
개체 관계 추출부(112)는 영상 개체 추출부(111)에서 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트(113) 및 엣지 행렬(114)로 이루어진 스토리 그래프를 생성한다. 개체 관계 추출부(112)는 영상 개체 추출부(111)에서 추출된 개체 간의 관계를 추출한다. 개체 간의 관계는 추출된 영상 개체에 따라 달리 생성된다. 예컨대, 외부 데이터(300)의 경우, 개체 관계 추출부(112)는 주변 키워드 간의 의존 관계, 위치 관계 등을 관계 정보로 생성할 수 있다. 개체 관계 추출부(112)는 영상 분석을 통해 얻어진 객체의 경우 영상에서의 포함관계, 상하 관계 등을 통해 관계를 얻을 수 있다.
영상 내 개체와 개체 간 관계가 생성되면, 스토리 그래프를 의미하는 두 가지 구조체인 노드 가중치 리스트(113) 및 엣지 행렬(114)이 생성된다. 먼저, 노드 가중치 리스트(113)는 개체를 의미하는 스토리 그래프의 각 노드가 가지는 가중치 정보를 포함하고 있다. 엣지 행렬(114)은 스토리 그래프의 노드 간 연결 정보에 대한 관계 정보로부터 계산된 정보를 포함하고 있다. 예컨대, 노드 가중치 V ∈ Rn과 엣지 행렬 E ∈ Rn ×n으로 정의할 수 있다. 이때 n은 노드의 수이다.
스토리 그래프 스무딩부(115)는 외부 데이터(300)를 이용하여 선택적으로 개체 및 개체 간 관계를 확장하고, 개체 관계 추출부(112)에서 생성된 노드 가중치 리스트(113) 및 엣지 행렬(114)을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인한다. 스토리 그래프의 생성 이후에는, 스토리 그래프 스무딩부(115)는 스토캐스틱 매트릭스(stochastic matrix)를 이용하여 선택적으로 스토리 그래프를 스무딩할 수 있다. 즉, 스토리 그래프 스무딩부(115)는 반복적으로 E와 ET를 곱함으로써 간접적으로 연결된 노드 간에도 연결 정보를 생성한다. 스토리 그래프 스무딩부(115)는 서비스 관리자에 의해 선택적으로 수행될 수 있다.
도 3은 본 발명의 실시 예에 따른 사용자의 구조화된 질의를 입력받는 구조 질의 입력 장치의 구성 및 절차를 나타낸 도면이다.
도 3에 도시된 바와 같이, 구조 질의 입력 장치(120)는, 구조 질의 인터페이스부(121), 구조 질의 확장부(122) 및 구조 질의 스무딩부(123)를 포함한다.
이하, 도 3의 구조 질의 입력 장치(120)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
구조 질의 인터페이스부(121)는 사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는다. 구조 질의 인터페이스부(121)는 사용자로부터 구조 질의를 입력받기 위한 구조 질의 입력 인터페이스 기능을 수행한다. 구조 질의 인터페이스부(121)는 디스플레이 터치나 마우스 등의 인터페이스를 통해 노드와 노드가 뜻하는 키워드, 노드 간 엣지 정보를 사용자로부터 입력받는다. 사용자는 입력된 구조 질의 중 일부 혹은 전체를 선택하여 요청을 보낼 수 있다.
구조 질의 확장부(122)는 외부 데이터(300)를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터(300)로부터 추출하여 사용자 구조 질의를 확장한다. 구조 질의가 요청되면, 구조 질의 확장부(122)는 외부 데이터(300)를 통해 구조 질의 확장 기능을 선택적으로 수행할 수 있다. 확장은 두 가지 측면에서 수행된다. 먼저, 구조 질의 확장부(122)는 특정 노드와 자주 출현하는 키워드를 바탕으로 노드를 추가할 수 있다. 다음으로는 사용자 질의에 없더라도, 구조 질의 확장부(122)는 외부 데이터(300)에서 관계 정보가 임계치 이상 관측된다면 연결 정보를 추가할 수 있다. 이때, 구조 질의 확장부(122)는 확장된 정보를 사용자에게 노출하여 해당 확장 정보를 사용하는지 여부를 수동으로 결정할 수 있다.
구조 질의 스무딩부(123)는 사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성한다. 구조 질의 스무딩부(123)는 구조 질의 확장부(122)에서 확장된 구조 질의를 구조 질의 스무딩 기능을 통해 조절한다. 구조 질의 스무딩부(123)는 구조 질의 스무딩 기능을 통해 스토리 그래프 스무딩부(115)에서의 스토리 그래프 스무딩 기능과 동일하게 이루어진다. 이후, 사용자 구조 질의는 스토리 그래프 매칭 장치(130)와 시각화 장치(140)로 전달된다.
도 4는 본 발명의 실시 예에 따른 사용자가 선택한 전체 혹은 일부 질의 그래프와 영상 콘텐츠의 스토리 그래프를 매칭하는 스토리 그래프 매칭 장치의 구성 및 절차를 나타낸 도면이다.
도 4에 도시된 바와 같이, 스토리 그래프 매칭 장치(130)는, 스토리 그래프 요청부(131), 스토리 그래프 매칭부(132) 및 스토리 그래프 정렬부(133)를 포함한다.
이하, 도 4의 스토리 그래프 매칭 장치(130)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.
스토리 그래프 요청부(131)는 사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 데이터베이스로부터 전달받는다. 구조 질의 입력 장치(120)로부터 사용자 구조 질의가 입력되면, 스토리 그래프 요청부(131)는 해당 사용자 구조 질의를 바탕으로 연관된 스토리 그래프를 전달받는 스토리 그래프 요청 기능을 수행한다. 스토리 그래프 요청부(131)는 스토리 그래프 요청 기능을 통해 사용자 구조 질의에 포함된 노드(키워드)를 바탕으로 해당 노드(키워드)와 연관된 노드를 포함하는 모든 스토리 그래프를 스토리 그래프 데이터베이스(150)로부터 전달받는다. 스토리 그래프 요청부(131)는 전달받은 스토리 그래프와 사용자 구조 질의를 스토리 그래프 매칭부(132)로 전달한다.
스토리 그래프 매칭부(132)는 사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인하고, 그 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭한다. 여기서, 스토리 그래프 매칭부(132)는 확인된 유사 하위 구조에 대해 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도를 계산한다.
이를 구체적으로 살펴보면, 스토리 그래프 매칭부(132)는 전달받은 두 그래프 G와 G'에 대해 먼저, 노드 간 정렬(alignment)을 수행한다. 노드 간 정렬이란, 동일한 의미가 있는 노드를 찾아 동일한 인덱스를 설정하는 작업이다. 예컨대, 스토리 그래프 매칭부(132)는 스토리 그래프 상에 나타나는 객체 "자동차"와 사용자 구조 질의에서 나타나는 "탈것" 혹은 "교통수단"을 비교하여 유사한 정도를 판단한 후, 이를 동일한 인덱스로 설정한다. 노드 간 정렬이 완료되면, 스토리 그래프 매칭부(132)는 두 그래프 상에서 나타나는 동일한 하위 구조와 그 가중치를 계산한다. 예컨대, 두 그래프 G와 G'에서 "노드1 - 노드2"인 구조가 동일하게 관측되었다면, 스토리 그래프 매칭부(132)는 해당 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도 값을 계산한다. 즉, 두 그래프 간 유사도 함수 S(G, G')는
Figure pat00001
로 정의된다. 이때,
Figure pat00002
는 i번째 하위 구조의 가중치를 의미한다. 최종 유사도 값은
Figure pat00003
로 정규화하여 계산된다. 여기서, 계산된 유사도 값은 스토리 그래프 정렬부(133)로 전달된다.
스토리 그래프 정렬부(133)는 스토리 그래프 매칭부(132)에서 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공한다. 스토리 그래프 정렬부(133)는 사용자 구조 질의에 해당하는 영상 콘텐츠를 유사도 값에 따라 정렬하여 시각화 장치(140)로 전달한다. 여기서, 스토리 그래프 정렬부(133)는 계산된 유사도를 바탕으로 정렬된 결과에 대해 사용자의 영상 콘텐츠 선호도, 기검색된 결과와의 영상 일관성 및 영상 콘텐츠의 중요도 중에서 적어도 하나 이상을 기반으로 재정렬할 수 있다. 스토리 그래프 정렬부(133)는 유사도 값 이외에 사용자 선호도 또는 콘텐츠의 중요도 등을 반영하도록 확장할 수 있다.
도 5는 본 발명의 실시 예에 따른 사용자의 질의 그래프와 검색된 영상 콘텐츠를 함께 시각화하는 시각화 장치의 구성 및 절차를 나타낸 도면이다.
도 5에 도시된 바와 같이, 시각화 장치(140)는 전달받은 사용자 구조 질의와 스토리 그래프 매칭 장치(130)의 결과를 바탕으로 해당 정보를 사용자에게 전달하고 상호 작용한다.
시각화 장치(140)는 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화한다. 그리고 시각화 장치(140)는 각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 사용자 구조 질의에 매칭되는 영상을 연결하여 제공한다. 즉, 시각화 장치(140)에서는 먼저 사용자 구조 질의의 전체 영역을 사용자에게 시각화한다. 또한, 사용자가 선택하여 질의한 경우, 시각화 장치(140)는 선택 영역을 질의 1(142)과 같이 표시한다. 시각화 장치(140)는 해당 표시에 대응되는 영상 1(143)을 연결하여 사용자에게 전달한다.
이후, 시각화 장치(140)는 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인한다. 이어서, 사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하고, 시각화 장치(140)는 그 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결할 수 있다.
이와 같이, 시각화 장치(140)는 영상 재선택 기능을 함께 표시하며, 사용자가 해당 영상 재선택 기능을 선택할 경우, 스토리 그래프 매칭 장치(130)에서 전달받은 결과를 바탕으로 유사한 다른 영상에 영상 리스트를 표시한다. 이어서, 사용자는 이러한 리스트 중 하나 혹은 다수를 선택할 수 있다. 만일, 다수의 영상이 선택되면, 시각화 장치(140)는 영상 2(145)와 같이 하나의 질의에 대해 다수 영상을 연결하여 시각화할 수 있다.
한편, 시각화 장치(140)는 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의 간 상하위 구조를 결정하고, 그 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화할 수 있다.
이와 같이, 하나의 사용자 구조 질의에 대해 사용자는 일부 혹은 전체를 선택적으로 질의할 수 있다. 따라서 선택 영역은 서로 간에 중복될 수 있다. 이 경우, 질의 영역 간에는 크기와 위치에 따라 상하위 관계가 성립한다. 두 구조 질의 A와 B가 있을 때, A가 B보다 넓은 영역을 포함하면서 B의 영역이 일정이상 A에 포함된다면, A는 B보다 상위에 있는 질의로 볼 수 있다. 예컨대, 도 5에서 질의 1(142)과 질의 2(146)는 질의 3(147)의 하위에 있다. 반면, 질의 1(142)과 질의 2(146)는 동일한 위상을 가진다.
시각화 장치(140)는 이러한 관계 정보를 바탕으로 사용자에게 선택적인 시각화를 제공하기 위해 깊이 조정 기능(148)을 제공할 수 있다. 시각화 장치(140)는 깊이 조정 기능(148)을 통해 상위 계층의 질의에서 하위 계층의 질의 혹은 그 반대 방향으로 깊이를 조정할 수 있다. 또한, 시각화 장치(140)는 특정 위상에 있는 질의만을 시각화하도록 한다. 이는 태블릿 PC나 헤드업 마운트 기기(HMD) 등 작은 크기의 디스플레이에서 다수의 질의를 시각화할 때, 효율성을 높이기 위해 제공될 수 있다. 시각화 장치(140)에서는 사용자 구조 질의의 수정, 검색 결과의 삭제 기능도 함께 제공할 수 있다.
도 6은 본 발명의 실시 예에 따른 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법에 대한 흐름도이다.
도 6에 도시된 바와 같이, 스토리 그래프 생성 장치(110)는 영상 콘텐츠(200)에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 그 추출된 개체 관계를 기반으로 스토리 그래프를 생성한다(S101).
구조 질의 입력 장치(120)는 그래프 형태의 사용자 구조 질의를 입력받는다(S102).
스토리 그래프 매칭 장치(130)는 스토리 그래프와 구조 질의 입력 장치(120)에서 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 그 계산된 유사도를 기초로 하여 매칭되는 영상을 선택한다(S103).
시각화 장치(140)는 구조 질의 입력 장치(120)에서 입력된 사용자의 구조 질의와 스토리 그래프에서 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공한다(S104).
스토리 그래프 데이터베이스(150)는 스토리 그래프 생성 장치(110)에서 생성된 스토리 그래프를 저장한다.
도 7은 본 발명의 실시 예에 따른 스토리 그래프 생성 장치에 의해 수행되는 스토리 그래프 생성 과정에 대한 흐름도이다.
스토리 그래프 생성 장치(110)는 입력된 영상 콘텐츠에 대해 영상 개체를 추출한다(S201).
그리고 스토리 그래프 생성 장치(110)는 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트 및 엣지 행렬로 이루어진 스토리 그래프를 생성한다(S202).
이어서, 스토리 그래프 생성 장치(110)는 외부 데이터를 이용하여 선택적으로 개체 및 개체 간 관계를 확장한다(S203).
이후, 스토리 그래프 생성 장치(110)는 생성된 노드 가중치 리스트 및 엣지 행렬을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인한다(S204).
도 8은 본 발명의 실시 예에 따른 구조 질의 입력 장치에 의해 수행되는 사용자 구조 질의의 입력 과정에 대한 흐름도이다.
구조 질의 입력 장치(120)는 사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는다(S301).
그리고 구조 질의 입력 장치(120)는 외부 데이터를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터로부터 추출하여 사용자 구조 질의를 확장한다(S302).
이어서, 구조 질의 입력 장치(120)는 사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성한다(S303).
도 9는 본 발명의 실시 예에 따른 스토리 그래프 매칭 장치에 의해 수행되는 스토리 그래프의 매칭 과정에 대한 흐름도이다.
스토리 그래프 매칭 장치(130)는 사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 데이터베이스로부터 전달받는다(S401).
그리고 스토리 그래프 매칭 장치(130)는 사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인한다(S402).
이어서, 스토리 그래프 매칭 장치(130)는 그 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭한다(S403).
이후, 스토리 그래프 매칭 장치(130)는 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공한다(S404).
도 10은 본 발명의 실시 예에 따른 시각화 장치에 의해 수행되는 시각화 과정에 대한 흐름도이다.
시각화 장치(140)는 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화한다(S501).
그리고 시각화 장치(140)는 각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 사용자 구조 질의에 매칭되는 영상을 연결하여 제공한다(S502).
이후, 시각화 장치(140)는 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인한다(S503).
이어서, 사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하고, 시각화 장치(140)는 그 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결한다(S504).
그리고 시각화 장치(140)는 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의 간 상하위 구조를 결정하고, 그 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화한다(S505).
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 콘텐츠 맵 서비스 장치 110: 스토리 그래프 생성 장치
120: 구조 질의 입력 장치 130: 스토리 그래프 매칭 장치
140: 시각화 장치 200: 영상 콘텐츠
300: 외부 데이터 150: 스토리 그래프 데이터베이스
111: 영상 개체 추출부 112: 개체 관계 추출부
113: 노드 가중치 리스트 114: 엣지 행렬
115: 스토리 그래프 스무딩부 121: 구조 질의 인터페이스부
122: 구조 질의 확장부 123: 구조 질의 스무딩부
131: 스토리 그래프 요청부 132: 스토리 그래프 매칭부
133: 스토리 그래프 정렬부

Claims (20)

  1. 영상 콘텐츠에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 상기 추출된 개체 관계를 기반으로 스토리 그래프를 생성하는 스토리 그래프 생성 장치;
    상기 생성된 스토리 그래프를 저장하는 스토리 그래프 데이터베이스;
    그래프 형태의 사용자 구조 질의를 입력받는 구조 질의 입력 장치;
    상기 스토리 그래프와 상기 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 상기 계산된 유사도를 기초로 하여 매칭되는 영상을 선택하는 스토리 그래프 매칭 장치; 및
    상기 입력된 사용자의 구조 질의와 상기 스토리 그래프에서 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공하는 시각화 장치;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  2. 제1항에 있어서,
    상기 스토리 그래프 생성 장치는,
    상기 입력된 영상 콘텐츠에 대해 영상 개체를 추출하는 영상 개체 추출부; 및
    상기 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트 및 엣지 행렬로 이루어진 스토리 그래프를 생성하는 개체 관계 추출부;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  3. 제2항에 있어서,
    상기 스토리 그래프 생성 장치는,
    외부 데이터를 이용하여 선택적으로 개체 및 개체 간 관계를 확장하고, 상기 생성된 노드 가중치 리스트 및 엣지 행렬을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인하는 스토리 그래프 스무딩부;
    를 더 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  4. 제1항에 있어서,
    상기 구조 질의 입력 장치는,
    사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는 구조 질의 인터페이스부;
    외부 데이터를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터로부터 추출하여 사용자 구조 질의를 확장하는 구조 질의 확장부; 및
    사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성하는 구조 질의 스무딩부;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  5. 제1항에 있어서,
    상기 스토리 그래프 매칭 장치는,
    사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 상기 데이터베이스로부터 전달받는 스토리 그래프 요청부;
    사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인하고, 상기 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭하는 스토리 그래프 매칭부; 및
    상기 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공하는 스토리 그래프 정렬부;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  6. 제5항에 있어서,
    상기 스토리 그래프 매칭부는,
    상기 확인된 유사 하위 구조에 대해 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도를 계산하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  7. 제5항에 있어서,
    상기 스토리 그래프 정렬부는,
    상기 계산된 유사도를 바탕으로 정렬된 결과에 대해 사용자의 영상 콘텐츠 선호도, 기검색된 결과와의 영상 일관성 및 영상 콘텐츠의 중요도 중에서 적어도 하나 이상을 기반으로 재정렬하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  8. 제1항에 있어서,
    상기 시각화 장치는,
    상기 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화하고, 각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 상기 사용자 구조 질의에 매칭되는 영상을 연결하여 제공하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  9. 제8항에 있어서,
    상기 시각화 장치는,
    상기 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인하고, 사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하고, 상기 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  10. 제8항에 있어서,
    상기 시각화 장치는,
    상기 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의간 상하위 구조를 결정하고, 상기 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치.
  11. 영상 콘텐츠에 포함된 영상 개체와 개체 간의 개체 관계를 추출하고 상기 추출된 개체 관계를 기반으로 스토리 그래프를 생성하는 단계;
    그래프 형태의 사용자 구조 질의를 입력받는 단계;
    상기 스토리 그래프와 상기 입력된 사용자 구조 질의 간 유사도를 유사 하위 구조로부터 계산하고, 상기 계산된 유사도를 기초로 하여 매칭되는 영상을 선택하는 단계; 및
    상기 입력된 사용자의 구조 질의와 상기 스토리 그래프에서 상기 사용자 구조 질의에 매칭되는 영상을 사용자에게 시각화하여 제공하는 단계;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  12. 제11항에 있어서,
    상기 스토리 그래프를 생성하는 단계는,
    상기 입력된 영상 콘텐츠에 대해 영상 개체를 추출하는 단계; 및
    상기 추출된 영상 개체와 개체 간 개체 관계를 추출하여 노드 가중치 리스트 및 엣지 행렬로 이루어진 스토리 그래프를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  13. 제12항에 있어서,
    상기 스토리 그래프를 생성하는 단계는,
    외부 데이터를 이용하여 선택적으로 개체 및 개체 간 관계를 확장하는 단계; 및
    상기 생성된 노드 가중치 리스트 및 엣지 행렬을 이용하여 간접적으로 연결된 개체 간 관계 정보를 확인하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  14. 제11항에 있어서,
    상기 사용자 구조 질의를 입력받는 단계는,
    사용자 인터페이스를 이용하여 노드에 해당하는 키워드와 노드들 간 관계 정보를 입력받는 단계;
    외부 데이터를 이용하여 상기 입력된 노드와 연관된 키워드를 통해 사용자 구조 질의를 확장하고, 노드 간 관계 정보를 외부 데이터로부터 추출하여 사용자 구조 질의를 확장하는 단계; 및
    사용자 구조 질의에 대한 스무딩을 통해 간접적으로 연관된 노드 간 연결 정보를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  15. 제11항에 있어서,
    상기 매칭되는 영상을 선택하는 단계는,
    사용자 구조 질의에 포함된 노드에 해당하는 키워드를 기초로 연관된 스토리 그래프를 요청하여 전달받는 단계;
    사용자 구조 질의와 스토리 그래프 간 노드 정렬을 통해 유사 하위 구조를 확인하고, 상기 확인된 유사 하위 구조의 가중치에 따라 사용자 구조 질의와 스토리 그래프 간 유사도를 계산하여 사용자 구조 질의와 스토리 그래프를 매칭하는 단계; 및
    상기 매칭된 스토리 그래프를 통해 사용자 구조 질의에 해당하는 영상 콘텐츠를 정렬하여 제공하는 단계;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  16. 제15항에 있어서,
    상기 매칭하는 단계는,
    상기 확인된 유사 하위 구조에 대해 구조체를 이루는 노드의 가중치와 엣지의 가중치를 결합하여 유사도를 계산하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  17. 제15항에 있어서,
    상기 영상 콘텐츠를 정렬하여 제공하는 단계는,
    상기 계산된 유사도를 바탕으로 정렬된 결과에 대해 사용자의 영상 콘텐츠 선호도, 기검색된 결과와의 영상 일관성 및 영상 콘텐츠의 중요도 중에서 적어도 하나 이상을 기반으로 재정렬하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  18. 제11항에 있어서,
    상기 시각화하여 제공하는 단계는,
    상기 입력된 사용자 구조 질의의 전체 영역을 시각화하고, 사용자가 선택적으로 질의한 선택 영역을 시각화하는 단계; 및
    각 선택 영역에 대해 상기 입력된 사용자의 구조 질의와 상기 사용자 구조 질의에 매칭되는 영상을 연결하여 제공하는 단계;
    를 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  19. 제18항에 있어서,
    상기 시각화하여 제공하는 단계는,
    상기 연결된 영상에 대해 재선택 기능을 이용하여 관련된 영상 콘텐츠 리스트를 확인하는 단계;
    사용자가 영상 콘텐츠 리스트 중에서 하나 이상의 영상 콘텐츠를 선택하는 단계; 및
    상기 선택된 하나 이상의 영상 콘텐츠를 해당하는 사용자 구조 질의에 연결하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
  20. 제18항에 있어서,
    상기 시각화하여 제공하는 단계는,
    상기 선택된 사용자 구조 질의가 전체 영역에 대해 포함하는 영역의 위치 및 크기를 기반으로 사용자 구조 질의간 상하위 구조를 결정하는 단계; 및
    상기 결정된 상하위 구조에 대해 깊이 조정 기능을 통해 특정 위상의 구조 질의에 대한 결과를 선택적으로 시각화하는 단계;
    를 더 포함하는 것을 특징으로 하는 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 방법.
KR1020170012056A 2017-01-25 2017-01-25 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법 KR102161784B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170012056A KR102161784B1 (ko) 2017-01-25 2017-01-25 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법
US15/689,401 US20180210890A1 (en) 2017-01-25 2017-08-29 Apparatus and method for providing content map service using story graph of video content and user structure query

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012056A KR102161784B1 (ko) 2017-01-25 2017-01-25 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180087702A true KR20180087702A (ko) 2018-08-02
KR102161784B1 KR102161784B1 (ko) 2020-10-05

Family

ID=62907097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012056A KR102161784B1 (ko) 2017-01-25 2017-01-25 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법

Country Status (2)

Country Link
US (1) US20180210890A1 (ko)
KR (1) KR102161784B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540866B1 (ko) * 2022-04-11 2023-06-08 (주)데이타이음 하이퍼메타기반 지능형 추천 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157554B2 (en) 2019-11-05 2021-10-26 International Business Machines Corporation Video response generation and modification
CN113255895B (zh) * 2021-06-07 2023-06-16 之江实验室 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN113938712B (zh) * 2021-10-13 2023-10-10 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114055A (ko) * 2010-04-12 2011-10-19 삼성전자주식회사 의미기반 검색 장치 및 그 방법과, 의미기반 메타데이터 제공 서버 및 그 동작 방법
KR20140091375A (ko) * 2013-01-11 2014-07-21 한남대학교 산학협력단 사용자 질의 확장 기법을 이용한 시맨틱 콘텐츠 검색 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0225143D0 (en) * 2002-10-29 2002-12-11 British Telecomm Conflict detection in rule sets
JP4247108B2 (ja) * 2003-12-25 2009-04-02 株式会社東芝 構造化文書検索方法、構造化文書検索装置、及びプログラム
JP2008527836A (ja) * 2005-01-07 2008-07-24 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート カスタマイズされた放送サービス提供装置、カスタマイズされた放送サービス提供方法、ユーザ端末装置、及びコンピュータで読み取り可能な記録媒体
US8290975B2 (en) * 2008-03-12 2012-10-16 Microsoft Corporation Graph-based keyword expansion
US9646110B2 (en) * 2011-02-28 2017-05-09 International Business Machines Corporation Managing information assets using feedback re-enforced search and navigation
US11250630B2 (en) * 2014-11-18 2022-02-15 Hallmark Cards, Incorporated Immersive story creation
US10157220B2 (en) * 2015-07-23 2018-12-18 International Business Machines Corporation Context sensitive query expansion
US20170061215A1 (en) * 2015-09-01 2017-03-02 Electronics And Telecommunications Research Institute Clustering method using broadcast contents and broadcast related data and user terminal to perform the method
US10056083B2 (en) * 2016-10-18 2018-08-21 Yen4Ken, Inc. Method and system for processing multimedia content to dynamically generate text transcript

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110114055A (ko) * 2010-04-12 2011-10-19 삼성전자주식회사 의미기반 검색 장치 및 그 방법과, 의미기반 메타데이터 제공 서버 및 그 동작 방법
KR20140091375A (ko) * 2013-01-11 2014-07-21 한남대학교 산학협력단 사용자 질의 확장 기법을 이용한 시맨틱 콘텐츠 검색 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gregory Castanon 외 3명, Efficient Activity Retrieval through Semantic Graph Queries, Proceedings of the 23rd ACM international conference on Multimedia, 2015.08., pp.391-400. 1부.* *
Robert Pienta 외 5명, VISAGE: Interactive Visual Graph Querying, Proceedings of the 2016 International Working Conference on Advanced Visual Interfaces,2016.6. 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102540866B1 (ko) * 2022-04-11 2023-06-08 (주)데이타이음 하이퍼메타기반 지능형 추천 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Also Published As

Publication number Publication date
US20180210890A1 (en) 2018-07-26
KR102161784B1 (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
JP6487201B2 (ja) 推奨ページを生成するための方法及び装置
CN102368262B (zh) 一种提供与查询序列相对应的搜索建议的方法与设备
JP2020024698A (ja) ナレッジグラフの生成方法、装置、機器およびコンピュータ読み取り可能な記憶媒体
CN102063475B (zh) 三维模型的网页用户终端呈现方式
TWI393017B (zh) 用於回應使用者地圖互動之更新搜尋結果網頁系統及方法
US10719559B2 (en) System for identifying, associating, searching and presenting documents based on time sequentialization
CN102968465B (zh) 网络信息服务平台及其基于该平台的搜索服务方法
JP2009252177A (ja) レコメンド情報生成装置およびレコメンド情報生成方法
US20090204582A1 (en) Navigation for large scale graphs
US10592565B2 (en) Method and apparatus for providing recommended information
KR20180087702A (ko) 영상 콘텐츠의 스토리 그래프 및 사용자 구조 질의를 이용한 콘텐츠 맵 서비스 장치 및 방법
CN105224554A (zh) 推荐搜索词进行搜索的方法、系统、服务器和智能终端
CN102043833A (zh) 一种基于查询词进行搜索的方法和搜索装置
JPWO2010106642A1 (ja) 検索処理方法及び装置
US9116940B1 (en) Searching for join candidates
CN115168433A (zh) 生成上下文搜索呈现
CN102819572A (zh) 文档管理系统中目录数据的显示方法及系统
US8538941B2 (en) Visual information search tool
JP6932162B2 (ja) 地域に基づくアイテム推薦端末装置及びアイテム推薦情報提供方法。
KR101055363B1 (ko) 다중 자원 기반 검색정보 제공 장치 및 방법
JP2012242844A (ja) レコメンド情報生成装置およびレコメンド情報生成方法
KR101509475B1 (ko) 웹 사이트에 대한 디자인 및 콘텐츠를 제공하는 방법 및 장치
JP6727097B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10055463B1 (en) Feature based ranking adjustment
JPWO2014185004A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant