KR101689195B1 - 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 - Google Patents

동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 Download PDF

Info

Publication number
KR101689195B1
KR101689195B1 KR1020160153072A KR20160153072A KR101689195B1 KR 101689195 B1 KR101689195 B1 KR 101689195B1 KR 1020160153072 A KR1020160153072 A KR 1020160153072A KR 20160153072 A KR20160153072 A KR 20160153072A KR 101689195 B1 KR101689195 B1 KR 101689195B1
Authority
KR
South Korea
Prior art keywords
moving picture
information
character
person
predetermined
Prior art date
Application number
KR1020160153072A
Other languages
English (en)
Other versions
KR20160135152A (ko
Inventor
서민식
황교자
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020160153072A priority Critical patent/KR101689195B1/ko
Publication of KR20160135152A publication Critical patent/KR20160135152A/ko
Application granted granted Critical
Publication of KR101689195B1 publication Critical patent/KR101689195B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 동영상에 등장하는 등장 인물의 정보를 생성하고, 이를 제공하는 방법을 개시한다. 이를 위한, 등장 인물 정보 제공 방법은, 동영상 관리 서버로부터 동영상 목록을 수신하는 단계; 및 상기 동영상 목록 중 어느 하나가 선택되면, 선택된 동영상에 등장하는 등장 인물의 정보를 출력하는 단계를 포함할 수 있다.

Description

동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 {MOVIE MANAGING SERVER, MOVIE PLAYING APPARATUS, AND METHOD FOR PROVIDING CHARATER INFORMATION USING THEREOF}
본 발명은 동영상에 등장하는 등장 인물의 정보를 생성하고, 이를 제공하는 방법에 관한 것이다.
매체의 다양화로 인해, 사용자는 방송, VOD 컨텐트, 스트리밍 동영상 등 다양한 경로를 통해 영화, 방송 프로그램, 뉴스 등의 방송 컨텐트를 제공받을 수 있게 되었다. 최근에는 EPG(Electronic Program Service) 및 양방향 서비스 등을 통해 동영상 감상 중 감상 중인 동영상에 대한 다양한 정보를 실시간으로 받아볼 수 있게 되었다.
일 예로, 사용자는 동영상 감상 중 현재 감상하는 동영상의 이름은 무엇인지, 동영상의 총 재생 분량은 어떻게 되는지 등을 확인할 수 있게 되었다.
다만, 아직까지, 동영상에 등장하는 등장 인물에 대한 정보를 구체적으로 제공하여 주고 있지 못하다. 일예로, 사용자가 동영상에 등장하는 등장 인물의 이름을 알고 싶다고 하더라도, 그 인물의 이름을 알아내기란 여간 쉽지 않은 일이다.
이에 본 발명에서는 동영상에 등장하는 등장 인물에 대한 정보를 알려주기 위한 방법을 제안하고자 한다.
본 발명은 동영상에 등장하는 등장 인물 정보를 제공하는 방법을 제공하여 주는 것에 목적이 있다.
아울러, 본 발명은 동영상에 등장하는 등장 인물이 출연하는 다른 동영상에 재빨리 액세스 할 수 있는 방법을 제공하여 주는 것에 목적이 있다.
HLS 방식이 적용된 타임 시프트 방송 영상을 제공할 수 있는 시스템 및 방법을 제공하는 것에 목적이 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시예에 따르면, 동영상 재생 장치가 등장 인물의 정보를 제공받는 방법은, 동영상 관리 서버로부터 동영상 목록을 수신하는 단계; 및 상기 동영상 목록 중 어느 하나가 선택되면, 선택된 동영상에 등장하는 등장 인물의 정보를 출력하는 단계를 포함할 수 있다. 이때, 상기 등장 인물의 정보는 상기 동영상에 등장하는 등장 인물별 등장 횟수에 대한 정보 또는 등장 분량에 대한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따르면, 동영상 재생 장치는, 동영상 관리 서버와 통신하기 위한 통신부; 정보를 출력하기 위한 출력부; 및 상기 동영상 관리 서버로부터 동영상 목록이 수신되면, 수신된 상기 동영상 목록이 상기 출력부를 통해 출력되도록 제어하고, 상기 동영상 목록 중 어느 하나가 선택되면, 선택된 동영상에 등장하는 등장 인물의 정보가 상기 출력부를 통해 출력되도록 제어하는 제어부를 포함할 수 있다. 이때, 상기 등장 인물의 정보는 상기 동영상에 등장하는 등장 인물별 등장 횟수에 대한 정보 또는 등장 분량에 대한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따르면, 동영상 관리 서버의 등장 인물 정보 생성 방법은, 동영상에 등장하는 등장 인물의 얼굴을 인식하는 단계; 및 상기 얼굴이 인식될 때 마다, 상기 등장 인물의 등장 횟수를 카운트하거나, 상기 얼굴이 인식되는 구간을 누계하여 상기 등장 인물의 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 동영상 관리 서버는, 동영상을 저장하는 동영상 저장부; 상기 동영상과 관련된 정보를 저장하는 데이터베이스 관리부; 및 상기 동영상에 등장하는 등장 인물의 얼굴을 인식하고, 상기 얼굴이 인식될 때 마다, 상기 등장 인물의 등장 횟수를 카운트 하거나, 상기 얼굴이 인식되는 구간을 누계하여, 상기 등장 인물의 정보를 생성하는 동영상 분석부를 포함할 수 있다.
본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 동영상에 등장하는 등장 인물 정보를 제공하는 방법을 제공하여 줄 수 있는 효과가 있다.
아울러, 본 발명은 동영상에 등장하는 등장 인물이 출연하는 다른 동영상에 재빨리 액세스 할 수 있는 방법을 제공하여 줄 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 동영상에 등장하는 등장 인물의 정보를 제공하는 시스템의 개략도이다.
도 2는 동영상 관리 서버의 블록도이다.
도 3은 동영상 재생 장치의 블록도이다.
도 4는 동영상 관리 서버가 등장 인물별 정보를 생성하는 방법을 도시한 흐름도이다.
도 5는 동영상 재생 장치의 동작 흐름도이다.
도 6은 동영상 목록이 출력되는 예를 도시한 도면이다.
도 7은 동영상 재생 목록 상의 어느 하나의 동영상이 선택됨에 따라, 선택된 동영상의 정보 및 등장 인물 정보가 출력되는 예를 도시한 도면이다.
도 8은 선택된 등장 인물에 대한 웹 검색 결과 또는 출연 작품 정보가 출력되는 예를 도시한 도면이다.
도 9는 사용자 입력에 대한 응답으로 특정 재생 시점에 등장하는 등장 인물의 정보가 출력되는 예를 도시한 도면이다.
도 10은 특정 인물의 등장 구간에 대한 정보가 출력되는 예를 도시한 도면이다.
도 11은 특정 인물의 작품 정보가 출력되는 예를 도시한 도면이다.
도 12는 동영상에 등장하는 전체 등장 인물의 정보가 출력되는 예를 도시한 도면이다.
도 13은 출력되는 정보의 표시 위치가 조절되는 예를 설명하기 위한 도면이다.
도 14는 동영상에 등장하는 전체 등장 인물의 정보가 출력되는 예를 도시한 도면이다.
도 15는 프로그레스 바를 통해 특정 등장 인물의 등장 시점에 대한 정보 또는 특정 등장 인물의 등장 구간에 대한 정보가 출력되는 예를 도시한 도면이다.
도 16은 동영상의 재생 시점이 변경되는 예를 도시한 도면이다.
도 17은 동영상의 재생 시점이 변경되는 예를 도시한 도면이다.
도 18은 특정 인물의 등장 구간만이 재생되는 예를 도시한 도면이다.
도 19는 동영상 재생이 완료된 경우 동영상 재생 장치의 출력을 예시한 도면이다.
이하, 본 발명과 관련된 스트리밍 서버 및 단말 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명에 따른 동영상에 등장하는 등장 인물의 정보를 제공하는 시스템의 개략도이다. 도 1을 참조하면, 시스템은, 동영상을 저장하고 동영상을 분석하는 동영상 관리 서버(100), 동영상 및 등장 인물의 정보를 제공받은 동영상 재생 장치(200)를 포함할 수 있다.
동영상 관리 서버(100)는 동영상에 등장하는 등장 인물을 파악하고, 등장 인물의 정보, 등장 인물의 등장 횟수, 등장 인물이 등장하는 시점에 대한 정보를 관리하는 역할을 수행한다.
일 예로, 도 2는 동영상 관리 서버(100)의 블록도이다. 도 2를 참조하면, 동영상 관리 서버(100)는 동영상 저장부(110), 동영상 분석부(120), 데이터베이스 관리부(130) 및 정보 관리부를 포함할 수 있다.
동영상 저장부(110)는 동영상을 수신 또는 저장할 수 있다. 여기서, 동영상은 VOD (Video On Demand) 방식으로 재생될 수 있는 동영상뿐만 아니라, 실시간으로 방송되는 방송 영상, 스트리밍 동영상 등을 포함할 수도 있다. 다만, 설명의 편의를 위해, 후술되는 실시예에서, 동영상은 사용자 요청에 의해 재생되는 VOD 방식의 동영상인 것으로 가정한다.
동영상 분석부(120)는 동영상을 분석하여, 동영상에 등장하는 얼굴을 인식하는 역할을 한다. 구체적으로, 얼굴 인식부는 얼굴 인식 알고리즘을 이용하여 동영상에 등장하는 얼굴을 인식할 수 있다.
동영상 분석부(120)가 얼굴을 인식하면, 정보 관리부는 인식될 얼굴에 매핑되는 등장 인물의 정보를 생성할 수 있다. 여기서, 등장 인물의 정보는 등장 인물의 프로필 정보, 등장 인물의 등장 횟수 정보, 등장 인물의 등장 시점에 대한 정보 및 등장 인물의 등장 분량에 대한 정보 등을 포함할 수 있다.
등장 인물의 프로필 정보는 등장 인물의 사진, 이름, 나이, 약력 등에 대한 정보를 포함할 수 있다. 일 예로, 동영상에 등장하는 얼굴에 매칭되는 인물이 'A'라는 인물인 경우, 동영상 분석부(120)는 외부로부터 A라는 인물의 사진, 이름, 나이, 약력 등을 포함하는 프로필 정보가 생성되어 저장될 수 있다.
이때, 프로필 정보는 외부 서버로부터 수신된 것일 수 있다. 구체적으로, 동영상 분석부(120)는 동영상에 등장하는 인물의 사진을 외부 서버로 전송하면, 외부 서버는 수신된 사진에 매핑되는 인물의 정보를 동영상 관리 서버(100)로 전송하여 줄 수 있다. 프로필 정보가 수신되면, 정보 관리부는 수신된 인물의 정보를 데이터 베이스에 저장할 수 있다.
다른 예로, 프로필 정보는 동영상 관리 서버(100)의 관리자의 입력에 의해 생성될 수도 있다. 구체적으로, 관리자가 인물 A의 사진, 이름, 나이, 약력 등에 대한 정보를 입력하면, 입력된 정보들이 프로필 정보로서 저장될 수 있다.
동영상 분석부(120)는 동영상에서 등장 인물별 얼굴이 노출되는 횟수를 카운팅하여 등장 인물별 등장 횟수에 대한 정보를 생성할 수 있다. 일 예로, 동영상에서 A라는 인물의 얼굴이 10회 등장하고, B라는 인물의 얼굴이 5회 등장한다면, 동영상 분석부(120)는 A의 등장횟수는 10회, B의 등장 횟수는 5회인 것으로 판단할 수 있다.
이때, 짧은 시간이 여러 번 장면 전환이 이루어져, 불필요하게 특정 인물의 등장 횟수가 많아 지는 것을 방지하기 위해, 특정 인물의 얼굴이 화면에서 사라진 이후로 소정 시간 이내 특정 인물의 얼굴이 재등장하는 경우에는 특정 인물의 등장 횟수가 카운팅되지 않도록 설계될 수 있다.
일 예로, 'A'라는 인물의 얼굴이 화면에서 사라진 뒤, 소정 시간 이내 'A'라는 인물의 얼굴이 화면이 재등장하게 된다면, 동영상 분석부(120)는 'A'라는 인물의 등장 횟수를 카운팅하지 않을 수 있다.
나아가, 동영상 분석부(120)는 특정 인물의 얼굴이 화면 상에 소정 시간 이상 출력되는 경우에 있어서, 특정 인물의 등장 횟수를 카운팅할 수도 있다.
일 예로, 'A'라는 인물의 얼굴이 화면에 등장하였다 하더라도, 소정 시간 이상 'A'라는 인물의 얼굴이 출력되지 않는다면, 'A'라는 인물의 등장 횟수는 가산되지 않게 될 것이다.
추가로, 동영상 분석부(120)는 특정 인물의 얼굴이 화면 상에 등장하고, 해당 인물의 목소리도 감지되는 경우에 있어서, 특정 인물의 등장 횟수를 카운팅할 수도 있다.
일 예로, 'A'라는 인물의 얼굴이 화면에 등장하였다 하더라도, 'A'라는 인물이 등장하는 구간 동안 'A'라는 인물의 음성이 출력되지 않는다면, 'A'라는 인물의 등장 횟수는 가산되지 않게 될 것이다.
동영상 분석부(120)는 동영상에서 등장하는 등장 인물별 등장 시점에 대한 정보를 생성할 수 있다. 일 예로, 동영상에서 A라는 인물이 01:30 시점에 1회 등장하고, 12:45 시점에 2회째 등장한다면, 동영상 분석부(120)는 A가 등장하는 시점은 '01:30', '12:45' 라는 정보를 생성할 수 있다.
이때, 동영상 분석부(120)는 앞서 설명한 바와 같이, 소정 시간 이내 특정 인물의 얼굴이 재등장하는지 여부, 특정 인물의 얼굴이 소정 시간 이상 화면에 출력되는 경우 또는 특정 인물의 얼굴이 출력되는 동안 특정 인물의 음성이 감지되는 경우 등을 고려하여, 특정 인물이 등장하는 것인가를 판단할 수 있다.
추가로, 동영상 분석부(120)는 각 등장 인물의 등장 시점에서의 클립 이미지(즉, 동영상을 캡처한 캡처 이미지)를 데이터 베이스 관리부에 더 저장할 수 있다.
동영상 분석부(120)는 동영상에 등장하는 등장 인물별 등장 구간을 누적 계산하여, 등장 인물별 등장 분량에 대한 정보도 생성할 수 있다. 일 예로, 동영상에서 A라는 인물이 01:30 ~ 03:00 동안 등장하고, 12:45 ~ 13:15 동안 등장한다면, 동영상 분석부(120)는 A가 등장하는 총 구간의 길이는 2분(1:30 + 0:30)인 것으로 판단할 수 있다.
이때, 동영상 분석부(120)는 앞서 설명한 바와 같이, 소정 시간 이내 특정 인물의 얼굴이 재등장하는지 여부, 특정 인물의 얼굴이 소정 시간 이상 화면에 출력되는 경우 또는 특정 인물의 얼굴이 출력되는 동안 특정 인물의 음성이 감지되는 경우 등을 고려하여, 특정 인물이 등장하는 것인가를 판단할 수 있다.
동영상 분석부(120)는 동영상 분석을 통해, 동영상의 재생 시간 별 등장하는 인물에 대한 정보도 생성할 수 있다. 이에 따라, 동영상 재생 장치(200)에서 특정 시점이 선택되면, 동영상 관리 서버(100)는 특정 시점에 등장하는 인물에 대한 정보를 동영상 재생 장치(200)로 제공하여 줄 수 있다.
상기와 같이, 등장 인물의 정보가 생성되면, 동영상 분석부(120)는 데이터 베이스 관리부에 동영상의 등장 인물 정보를 저장할 수 있다.
데이터 베이스 관리부는 동영상 정보 및 동영상에 등장하는 등장 인물에 대한 정보를 저장한다. 여기서, 동영상 정보는 동영상의 이름(예컨대, 방송 프로그램의 이름), 방영 일시(예컨대, 방송의 방영 일자), 장르, 방송사에 대한 정보 등을 포함할 수 있다. 등장 인물에 대한 정보는, 등장 인물의 프로필 정보, 등장 횟수, 등장 시점 및 등장 시간에 대한 정보가 저장될 수 있다.
동영상 관리 서버(100)는 데이터 베이스에 저장되어 있는 정보를 동영상 재생 장치(200)로 제공하여 줄 수 있다. 이때, 동영상 재생 장치(200)에서 조건이 설정되면, 동영상 관리 서버(100)는 설정된 조건을 만족하는 정보를 필터링하여 동영상 재생 장치(200)로 제공하여 줄 수 있다.
일 예로, 동영상 재생 장치(200)가 등장 인물 'A'를 검색 조건으로 설정하였다면, 동영상 관리 서버(100)는 데이터 베이스로부터 'A'가 등장하는 동영상을 검색하고, 그 결과를 동영상 재생 장치(200)로 제공하여 줄 수 있다.
*47다른 예로, 동영상 재생 장치(200)가 동영상의 특정 재생 시점을 검색 조건으로 설정하였다면, 동영상 관리 서버(100)는 데이터 베이스로부터 특정 재생 시점에 등장하는 인물의 정보를 동영상 재생 장치(200)로 제공하여 줄 수 있다.
동영상 재생 장치(200)는 동영상 관리 서버(100)로부터 동영상을 수신하고, 수신된 동영상을 재생하는 역할을 수행할 수 있다. 동영상 재생 장치(200)는 셋톱 박스, TV 등과 같은 고정형 장치일 수도 있고, 스마트폰, 태블릿 PC, 랩톱 등과 같은 이동형 장치일 수도 있다.
도 3은 동영상 재생 장치(200)의 블록도이다. 도 3을 참조하면, 동영상 재생 장치(200)는 통신부(210), 메모리(220), 출력부(230), 입력부(240) 및 제어부(250)를 포함할 수 있다.
통신부(210)는 동영상 관리 서버(100)와 통신하는 역할을 수행한다. 구체적으로, 통신부(210)는 동영상 관리 서버(100)로부터 동영상, 동영상 정보 및 인물 정보를 수신할 수 있다. 아울러, 동영상 재생 장치(200)는 통신부(210)를 통해 정보를 요청하여줄 것을 요청하는 메시지를 전송할 수도 있다.
통신부(210)는 유선 또는 무선 방식으로 동영상 관리 서버(100)와 통신할 수 있다. 일 예로, 통신부(210)는 유선 랜 등과 같은 유선 방식으로 동영상 관리 서버(100)와 통신할 수 있고, 무선 랜(IEEE802.11), LTE 등과 같은 무선 방식으로 동영상 관리 서버(100)와 통신할 수도 있다.
메모리(220)는 동영상 관리 서버(100)로부터 수신한 동영상, 동영상 정보 및 인물 정보 등을 저장하는 역할을 수행한다. 메모리(220)에는 동영상 재생 장치(200)의 제어를 위한 프로그램이 저장되어 있을 수도 있다.
출력부(230)는 동영상, 동영상 정보 및 등장 인물 정보를 출력하는 역할을 수행한다. 동영상 재생 장치(200)가 스마트폰, 태블릿, 랩톱 및 TV 등과 같이 디스플레이를 구비한 장치일 경우, 출력부(230)는 정보를 출력하기 위한 디스플레이부일 수 있다. 이와 달리, 동영상 재생 장치(200)가 TV, 모니터 등 디스플레이 장치와 연결됨에 따라 정보를 출력할 수 있는 셋톱박스 등의 장치인 경우, 출력부(230)는 디스플레이 장치로 정보를 출력하기 위한 출력 포트일 수도 있다.
입력부(240)는 사용자 입력을 수신하는 역할을 수행한다. 이때, 스마트폰, 태블릿, 랩톱 및 TV 등의 전자 기기에 있어서, 디스플레이부가 터치스크린인 경우, 터치스크린은 출력부(230)로서 기능함과 동시에 입력부(240)로서 기능할 수 있다. 입력부(240)는 사용자가 푸쉬할 수 있는 버튼 형태로 구현될 수도 있음은 물론이다. 입력부(240)가 셋톱박스 등의 장치인 경우, 입력부(240)는 리모콘(Remote Controller)으로부터 사용자 입력 신호를 수신할 수 있는 수신부(예를 들어, IR(Infraed Ray) 수신부)를 포함할 수도 있다.
제어부(250)는 동영상 재생 장치(200)를 제어하는 역할을 한다. 일 예로, 제어부(250)는 통신부(210)가 동영상 관리 서버(100)와 통신을 수행하도록 제어하고, 통신부(210)가 동영상 관리 서버(100)로부터 수신한 데이터가 출력부(230)를 통해 출력되도록 제어할 수 있다.
상술한 설명을 기초로, 본 발명에 따른 등장 인물의 정보 제공 방법에 대해 상세히 설명하기로 한다.
도 4는 동영상 관리 서버(100)가 등장 인물별 정보를 생성하는 방법을 도시한 흐름도이다. 도 4를 참조하면, 동영상 저장부(110)에 새로운 동영상이 저장되면(S401), 동영상 분석부(120)는 새롭게 저장된 동영상의 정보 및 새롭게 저장된 동영상에 등장하는 등장 인물에 대한 정보를 데이터 베이스 관리부에 저장할 수 있다(S402).
이때, 동영상 정보는 동영상의 방영 일자, 동영상을 방영한 방송사에 대한 정보, 동영상의 방영 시간, 동영상의 총 길이, 동영상의 줄거리 중 적어도 하나를 포함할 수 있다. 이때, 동영상 정보는 외부 서버로부터 획득한 것일 수도 있고, 동영상 관리 서버(100)를 관리하는 관리자의 입력을 기초로 생성된 것일 수도 있다.
등장 인물의 정보는 동영상에 등장하는 등장 인물의 프로필 정보, 등장 인물의 등장 횟수에 대한 정보, 등장 인물의 등장 시점에 대한 정보 및 등장 인물의 등장 분량에 대한 정보 중 적어도 하나를 포함할 수 있다. 이때, 동영상 분석부(120)는 소정 시간 이내 특정 인물의 얼굴이 재등장하는지 여부, 특정 인물의 얼굴이 소정 시간 이상 출력되는지 여부 및 특정 인물의 등장 구간에 특정 인물의 음성이 감지되는지 여부 등을 고려하여 등장 인물의 정보를 생성할 수도 있다.
생성된 동영상 정보 및 등장 인물 정보는 데이터 베이스 관리부에 저장될 수 있다. 동영상 관리 서버(100)는 동영상 재생 장치(200)의 요청에 따라 동영상 정보 및 등장 인물 정보를 제공하여 줄 수 있다.
도 4에는 동영상 저장부(110)에 새로운 동영상이 저장되면, 동영상 분석부(120)가 자동으로 새롭게 저장된 동영상의 정보 및 새롭게 저장된 동영상의 등장 인물의 정보를 생성하는 것으로 가정하였다. 다른 예로, 동영상 관리 서버(100)의 관리자가 동영상 저장부(110)에 저장된 동영상 중 어느 하나를 선택함에 따라, 선택된 동영상의 정보 및 선택된 동영상의 등장 인물의 정보가 생성될 수도 있다 할 것이다.
다음으로, 동영상 재생 장치(200)에서 동영상, 동영상 정보 및 등장 인물 정보를 출력하는 예에 대해 설명하기로 한다.
도 5는 동영상 재생 장치(200)의 동작 흐름도이다. 동영상 재생 장치(200)에서 동영상 재생을 위한 어플리케이션이 실행되면(S501), 동영상 재생 장치(200)는 동영상 관리 서버(100)로 재생 가능한 동영상 목록을 제공하여 줄 것을 요청할 수 있다. 이에 대한 응답으로, 동영상 목록이 수신되면, 동영상 재생 장치(200)는 출력부(230)를 통해 수신된 동영상 목록이 출력되도록 제어할 수 있다(S502).
일 예로, 도 6은 동영상 목록이 출력되는 예를 도시한 도면이다. 도 6에서는, 동영상 목록 상의 각 항목을 통해, 각 동영상의 프리뷰 이미지, 동영상의 이름, 동영상의 방영 일자, 동영상을 방송한 방송사 정보 등 간략한 정보가 출력되는 것으로 예시되었다.
동영상 재생 목록 중 어느 하나의 항목이 선택되면(S503), 동영상 재생 장치(200)는 동영상 관리 서버(100)로 선택된 동영상의 정보 및 선택된 동영상의 등장 인물 정보 중 적어도 하나를 요청할 수 있다. 선택된 동영상의 정보 및 선택된 동영상의 등장 인물 정보 중 적어도 하나가 수신되면, 동영상 재생 장치(200)는 수신된 정보를 출력할 수 있다(S504).
일 예로, 도 7은 동영상 재생 목록 상의 어느 하나의 동영상이 선택됨에 따라, 선택된 동영상의 정보 및 등장 인물 정보가 출력되는 예를 도시한 도면이다.
동영상 재생 목록 상의 어느 하나가 선택되면, 동영상 재생 장치(200)는 도 7의 (a)에 도시된 예에서와 같이, 선택된 동영상의 정보가 출력되도록 제어할 수 있다. 일 예로, 도 7의 (a)에서는, 선택된 동영상의 이름, 선택된 동영상의 방영 시간에 대한 정보, 선택된 동영상에 등장하는 등장 인물에 대한 정보, 선택된 동영상의 연출 정보, 선택된 동영상의 분량 정보, 줄거리 등이 출력되는 것으로 예시되었다.
동영상 재생 목록 상의 어느 하나가 선택되면, 동영상 재생 장치(200)는 도 7의 (b)에 도시된 예에서와 같이, 선택된 동영상의 등장 인물 정보가 출력되도록 제어할 수도 있다.
일 예로, 도 7의 (b)에서는 선택된 동영상의 각 등장 인물별 등장 횟수 정보가 출력되는 것으로 예시되었다. 도시되지는 않았지만, 동영상 재생 장치(200)는 각 등장 인물별 프로필 정보, 각 등장 인물별 출력 분량에 대한 정보 등이 출력되도록 제어할 수도 있다 할 것이다.
등장 인물별 등장 횟수에 대한 정보 또는 출력 분량에 대한 정보를 출력함에 있어서, 동영상 재생 장치(200)는 등장 횟수 또는 출력 분량을 기준으로 소팅하여 등장 인물별 등장 횟수에 대한 정보 또는 출력 분량에 대한 정보를 출력할 수 있다.
일 예로, 도 7의 (b)에서는 등장 횟수가 높은 인물부터 순차적으로 등장 인물의 정보가 출력되는 것으로 예시되었다.
도 7의 (a) 및 (b)에 도시된 예에서, 동영상 정보 및 등장 인물의 정보 중 어느 것을 출력할 것인가는 사용자에 의해 조절될 수 있다. 일 예로, 도 7의 (a)에 도시된 예에서와 같이, '정보' 탭(710)이 활성화된 경우, 동영상 재생 장치(200)는 동영상 정보 및 등장 인물 정보 중 동영상 정보가 출력되도록 제어할 수 있고, 도 7의 (b)에 도시된 예에서와 같이, '등장 인물' 탭(720)이 활성하된 경우, 동영상 재생 장치(200)는 동영상 정보 및 등장 인물 정보 중 등장 인물 정보가 출력되도록 제어할 수 있다.
도시되지는 않았지만, 동영상 재생 장치(200)는 동영상 정보와 등장 인물의 정보가 동시에 출력되도록 제어할 수도 있다.
동영상에 등장하는 등장 인물 중 어느 한명이 선택되면, 동영상 재생 장치(200)는 선택된 동영상에 대한 웹 검색을 수행하거나, 선택된 등장 인물이 출연하는 다른 작품 정보를 출력할 수 있다.
일 예로, 도 8은 선택된 등장 인물에 대한 웹 검색 결과 또는 출연 작품 정보가 출력되는 예를 도시한 도면이다.
*76동영상에 등장하는 등장 인물의 정보가 출력되는 동안 어느 한명의 인물이 선택되면, 동영상 재생 장치(200)는 도 8의 (b)에 도시된 예에서와 같이, 선택된 인물에 대한 웹 검색을 수행하기 위한 버튼(810) 및 선택된 인물이 출연한 작품에 대한 정보(820)를 포함하는 팝업 창이 출력되도록 제어할 수 있다.
도 8의 (a)에 도시된 예에서 웹 검색을 수행하기 위한 버튼(810)이 출력되면, 동영상 재생 장치(200)는 선택된 인물에 대한 웹 검색을 수행할 수 있다. 일 예로, 인물 'A'에 대한 웹 검색을 수행하는 경우라면, 동영상 재생 장치(200)는 인물 'A'의 이름을 키워드로 삼아 웹 검색이 수행되도록 제어할 수 있다.
선택된 인물의 출연 작품에 대한 정보(820)를 출력하기 위해, 동영상 재생 장치(200)는 동영상 관리 서버(100)로 'A'의 출력 작품에 대한 정보를 제공하여 줄 것을 요청할 수 있다.
동영상 관리 서버(100)는 동영상 재생 장치(200)의 요청에 대한 응답으로 데이터 베이스 관리부로부터 'A'가 출연한 작품 정보를 추출하고, 추출된 정보를 동영상 재생 장치(200)로 제공하여 줄 수 있다.
*80'A'가 출연한 작품 중 어느 하나가 선택되면, 동영상 재생 장치(200)는 도 8의 (c)에 도시된 예에서와 같이, 선택된 작품의 동영상의 정보 및 선택된 동영상의 등장 인물 정보 중 적어도 하나를 출력할 수 있다.
동영상을 시청할 것을 요청하는 사용자 입력이 수신되면(S505), 동영상 재생 장치(200)는 동영상 관리 서버(100)로부터 동영상을 전송하여 줄 것을 요청할 수 있다. 이때, 동영상이 유료 결제 후 시청할 수 있는 것이라면, 동영상 재생 장치(200)는 동영상의 구매 후 동영상 관리 서버(100)로 동영상 전송을 요청할 수도 있을 것이다.
동영상 재생 장치(200)의 요청에 대한 응답으로, 동영상이 수신되면, 동영상 재생 장치(200)는 수신된 동영상을 재생할 수 있다(S506). 구체적으로, 동영상 재생 장치(200)는 동영상을 스트리밍 재생할 수도 있고, 동영상의 다운로드가 완료되면, 동영상의 재생을 시작할 수도 있다.
동영상 재생 중 등장 인물 정보를 요청하는 사용자 입력이 수신되면(S507), 동영상 재생 장치(200)는 동영상 관리 서버(100)로 등장 인물 정보를 제공하여 줄 것을 요청할 수 있다. 동영상 재생 장치(200) 동영상 관리 서버(100)로부터 등장 인물 정보를 수신하여, 이를 출력할 수 있다. 이때, 동영상 재생 장치(200)는 사용자 입력이 수신될 당시 동영상의 재생 시점에 등장하는 등장 인물의 정보를 요청할 수 있다.
일 예로, 도 9는 사용자 입력에 대한 응답으로 특정 재생 시점에 등장하는 등장 인물의 정보가 출력되는 예를 도시한 도면이다.
동영상을 재생하는 동안, 등장 인물의 정보를 요청하는 사용자 입력이 수신되면, 제어부는 동영상의 재생을 일시 정지하고, 정지된 장면 속 얼굴을 인식할 수 있다. 여기서, 등장 인물의 정보를 요청하는 사용자 입력은, 도 9의 (a)에 도시된 예에서와 같이, 소정의 버튼(910)을 터치하는 것일 수 있으나, 이에 한정되는 것은 아니다.
정지된 장면 속에서 얼굴이 인식되면, 제어부는 도 9의 (b)에 도시된 예에서와 같이, 인식된 얼굴을 식별하기 위한 시각적 처리를 행할 수 있다. 일 예로, 도 9의 (b)에서는 인식된 얼굴 주변에 네모난 도형(920, 930)이 표시되는 것으로 예시되었다.
인식된 얼굴 중 어느 하나가 선택되면, 제어부는 동영상 관리 서버(100)로 선택된 얼굴에 대응하는 인물의 정보를 요청할 수 있다. 일 예로, 도 9의 (b)의 예에서 2명의 인물 A 및 B의 얼굴(920, 930)이 인식되고, 이중 A의 얼굴(920)이 터치되었다면, 제어부는 A 인물의 정보를 동영상 관리 서버(100)로 요청할 수 있다.
동영상 관리 서버(100)는 동영상 재생 장치(200)의 요청에 대한 응답으로 선택된 인물의 정보를 동영상 재생 장치(200)로 제공하여 줄 수 있다. 일 예로, 도 9의 (c)에서는 동영상 재생 장치(200)가 A의 이름 및 배역에 대한 정보(940)를 동영상 관리 서버(100)로부터 수신하여 출력하는 것으로 예시되었다.
동영상 재생 장치(200)는 동영상 관리 서버(100)로 특정 인물이 등장한 구간에 대한 정보, 특정 인물이 출연한 작품에 대한 정보 또는 동영상에 등장하는 전체 인물에 대한 정보 등을 요청하기 위한 메뉴를 출력할 수도 있다.
일 예로, 도 10은 특정 인물의 등장 구간에 대한 정보가 출력되는 예를 도시한 도면이다.
동영상이 재생되는 동안, 동영상 재생 장치(200)는 동영상 재생 위치를 가리키는 프로그레싱 바를 출력할 수 있다. 이때, 동영상에 등장하는 등장 인물 중 적어도 한명이 선택되면, 동영상 재생 장치(200)는 앞서 도 9의 (c)를 통해 설명한 바와 같이, 동영상 관리 서버(100)로부터 선택된 인물의 정보를 수신하여 출력할 수 있다. 이때, 제어부는 해당 인물과 관련된 추가 정보를 획득하기 위한 메뉴가 추가 출력되도록 제어할 수 있다. 일 예로, 도 10의 (a)에서는 A라는 인물이 출연한 장면에 대한 정보를 획득하기 위한 항목(1010), A라는 인물이 출연한 다른 작품에 대한 정보를 획득하기 위한 항목(1020) 및 동영상에 등장하는 전체 인물에 대한 정보를 획득하기 위한 항목(1030)을 포함하는 메뉴가 출력되는 것으로 예시되었다.
도 10의 (a)에 도시된 예에서, 등장 인물 'A'가 출연한 장면에 대한 정보를 획득하기 위한 항목(1010)이 터치되면, 동영상 재생 장치(200)는 선택된 등장 인물의 출력 시점에 대한 정보 또는 출력 구간에 대한 정보가 프로그레싱바를 통해 출력되도록 제어할 수 있다.
일 예로, 동영상 재생 장치(200)는 도 10의 (b)에 도시된 예에서와 같이, 프로그레스 바를 통해 인물 'A'가 등장하는 시점을 가리키는 인디케이터(1040, 1050)가 출력되도록 제어할 수 있다. 도 10의 (b)에서는 인물 'A'가 등장하는 시점을 가리키는 화살표 및 인물 'A'가 등장하는 재생 시점의 정보가 출력되는 것으로 예시되었다.
다른 예로, 사용자가 인물 'A'를 선택한 경우, 동영상 재생 장치(200)는 도 10의 (c)에 도시된 예에서와 같이, 프로그레스 바를 통해 인물 'A'가 등장하는 구간(1060, 1070)이 식별 표시되도록 제어할 수 있다. 도 10의 (c)에서는 인물 'A'가 등장하는 구간의 색상을 달리하여, 인물 'A'가 등장하는 구간(1060, 1070)이 시각적으로 식별 표시되는 것으로 예시되었다.
도 10의 (b) 및 (c)에서는 프로그레스 바를 통해 특정 인물의 등장 시점 또는 등장 구간 중 어느 하나가 프로그레스 바를 통해 출력될 수 있는 것으로 예시되었으나, 양자가 동시에 프로그레스 바를 통해 출력될 수도 있다 할 것이다.
메뉴 중 특정 인물이 출연한 작품을 요청하는 항목을 선택하는 사용자 입력이 수신되면, 동영상 재생 장치(200)는 사용자 입력에 대한 응답으로 특정 인물이 출연한 작품 정보가 출력되도록 제어할 수 있다.
일 예로, 도 11은 특정 인물의 작품 정보가 출력되는 예를 도시한 도면이다. 도 11의 (a)에 도시된 메뉴 중 등장 인물 A가 출연한 작품 정보를 획득하기 위한 항목(1110)이 터치되면, 동영상 재생 장치는 도 11의 (b)에 도시된 예에서와 같이, 등장 인물 A가 출연한 작품 정보(1120)가 출력되도록 제어할 수 있다.
등장 인물 A가 출연한 작품 목록 중 어느 하나가 선택되면, 동영상 재생 장치(200)는 선택된 항목에 대응하는 동영상의 재생을 시도할 수 있다. 일 예로, 도 11의 (b)에 도시된 예에서, '하루'라는 작품이 선택되었다면, 동영상 재생 장치(200)는 동영상 관리 서버(100)로부터 '하루'라는 작품에 대한 동영상을 수신하여 재생할 수 있을 것이다.
제어부는 특정 인물의 정보를 출력하다가, 사용자 요청에 대한 응답으로 동영상에 등장하는 전체 등장 인물의 정보가 출력되도록 제어할 수도 있다.
일 예로, 도 12는 동영상에 등장하는 전체 등장 인물의 정보가 출력되는 예를 도시한 도면이다. 도 12의 (a)에 도시된 메뉴 중 전체 출연 배우들의 정보를 획득하기 위한 항목(1210)이 터치되면, 제어부는 도 12의 (b)에 도시된 예에서와 같이, 동영상에 등장하는 전체 등장인물의 목록(1220)이 출력되도록 제어할 수 있다.
이때, 목록 중 어느 하나가 선택되면, 제어부는 선택된 인물이 등장하는 구간 및 선택된 인물이 출연하는 다른 작품을 확인하기 위한 메뉴를 출력할 수 있다. 일 예로, 도 12의 (b)에 도시된 등장 인물 목록 중 등장 인물 'B'가 선택되면, 제어부는 도 12의 (c)에 도시된 예에서와 같이, 등장 인물 'B'의 출연 구간 및 출연 작품을 확인하기 위한 메뉴(1230)를 출력할 수 있다.
도 9 내지 도 12에서는 디스플레이부 상에 등장 인물과 관련된 정보, 등장 인물의 정보를 요청하기 위한 메뉴 및 등장 인물의 목록이 출력되는 것으로 예시되었다. 이때, 제어부는 사용자가 선택한 얼굴과 열거된 정보들이 오버랩되지 않도록, 열거된 정보들의 표시 위치를 조절할 수 있다.
일 예로, 도 13은 출력되는 정보의 표시 위치가 조절되는 예를 설명하기 위한 도면이다. 설명의 편의를 위해, 사용자는 정지된 영상 속 인물 'A'의 얼굴(1310)을 선택한 것으로 가정한다.
도 13의 (a)에 도시된 예에서와 같이, 정지된 영상 속 인물 'A'의 얼굴(1310)이 디스플레이부의 우측편에 있다면, 제어부는 인물 A의 정보 및 메뉴(1320)가 인물 'A'의 얼굴과 오버레이 되지 않도록 디스플레이부의 좌측편에 출력되도록 제어할 수 있다.
이와 달리, 도 13의 (b)에 도시된 예에서와 같이, 정지된 영상 속 인물 'A'의 얼굴이 디스플레이부의 좌측편에 있다면, 제어부는 인물 A의 정보 및 메뉴가 인물 'A'의 얼굴과 오버레이 되지 않도록 디스플레이부의 우측편에 출력되도록 제어할 수 있다.
도 9에서, 동영상 재생 장치는(200), 사용자 입력이 수신되었을 당시 동영상에 등장하는 인물들의 얼굴을 인식한 뒤, 인식된 얼굴 중 사용자가 선택한 인물의 정보를 출력할 수 있는 것으로 예시되었다.
만약, 사용자 입력이 수신되었을 당시 동영상에 어떠한 인물도 등장하지 않는 경우(또는 얼굴 인식에 실패한 경우)라면, 제어부는 동영상에 등장하는 등장인물 목록이 출력되도록 제어할 수 있다.
일 예로, 도 14는 동영상에 등장하는 전체 등장 인물의 정보가 출력되는 예를 도시한 도면이다.
동영상을 재생하는 동안, 등장 인물의 정보를 요청하는 사용자 입력이 수신되면, 제어부는 동영상의 재생을 일시 정지하고, 정지된 장면 속 얼굴을 인식할 수 있다. 여기서, 등장 인물의 정보를 요청하는 사용자 입력은, 도 14의 (a)에 도시된 예에서와 같이, 소정의 버튼(1410)을 터치하는 것일 수 있으나, 이에 한정되는 것은 아니다.
이때, 정지된 영상 속에서 인물의 얼굴을 인식할 수 없는 경우라면, 제어부는 도 14의 (b)에 도시된 예에서와 같이, 동영상에 등장하는 전체 등장 인물의 목록(1420)이 출력되도록 제어할 수 있다. 등장 인물 목록(1420) 중 어느 한명이 선택되면, 제어부는 도 14의 (c)에 도시된 예에서와 같이, 선택된 인물이 등장하는 구간 및 선택된 인물이 출연하는 다른 작품을 확인하기 위한 메뉴(1430)를 출력할 수 있을 것이다.
정지된 영상 속 인식된 얼굴 중 어느 하나를 선택하였으나, 선택된 인물의 정보를 획득할 수 없는 경우(예를 들어, 동영상 관리 서버(100)에 해당 인물의 정보가 저장되어 있지 않은 경우 또는 동영상 재생 장치가 동영상 관리 서버(100)와 통신할 수 없는 경우 등)에도, 제어부는 도 14에 도시된 예에서와 같이, 동영상에 등장하는 전체 등장 인물의 목록을 출력할 수 있다.
도 10에서는 특정 인물의 등장 시점 또는 구간에 대한 정보가 프로그레스 바를 통해 출력되는 것으로 설명하였다. 이때, 프로그레스 바를 통해 출력되는 특정 인물의 등장 시점을 가리키는 인디케이터가 선택되면(예를 들어, 인디케이터를 터치함), 동영상 재생 장치(200)는 동영상의 재생 시점이 인디케이터가 가리키는 시점으로 이동하도록 제어할 수 있다.
일 예로, 도 15는 동영상의 재생 시점이 변경되는 예를 도시한 도면이다. 도 15의 (a)에서는 특정 인물의 등장 시점을 가리키는 인디케이터들(1510, 1520)이 출력되는 것으로 예시되었다. 인디케이터들(1510, 1520) 중 어느 하나가 터치되면, 동영상 재생 장치(200)는 동영상의 재생 시점이 터치된 인디케이터가 가리키는 시점으로 이동하도록 제어할 수 있다.
일 예로, 도 15의 (a)에 도시된 01:00 시점을 가리키는 인디케이터(1510)가 터치되었다면, 동영상 재생 장치(200)는 도 10의 (b)에 도시된 예에서와 같이, 동영상의 재생 시점이 01:00으로 변경되도록 제어할 수 있다.
프로그레스 바를 통해 출력되는 특정 인물의 등장 구간이 선택되면, 동영상 재생 장치(200)는 해당 구간 내 사용자가 선택한 위치에 대응하는 시점 또는 해당 구간의 시작점으로 동영상의 재생 시점이 이동하도록 제어할 수 있다.
일 예로, 도 16은 동영상의 재생 시점이 변경되는 예를 도시한 도면이다. 도 16의 (a)에서는 프로그레스 바 상에 특정 인물의 등장 구간들(1610, 1620)이 식별 표시되는 것으로 예시되었다. 이때, 특정 인물이 등장 하는 구간 내 소정 위치가 터치되면, 동영상 재생 장치(200)는 터치된 위치에 대응하는 시점 또는 선택된 구간의 시작점으로 동영상의 재생 시점(1630)이 이동하도록 제어할 수 있다.
일 예로, 등장 인물 'A'의 등장 구간이 01:00 ~ 03:00(1610), 05:00 ~ 07:00(1620) 일 때, 01:30 시점에 대응하는 위치가 터치되었다면, 동영상 재생 장치(200)는 도 16의 (b)에 도시된 예에서와 같이, 01:30 시점으로 동영상의 재생 시점(1630)이 이동하도록 제어할 수 있다.
다른 예로, 등장 인물 'A'의 등장 구간이 01:00 ~ 03:00(1610), 05:00 ~ 07:00(1620) 일 때, 01:30 시점에 대응하는 위치가 터치되었다면, 동영상 재생 장치(200)는 도 16의 (c)에 도시된 예에서와 같이, 01:30 시점을 포함하는 'A'의 등장 구간(1610)의 시작점인 01:00(즉, 01:00 ~ 03:00 구간의 시작점)으로 동영상의 재생 시점(1630)을 이동시킬 수 있다.
도 15 또는 도 16에 도시된 예에서와 같이, 특정 인물의 등장 시점 또는 특정 인물이 등장하는 구간이 선택되면, 동영상 재생 장치(200)는 특정 인물의 등장 구간만이 재생되도록 제어할 수 있다.
동영상의 재생 시점이 특정 인물의 등장 시점 또는 특정 인물이 등장하는 구간으로 이동한 뒤, 선택된 인물 해당 등장 구간에 대한 재생이 종료된다면, 동영상 재생 장치(200)는 선택된 인물의 다음번 등장 구간으로 재생 시점이 이동하도록 제어할 수 있다.
일 예로, 도 17은 특정 인물의 등장 구간만이 재생되는 예를 도시한 도면이다.
설명의 편의를 위해, 등장 인물 'A'의 등장 구간은 01:00 ~ 03:00(1710), 05:00 ~ 07:00(1720) 이라 가정한다.
사용자에 의해 01:00 ~ 03:00 구간(1710)이 선택되었다면, 동영상 재생 장치(200)는 A가 등장하는 01:00 ~ 03:00 구간(1710)을 재생할 수 있다.
이후, 선택된 인물 'A'의 등장 구간인 01:00 ~ 03:00(1710) 에 대한 재생이 종료된다면(즉, 동영상의 재생 시점이 03:00에 다다른 경우), 동영상 재생 장치(200)는 인물 'A'의 다음 번 등장 구간(1720)으로 재생 시점이 이동하도록 제어할 수 있다. 일 예로, 도 17의 (a)에 도시된 예에서와 같이, 동영상의 재생 시점이 03:00에 이른 경우, 동영상 재생 장치(200)는 03:00~05:00 구간의 재생을 스킵하고, 곧바로 도 17의 (b)에 도시된 예에서와 같이, 05:00 시점의 재생이 시작되도록 제어할 수 있다.
동영상의 재생이 종료되면(또는 특정 인물의 등장 구간 모두에 대한 재생이 종료되면), 동영상 재생 장치(200)는 재생이 종료된 동영상의 동영상 정보 또는 등장 인물의 정보가 자동으로 출력되도록 제어할 수도 있다.
일 예로, 도 18은 동영상 재생이 완료된 경우 동영상 재생 장치(200)의 출력을 예시한 도면이다. 동영상이 끝까지 재생되면, 동영상 재생 장치(200)는 도 18에 도시된 예에서와 같이, 재생이 종료된 동영상에 등장하는 동영상의 정보가 출력되도록 제어할 수 있다. 일 예로, 도 18에서는 동영상에 등장하는 각 등장 인물별 등장 횟수가 출력되는 것으로 예시되었다.
등장 인물 중 어느 한명이 선택되면, 동영상 재생 장치(200)는 앞서 도 8에 출력된 것과 같이, 선택된 인물의 웹 검색을 수행하거나, 선택된 인물이 출연한 작품 정보가 출력되도록 제어할 수 있다. 등장 인물이 등장하는 다른 작품을 소개함으로써, 사용자에게 또 다른 동영상의 구입을 유도할 수 있다.
도 18의 (a) 및 (b)에서는 동영상 재생이 완료되면, 각 등장 인물별 등장 횟수에 대한 정보가 출력되는 것으로 예시되었지만, 본 발명이 이에 한정되는 것은 아니라 할 것이다. 도시된 바와 달리, 동영상 재생 장치(200)는 동영상 재생이 종료되면, 곧바로, 소정의 등장 인물(예를 들어, 등장 횟수가 가장 높은 등장 인물 또는 동영상 재생 시 사용자가 선택한 등장 인물)이 출현하는 다른 작품에 대한 정보가 출력되도록 제어할 수도 있다.
일반적으로, 동영상 재생 장치(200)는 동영상의 시청을 요청하는 사용자 입력이 수신되면, 동영상 관리 서버(100)로 동영상의 전체 분량에 대한 전송을 요청할 수 있다. 다만, 본 발명에 의한 동영상 재생 장치(200)는 동영상의 전체 분량 중 특정 인물이 등장하는 분량만을 요청할 수도 있다.
일 예로, 동영상의 등장 인물에 대한 정보가 출력되는 동안 등장 인물 중 어느 한명이 선택되면, 동영상 재생 장치(200)는 선택된 등장 인물이 출연하는 분량에 대해서만 동영상을 제공하여 줄 것을 요청하여 줄 수 있다. 이에 따라, 동영상 중 소망하는 인물만을 골라 시청할 수 있는 이점이 발휘될 수 있다.
아울러, 동영상 유료 제공 서비스를 예로 들면 동영상의 전체 분량을 다운로드할 경우의 요금에 비해, 동영상 중 특정 인물의 분량을 다운로드할 경우의 요금을 저렴하게 설정함으로써, 동영상의 구입을 효과적으로 유도할 수 있는 효과가 발생할 수 있다.
다른 예로, 동영상의 재생 전 적어도 한명이 선택된 상태라면, 동영상 재생 장치(200)는 동영상 전체 분량을 다운로드 하되, 동영상 전체 분량 중 선택된 등장 인물들의 등장 구간만이 재생되도록 제어할 수도 있다 할 것이다.
본 발명에 따르면, 동영상 관리 서버(100)는 동영상 재생 장치(200)로 소정 기간 동안의 차트 서비스를 제공하여 줄 수도 있다. 차트 서비스는 소정 기간, 소정 장르, 소정 방송사 등의 카테고리에서, 인물들의 작품 출연 순위, 인물들의 각 프로그램별 등장 횟수의 합을 기초로한 순위, 인물들의 각 프로그램별 등장 분량 합을 기초로한 순위, 인물들별 시청률 평균 순위 등을 포함할 수 있다.
일 예로, 도 19는 차트 서비스가 제공되는 예를 도시한 도면이다.
사용자로부터 차트 서비스 이용을 위한 조건이 입력되면, 동영상 재생 장치(200)는 선택된 조건에 해당하는 차트를 제공하여 줄 것을 동영상 관리 서버(100)로 요청할 수 있다. 일 예로, 도 19의 (a)에서는 '예능' 장르에 대해 '한주'간 '등장 횟수' 차트를 제공하여 줄 것을 요청하는 것으로 예시되었다.
동영상 관리 서버(100)는 데이터 베이스 관리부로부터, 동영상 재생 장치(200)가 요청하는 데이터를 추출한 뒤, 이에 대한 차트를 동영상 재생 장치(200)로 제공하여 줄 수 있다.
동영상 관리 서버(100)로부터 차트가 수신되면, 동영상 재생 장치(200)는 이를 출력할 수 있다.
일 예로, 도 19의 (b)에서는 한주간 예능 프로그램에서 각 인물의 등장 횟수가 누계된 차트가 출력되는 것으로 예시되었다.
차트 중 특정 인물이 선택되면, 동영상 재생 장치(200)는 앞서 도 8에 출력된 것과 같이, 선택된 인물의 웹 검색을 수행하거나, 선택된 인물이 출연한 작품 정보가 출력되도록 제어할 수 있다.
도 19에 도시된 차트는 동영상 재생 목록과 함께 출력될 수도 있고, 동영상 재생이 종료되면, 자동으로 출력될 수도 있다. 다른 예로, 차트 서비스는 차트 서비스를 요청하는 사용자 입력이 수신되는 경우에 있어서, 출력될 수도 있다.
상기와 같이 설명된 동영상 관리 서버(100) 및 동영상 재생 장치(200)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100 : 동영상 관리 서버
110 : 동영상 저장부
120 : 동영상 분석부
130 : 데이터 베이스 관리부
200 : 동영상 재생 장치
210 : 통신부
220 : 메모리
230 : 출력부
240 : 입력부
250 : 제어부

Claims (30)

  1. 동영상 관리 서버로부터 동영상 목록을 수신하는 단계;
    상기 동영상 목록 중 어느 하나가 선택되면, 선택된 동영상에 등장하는 등장 인물의 정보를 출력하는 단계;
    상기 선택된 동영상의 재생을 요청하는 사용자 입력이 수신되면, 상기 선택된 동영상을 재생하는 단계;
    상기 동영상 재생 중 소정의 사용자 입력이 수신되면, 상기 동영상 재생을 중단하고, 중단된 장면에 포함된 얼굴을 인식하는 단계; 및
    인식된 얼굴 중 적어도 하나가 선택되면, 선택된 얼굴에 대응하는 인물의 정보를 출력하는 단계
    를 포함하되,
    상기 등장 인물의 정보는 상기 동영상에 등장하는 등장 인물별 등장 횟수에 대한 정보 또는 등장 분량에 대한 정보 중 적어도 하나를 포함하며,
    디스플레이부 상에는 상기 선택된 얼굴에 대응하는 인물의 정보 및 상기 인물의 추가 정보를 획득하기 위한 메뉴가 더 출력되는 동영상 재생 장치가 등장 인물의 정보를 제공받는 방법.
  2. 제 1 항에 있어서,
    상기 선택된 동영상의 재생을 요청하는 사용자 입력이 수신되면, 상기 선택된 동영상을 재생하는 단계;
    상기 선택된 동영상의 재생 시점을 안내하는 프로그레싱 바를 출력하는 단계
    를 포함하되,
    상기 프로그레싱 바에는 상기 동영상에 등장하는 등장 인물 중 적어도 한명의 등장 시점 또는 등장 구간이 표시되는 것을 특징으로 하는, 방법.
  3. 제 2 항에 있어서,
    상기 프로그레싱 바에는 상기 등장 인물 중 소정 인물의 등장 시점을 가리키는 인디케이터가 출력되는 것을 특징으로 하는, 방법.
  4. 제 3 항에 있어서,
    상기 인디케이터가 선택되면, 상기 동영상의 재생 시점은 상기 인디케이터가 가리키는 시점으로 이동하는 것을 특징으로 하는, 방법.
  5. 제 2 항에 있어서,
    상기 프로그레싱 바에서 상기 등장 인물 중 소정 인물이 등장하는 구간은 시각적으로 식별 표시되는 것을 특징으로 하는, 방법.
  6. 제 2 항에 있어서,
    상기 동영상에 등장 인물 중 소정 인물의 등장 구간이 선택되면, 상기 동영상의 재생 시점은 상기 선택된 등장 구간의 시작점으로 이동하는 것을 특징으로 하는, 방법.
  7. 제 2 항에 있어서,
    상기 동영상에 등장 인물 중 소정 인물의 등장 구간이 선택되면, 상기 동영상의 재생 시점은 상기 선택된 위치에 대응하는 시점으로 이동하는 것을 특징으로 하는, 방법.
  8. 제 3 항 내지 제 7 항 중 어느 하나에 있어서,
    상기 소정 인물의 등장 시점 또는 등장 구간이 선택된 경우, 상기 소정 인물의 등장 구간만이 재생되고, 상기 등장 구간들 사이의 갭은 재생 되지 않는 것을 특징으로 하는, 방법.
  9. 제 8 항에 있어서,
    상기 소정 인물의 등장 구간 모두의 재생이 종료되면, 상기 소정 인물이 등장하는 다른 작품의 정보가 출력되는 것을 특징으로 하는, 방법.
  10. 제 1 항에 있어서,
    상기 선택된 동영상에 등장하는 등장 인물 중 적어도 한명이 선택되면, 상기 동영상 재생 장치는 상기 선택된 동영상의 전체 분량 중 상기 선택된 인물이 등장하는 일부 분량만을 다운로드 받는 것을 특징으로 하는, 방법.
  11. 제 1 항에 있어서,
    상기 선택된 동영상에 등장하는 등장 인물 중 적어도 한명이 선택되면, 상기 동영상 재생 장치는 상기 선택된 동영상의 전체 분량을 다운로드 하되, 상기 선택된 인물이 등장하는 일부 분량만을 재생하는 것을 특징으로 하는, 방법.
  12. 제 1 항에 있어서,
    차트 정보를 출력하는 단계를 더 포함하되,
    상기 차트 정보는, 소정 기간, 소정 장르 및 소정 방송사 중 적어도 하나의 필드를 기준으로 인물별 등장 횟수 순위 또는 인물별 출연 시간 순위를 포함하는 것을 특징으로 하는, 방법.
  13. 제 12 항에 있어서,
    상기 차트 정보는 상기 동영상 목록과 함께 출력되거나,
    상기 선택된 동영상의 재생이 종료되면, 출력되는 것을 특징으로 하는, 방법.
  14. 제 1 항에 있어서,
    상기 중단된 장면으로부터 얼굴을 인식할 수 없는 경우, 상기 동영상에 등장하는 전체 등장 인물 목록을 출력하는 단계를 포함하는, 방법.
  15. 제 1 항에 있어서,
    상기 메뉴에 대한 사용자 입력에 대한 응답으로, 상기 인물의 등장 시점 또는 상기 인물이 출연한 작품 정보 중 적어도 하나가 출력되는 것을 특징으로 하는, 방법.
  16. 동영상 관리 서버와 통신하기 위한 통신부;
    정보를 출력하기 위한 출력부; 및
    상기 동영상 관리 서버로부터 동영상 목록이 수신되면, 수신된 상기 동영상 목록이 상기 출력부를 통해 출력되도록 제어하고,
    상기 동영상 목록 중 어느 하나가 선택되면, 선택된 동영상에 등장하는 등장 인물의 정보가 상기 출력부를 통해 출력되도록 제어하는 제어부
    를 포함하되,
    상기 등장 인물의 정보는 상기 동영상에 등장하는 등장 인물별 등장 횟수에 대한 정보 또는 등장 분량에 대한 정보 중 적어도 하나를 포함하며,
    상기 제어부는, 상기 동영상 재생 중 소정의 사용자 입력이 수신되면, 상기 동영상 재생을 중단하고, 중단된 장면에 포함된 얼굴을 인식하고, 인식된 얼굴 중 적어도 하나가 선택되면, 선택된 얼굴에 대응하는 인물의 정보가 출력되도록 제어하며,
    상기 제어부는, 디스플레이부 상에 상기 선택된 얼굴에 대응하는 인물의 정보 및 상기 인물의 추가 정보를 획득하기 위한 메뉴가 더 출력되도록 제어하는 동영상 재생 장치.
  17. 제 16 항에 있어서,
    상기 제어부는, 상기 선택된 동영상의 재생을 요청하는 사용자 입력이 수신되면, 상기 선택된 동영상을 재생하고, 상기 선택된 동영상의 재생 시점을 안내하는 프로그레싱 바가 출력되도록 제어하되,
    상기 프로그레싱 바를 통해서는 상기 동영상에 등장하는 등장 인물 중 적어도 한명의 등장 시점 또는 등장 구간이 표시되는 것을 특징으로 하는, 장치.
  18. 제 17 항에 있어서,
    상기 프로그레싱 바에는 상기 등장 인물 중 소정 인물의 등장 시점을 가리키는 인디케이터가 출력되는 것을 특징으로 하는, 장치.
  19. 제 18 항에 있어서, 상기 제어부는,
    상기 인디케이터가 선택되면, 상기 동영상의 재생 시점이 상기 인디케이터가 가리키는 시점으로 이동하도록 제어하는 것을 특징으로 하는, 장치.
  20. 제 17 항에 있어서, 상기 제어부는,
    상기 프로그레싱 바에서 상기 등장 인물 중 소정 인물이 등장하는 구간이 시각적으로 식별 표시되도록 제어하는 것을 특징으로 하는, 장치.
  21. 제 17 항에 있어서, 상기 제어부는,
    상기 동영상에 등장 인물 중 소정 인물의 등장 구간이 선택되면, 상기 동영상의 재생 시점이 상기 선택된 등장 구간의 시작점으로 이동하도록 제어하는 것을 특징으로 하는, 장치.
  22. 제 17 항에 있어서, 상기 제어부는,
    상기 동영상에 등장 인물 중 소정 인물의 등장 구간이 선택되면, 상기 동영상의 재생 시점이 상기 선택된 위치에 대응하는 시점으로 이동하도록 제어하는 것을 특징으로 하는, 장치.
  23. 제 18 항 내지 제 22 항 중 어느 하나에 있어서, 상기 제어부는,
    상기 소정 인물의 등장 시점 또는 등장 구간이 선택된 경우, 상기 소정 인물의 등장 구간만을 재생하고, 상기 등장 구간들 사이의 갭은 스킵하는 것을 특징으로 하는, 장치.
  24. 제 23 항에 있어서, 상기 제어부는,
    상기 소정 인물의 등장 구간 모두의 재생이 종료되면, 상기 소정 인물이 등장하는 다른 작품의 정보가 출력되도록 제어하는 것을 특징으로 하는, 장치.
  25. 제 16 항에 있어서, 상기 제어부는,
    상기 선택된 동영상에 등장하는 등장 인물 중 적어도 한명이 선택되면, 상기 선택된 동영상의 전체 분량 중 상기 선택된 인물이 등장하는 일부 분량만이 다운로드 되도록 제어하는 것을 특징으로 하는, 장치.
  26. 제 16 항에 있어서, 상기 제어부는,
    상기 선택된 동영상에 등장하는 등장 인물 중 적어도 한명이 선택되면, 상기 동영상 재생 장치는 상기 선택된 동영상의 전체 분량이 다운로드 되도록 제어하되, 상기 선택된 인물이 등장하는 일부 분량만을 재생하는 것을 특징으로 하는, 장치.
  27. 제 16 항에 있어서, 상기 제어부는,
    상기 출력부를 통해 차트 정보가 출력되도록 제어하되,
    상기 차트 정보는, 소정 기간, 소정 장르 및 소정 방송사 중 적어도 하나의 필드를 기준으로 인물별 등장 횟수 순위 또는 인물별 출연 시간 순위를 포함하는 것을 특징으로 하는, 장치.
  28. 제 27 항에 있어서, 상기 제어부는,
    상기 동영상 목록과 함께 상기 차트 정보가 출력되도록 제어하거나,
    상기 선택된 동영상의 재생이 종료되면, 상기 차트 정보가 출력되도록 제어하는 것을 특징으로 하는, 장치.
  29. 제 16 항에 있어서,
    상기 제어부는, 상기 중단된 장면으로부터 얼굴을 인식할 수 없는 경우, 상기 동영상에 등장하는 전체 등장 인물 목록이 출력되도록 제어하는 것을 특징으로 하는, 장치.
  30. 제 16 항에 있어서,
    상기 제어부는, 상기 메뉴에 대한 사용자 입력에 대한 응답으로, 상기 인물의 등장 시점 또는 상기 인물이 출연한 작품 정보 중 적어도 하나가 출력되도록 제어하는 것을 특징으로 하는, 장치.
KR1020160153072A 2016-11-17 2016-11-17 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법 KR101689195B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160153072A KR101689195B1 (ko) 2016-11-17 2016-11-17 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153072A KR101689195B1 (ko) 2016-11-17 2016-11-17 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150025051A Division KR101679199B1 (ko) 2015-02-23 2015-02-23 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160170308A Division KR20160146630A (ko) 2016-12-14 2016-12-14 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20160135152A KR20160135152A (ko) 2016-11-25
KR101689195B1 true KR101689195B1 (ko) 2016-12-23

Family

ID=57682678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153072A KR101689195B1 (ko) 2016-11-17 2016-11-17 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법

Country Status (1)

Country Link
KR (1) KR101689195B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827846B1 (ko) 2007-10-18 2008-05-07 (주)올라웍스 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865973B1 (ko) * 2007-02-08 2008-10-30 (주)올라웍스 동영상에서 특정인을 검색하는 방법, 동영상에서 특정인에대한 저작권 보고서를 생성하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827846B1 (ko) 2007-10-18 2008-05-07 (주)올라웍스 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템

Also Published As

Publication number Publication date
KR20160135152A (ko) 2016-11-25

Similar Documents

Publication Publication Date Title
US9788062B2 (en) Systems and processes for delivering digital video content based upon excitement data
JP6231524B2 (ja) 無線通信デバイスを用いてメディアガイダンスアプリケーション機能性を提供するためのシステムおよび方法
US20070162936A1 (en) Interactive main menu graphical user interface systems and methods
US9774915B2 (en) System and method for media presentation with dynamic secondary content
US20190259423A1 (en) Dynamic media recording
US20130311575A1 (en) Systems and methods for receiving multiple user messages that identify a media asset segment position
US20130347029A1 (en) Systems and methods for navigating to content without an advertisement
US20150248918A1 (en) Systems and methods for displaying a user selected object as marked based on its context in a program
KR101850482B1 (ko) 방송 연동형 증강현실 서비스 시스템 및 방법
KR20190026801A (ko) 복수의 사용자를 위한 재생 목록의 미디어에 대한 지속적인 액세스를 보장하기 위한 시스템 및 방법
CN105848001A (zh) 视频回看控制方法及装置
JP2001292402A (ja) デジタルビデオ再生方法、デジタルビデオ再生装置及びデジタルビデオ録画再生装置
KR20140117387A (ko) 제2 스크린 상의 대체 뷰 비디오 재생
US8230475B2 (en) Methods and computer program products for subcontent tagging and playback
EP2728895A1 (en) Advertisement providing apparatus, advertisement providing system and advertisement providing method
US20100095319A1 (en) System and method for monitoring television viewing using keyframes
US20070092220A1 (en) System for reproducing video
US20150110462A1 (en) Dynamic media viewing
KR101679199B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR101686425B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
US20150082344A1 (en) Interior permanent magnet motor
KR101689195B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
KR101684273B1 (ko) 동영상 관리 서버 및 동영상 재생 장치, 이들을 이용한 등장 인물 정보 제공 방법
EP2884758A1 (en) Electronic apparatus, scene list processing method and information storage medium
US20130347035A1 (en) Systems and methods for navigating to a favorite content source without an advertisement

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191115

Year of fee payment: 6