KR101930488B1 - 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치 - Google Patents

연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR101930488B1
KR101930488B1 KR1020170122596A KR20170122596A KR101930488B1 KR 101930488 B1 KR101930488 B1 KR 101930488B1 KR 1020170122596 A KR1020170122596 A KR 1020170122596A KR 20170122596 A KR20170122596 A KR 20170122596A KR 101930488 B1 KR101930488 B1 KR 101930488B1
Authority
KR
South Korea
Prior art keywords
information
image
content
frame
scene
Prior art date
Application number
KR1020170122596A
Other languages
English (en)
Inventor
함종은
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020170122596A priority Critical patent/KR101930488B1/ko
Application granted granted Critical
Publication of KR101930488B1 publication Critical patent/KR101930488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 실시예는 연동형 서비스 제공을 위한 메타데이터 생성 과정에서, 영상 컨텐츠 내 객체의 인식 과정을 거쳐 산출된 객체 인식 정보 및 객체 인식 정보를 활용하여 외부로부터 검색된 외부 데이터에 기반하여 객체에 대한 메타데이터가 자동으로 생성될 수 있도록 함으로써 컨텐츠와 관련하여 보다 다양한 연동형 서비스가 제공될 수 있도록 하는 메타데이터 생성 방법 및 그를 위한 장치에 관한 것이다.

Description

연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치{Metadata Creating Method and Apparatus for Linkage Type Service}
본 실시예는 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 발명에 따른 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
최근 아날로그 방송에서 디지털 방송으로 방송 시스템이 전환됨에 따라 방송 시스템은 방송 채널의 다채널화, 프로그램 영상 및 음향의 고품질화의 방향으로 변모하고 있다. 이에 다양한 정보가 수백 개의 채널을 통해 방송되고 있으며 사용자들은 다양한 정보를 방송을 통해 손쉽게 접근할 수 있다. 또한, 방송 시스템은 이동통신망과 연동되어 기존의 단방향 방송에서 양방향 방송을 제공하고 있으며, 이에, 사용자는 단순히 제공되는 프로그램만을 수신하여 시청하는 수동적인 시청방식에서 벗어나 프로그램에 직접 참여하거나 원하는 시간에 원하는 프로그램을 수신하는 능동적인 시청을 할 수 있게 되었다.
이러한, 양방향 방송으로의 전환 추세에 맞춰 사용자가 방송을 시청하는 도중, 방송에서 제공되는 컨텐츠 파생상품 즉, 컨텐츠에 출연한 인물이나 소품에 대한 부가 정보를 자유롭게 검색 및 구매할 수 있도록 하는 컨텐츠 연동형 서비스가 활성화되고 있다. 한편, 컨텐츠 연동형 서비스를 통해 컨텐츠 관련정보를 이용하기 위해서는 컨텐츠를 통해 노출되는 컨텐츠 파생상품의 부가 정보를 사전에 메타데이터로서 나타내고, 이를 컨텐츠에 삽입하는 작업이 수행되어야 한다.
하지만, 종래의 경우 단순히 컨텐츠 내 포함된 객체의 인식을 통해 직관적으로 유추될 수 있는 기본 정보만이 메타데이터로서 자동 생성됨에 따라 실질적으로 사용자에게 제공되는 컨텐츠 연동 서비스는 제한적일 수 밖에 없다는 문제점이 존재한다. 이를 보완하기 위해서, 컨텐츠 공급자가 직접 컨텐츠 파생상품에 대한 부가 정보를 지원하여 보다 다양한 메타데이터가 생성될 수 있도록 하는 방법이 사용되었다. 이러한, 메타데이터 생성방법은 사용자의 검색 노력을 줄여주어 약간의 편의성을 제공하기는 하지만, 여전히 사용자의 요구사항에 적절한 부가 정보를 제공하는 데 있어서 한계가 존재할 수 밖엔 없다.
본 실시예는, 연동형 서비스 제공을 위한 메타데이터 생성 과정에서, 영상 컨텐츠 내 객체의 인식 과정을 거쳐 산출된 객체 인식 정보 및 객체 인식 정보를 활용하여 외부로부터 검색된 외부 데이터에 기반하여 객체에 대한 메타데이터가 자동으로 생성될 수 있도록 함으로써 컨텐츠와 관련하여 보다 다양한 연동형 서비스가 제공될 수 있도록 하는 데 그 목적이 있다.
본 실시예는, 영상 컨텐츠를 복수 개의 장면(Scene)으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공하는 영상 분석부; 동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 상기 객체에 대한 객체 인식정보를 산출하는 인식부; 및 상기 객체 인식정보를 기반으로 상기 동일한 장면의 프레임 중 상기 객체에 대응되는 대표 프레임을 선정하고, 상기 대표 프레임을 이용하여 상기 객체와 관련한 외부 데이터를 검색하고, 상기 외부 데이터 및 상기 객체 인식정보를 기반으로 상기 객체에 대한 메타데이터를 생성하는 처리부를 포함하는 것을 특징으로 하는 컨텐츠 분석장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 연동형 서비스 제공을 위한 컨텐츠 분석장치의 메타데이터 생성방법에 있어서, 영상 컨텐츠를 복수 개의 장면으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공하는 과정; 동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 상기 객체에 대한 객체 인식정보를 산출하는 과정; 상기 객체 인식정보를 기반으로 상기 동일한 장면의 프레임 중 상기 객체에 대응되는 대표 프레임을 선정하고, 상기 대표 프레임을 이용하여 상기 객체와 관련한 외부 데이터를 검색하는 과정; 및 상기 외부 데이터 및 상기 객체 인식정보를 기반으로 상기 객체에 대한 메타데이터를 생성하는 과정을 포함하는 것을 특징으로 하는 컨텐츠 분석장치의 메타데이터 생성방법을 제공한다.
본 실시예에 따르면, 연동형 서비스 제공을 위한 메타데이터 생성 과정에서, 영상 컨텐츠 내 객체의 인식 과정을 거쳐 산출된 객체 인식 정보 및 객체 인식 정보를 활용하여 외부로부터 검색된 외부 데이터에 기반하여 객체에 대한 메타데이터가 자동으로 생성될 수 있도록 함으로써 컨텐츠와 관련하여 보다 다양한 연동형 서비스가 제공될 수 있도록 하는 효과가 있다.
도 1은 본 실시예에 따른 연동형 서비스 제공 시스템을 설명하기 위한 예시도이다.
도 2는 본 실시예에 따른 컨텐츠 분석장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 연동형 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 실시예에 따른 컨텐츠 분석장치의 메타데이터 생성방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 컨텐츠 분석장치에 의해 생성되는 메타데이터를 예시한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 본 실시예에 따른 연동형 서비스 제공 시스템을 설명하기 위한 예시도이다.
본 실시예에 따른 연동형 서비스 제공 시스템은 컨텐츠 제공장치(100), 컨텐츠 분석장치(110), 외부 플랫폼 장치(120) 및 단말기(130)를 포함한다. 이때, 본 실시예에 따른 연동형 서비스 제공 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
컨텐츠 제공장치(100)는 컨텐츠 공급자로부터 복수의 방송 컨텐츠 정보를 수신하고, 이를 서비스 가입자에 제공하는 장치를 의미한다. 이러한, 컨텐츠 제공장치(100)는 본 실시예에 따른 연동형 서비스가 IPTV를 기반으로 제공되는 서비스인 경우 IPTV 가입자에게 제공되는 실시간 방송 및 VOD(Video On Demand) 등의 컨텐츠를 지원하는 장치일 수 있다.
본 실시예에 따른 컨텐츠 제공장치(100)는 컨텐츠 공급자로부터 송출된 복수의 방송 컨텐츠 정보를 컨텐츠 분석장치(110)로 분배함으로써 컨텐츠 기반의 연동형 서비스가 지원될 수 있도록 한다.
한편, 컨텐츠 제공장치(100)로부터 제공되는 방송 컨텐츠 정보로는 영상 컨텐츠(ex: MPEG2, MP4, MXF, MOV, M2T 등의 영상 파일) 및 이와 관련한 부가적인 파일(ex: 자막 파일) 등이 포함될 수 있으며, 실시예에 따라 해당 영상 컨텐츠들에 대한 제목, 시간 및 기타 세부 정보를 포함하고 있는 EPG(Electronic Program Guide) 정보가 추가로 포함될 수 있다.
컨텐츠 분석장치(110)는 연동형 서비스 제공을 지원하기 위해 컨텐츠 제공장치(100)로부터 수신되는 방송 컨텐츠 정보를 기반으로 메타데이터를 자동 생성하여 제공하는 장치를 의미한다.
본 실시예에 따른 컨텐츠 분석장치(110)는 다양한 영상 컨텐츠 분석 방법을 이용하여 장면(Scene) 또는 프레임(Frame) 단위의 다양한 메타데이터를 생성할 수 있다.
예컨대, 컨텐츠 분석장치(110)는 장면 또는 프레임별로 장면인식, 객체(사람/사물) 인식을 수행하고, 이를 기반으로, 컨텐츠 장르, 배경, 사람, 사물과 관련한 메타데이터를 생성할 수 있다.
컨텐츠 분석장치(110)는 인식된 객체들에 대해 광학 문자 판독(OCR: Optical Character Recognition) 기법을 적용하여 특정 로고 및 브랜드를 추가로 인식하고, 이와 관련한 메타데이터를 생성할 수 있다.
컨텐츠 분석장치(110)는 장면 또는 프레임별 사운드 및 음악 인식을 수행하여, 배경음악, 화자와 관련한 메타데이터를 생성할 수 있다.
컨텐츠 분석장치(110)는 자막신호나 자막파일을 텍스트 마이닝을 통해 분석하고, 이를 기반으로 산출된 위치, 장소, 날짜, 배경, 시대, 상품명 등의 키워드와 관련한 메타데이터를 생성할 수 있다. 한편, 컨텐츠 분석장치(110)는 영상 위에 자막이 입혀져 있는 경우에 대해서도 자막 영역을 지정하고, 해당 영역에 광학 문자 판독 기법을 적용하는 방식을 통해 자막과 관련한 메타데이터를 생성할 수 있다.
본 실시예에서는 컨텐츠 분석장치(110)가 메타데이터를 생성하는 과정에서 이용하는 영상 컨텐츠 분석 방법에 대해 특정 방법으로 한정하지는 않는다.
한편, 앞서 설명하였듯이, 컨텐츠 분석장치(110)가 영상 컨텐츠 분석 방법을 이용하여 생성하는 메타데이터는 그 내용이 사실상 직관적으로 유추될 수 있는 기본 정보에 불과하다는 점에서 사용자에게 제공되는 컨텐츠 연동 서비스가 제한적일 수 밖에 없다는 한계가 존재한다.
이 점에 기인하여, 본 실시예에 따른 컨텐츠 분석장치(110)는 영상 컨텐츠 분석 방법을 통해 획득된 인식정보를 활용하여 메타데이터 생성과 관련한 외부 데이터를 검색하고, 이를 추가로 반영하여 메타데이터를 생성한다. 이는 곧, 본 실시예에 따른 컨텐츠 분석장치(110)를 통해 제공되는 메타데이터가 보다 다양한 정보를 갖을 수 있음을 의미하며, 이를 통해, 종래 대비 보다 효율적인 연동형 서비스가 제공될 수 있다는 효과가 있다.
컨텐츠 분석장치(110)는 생성된 메타데이터를 단말기(130)로 전달하고, 이를 통해, 단말기(130)의 사용자로 하여금 연동형 서비스를 지원 받을 수 있도록 한다.
외부 플랫폼 장치(120)는 컨텐츠 분석장치(110)와 연동되며, 컨텐츠 분석장치(110)로 메타데이터의 생성과 관련한 외부 데이터를 제공하는 기능을 수행한다.
본 실시예에 따른 외부 플랫폼 장치(120)는 적어도 하나의 객체별로 대응되는 객체 관련정보를 매칭시켜 저장한다. 예컨대, 외부 플랫폼 장치(120)는 적어도 하나의 객체별로 객체 이미지 정보 및 해당 객체와 관련하여 사전에 수집된 외부 데이터를 매칭시켜 저장할 수 있다. 이때, 외부 데이터는 해당 객체와 관련한 부가 정보 예컨대, 해당 객체에 대한 구입정보, 광고 정보, 검색 정보 등이 포함될 수 있다.
본 실시예에는 객체와 관련한 부가 정보에 대하여 특정 정보로 한정하지는 않는다. 예컨대, 객체와 관련한 부가 정보는 객체의 인식 과정을 통해 직관적으로 수집되는 정보가 아니라면 어떠한 정보라도 무관하다.
이후, 외부 플랫폼 장치(120)는 단말기(130)로부터 특정 객체와 관련한 연동형 서비스 요청신호를 수신하는 경우, 이와 관련하여 저장된 외부 데이터를 산출하여 단말기(130)로 전송한다.
단말기(130)는 사용자의 키 조작에 따라 AP를 포함한 통신 중개장치를 이용하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 이동통신 단말기(Mobile Communication Terminal) 및 영상 디스플레이 장치 등 중 어느 하나일 수 있다.
단말기(130)는 콘텐츠 제공장치(100)로부터 제공되는 영상 컨텐츠를 스트리밍 받고, 이를 사용자에게 디스플레이하여 제공한다.
본 실시예에 따른 단말기(130)는 컨텐츠 분석장치(110)와의 연계를 통해 컨텐츠와 관련한 연동형 서비스를 추가로 제공한다. 즉, 본 실시예에 따른 단말기(130)는 컨텐츠 분석장치(110)로부터 메타데이터에 대한 태깅 결과가 정의된 메타 파일을 수신하고, 이를 기반으로 연동형 서비스를 지원한다.
단말기(130)는 메타 파일을 별도로 사용자로 하여금 다운로드 가능토록 하거나, 영상과 함께 재생하는 방식을 통해 사용자에게 제공할 수 있다.
단말기(130)는 메타 파일을 기반으로 사용자로부터 특정 객체와 관련한 연동형 서비스 요청신호를 수신하는 경우 이를 외부 플랫폼 장치(120)로 전송하며, 이와 관련하여 외부 플랫폼 장치(120)로부터 연동형 서비스 요청신호에 대응되는 부가 정보들을 제공받는다.
단말기(130)는 수신한 부가 정보들을 사용자에게 인지 가능한 형태로 출력한다. 본 실시예의 경우, 단말기(130)는 해당 부가 정보들을 단말기(130) 자체에서 디스플레이하여 제공한다. 다른 실시예에서, 단말기(130)는 별도의 2nd 스크린(PC/스마트폰/태불릿/AR·VR HMD/Holographic Display 등)을 통해 해당 부가 정보들이 디스플레이되도록 할 수 있다.
도 2는 본 실시예에 따른 컨텐츠 분석장치를 개략적으로 나타낸 블록 구성도이다.
도 2에 도시하듯이, 본 실시예에 따른 컨텐츠 분석장치(110)는 통신부(200), 영상 분석부(210), 저장부(220), 인식부(230) 및 처리부(240)를 포함한다.
통신부(200)는 외부 기기와의 통신을 수행하며, 이를 통해, 연동형 서비스 지원과 관련한 다양한 정보들을 송수신하는 장치를 의미한다. 본 실시예에 따른 통신부(200)는 컨텐츠 제공장치(100), 외부 플랫폼 장치(120) 및 단말기(130)와 통신을 수행한다.
영상 분석부(210)는 메타데이터 생성을 위해 컨텐츠 제공장치(100)로부터 수신되는 방송 컨텐츠 정보를 분석하는 기능을 수행한다.
영상 분석부(210)는 방송 컨텐츠 정보에 포함된 영상 컨텐츠를 복수 개의 장면(Scene)으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공한다.
이하, 영상 분석부(210)가 영상 컨텐츠를 분석하는 방법에 대해 설명하도록 한다.
영상 분석부(210)는 영상 컨텐츠에 대해 실시간 장면 전환 검출(Scene Change Detection) 처리를 위해 영상 컨텐츠를 구성하는 프레임의 여러 픽셀들을 블록화하고, 각 블록의 변화량을 확인한다. 이때, 영상 분석부(210)는 각 블록의 색상 몇 명암 등에 대한 변화량을 확인하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
영상 분석부(210)는 각 블록의 변화량에 대한 확인결과에 따라 블록의 변화량이 특정 임계치를 초과한 경우 장면이 전환되었다고 판단하고, 이에 기초하여 장면 전환 검출정보를 생성한다. 사실상 이러한, 장면 전환 검출정보의 생성과정은 영상 컨텐츠를 복수 개의 장면으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공하는 과정에 해당된다. 장면 전환 검출정보는 각 장면에 대응되는 프레임의 식별번호, 장면 전환 여부에 대한 플레그 정보 및 시간 정보 등이 포함될 수 있다.
한편, 영상 분석부(210)는 객체의 인식 속도나 추적의 효율을 위해 소정 길이 미만(ex: 5초 미만)의 장면에 대해서는 장면 전환 검출정보의 생성 대상에서 제외시킬 수 있다.
본 실시예에 따른 영상 분석부(210)는 객체의 인식 과정에서의 효율성 향상을 위해 각 장면별로 분류된 프레임들 대하여 샘플링 과정을 추가로 수행할 수 있다. 이러한, 영상 분석부(210)의 샘플링 과정은 앞서 생성된 장면 전환 검출정보를 기반으로 수행될 수 있다. 예컨대, 영상 분석부(210)는 동일한 장면 내에서 첫 번째 프레임을 추출한 후 5개 프레임을 기본 주기로 다음 프레임을 반복 추출하거나, 장면의 길이에 따라 주기를 정하여 대응되는 프레임을 추출할 수 있다. 다른 실시예에서, 영상 분석부(210)는 관리자의 설정에 따라 특정 프레임을 추출할 수 있다.
영상 분석부(210)는 방송 컨텐츠 정보에 포함된 자막신호나 자막파일을 텍스트 마이닝을 통해 분석하고, 이를 기반으로 산출된 위치, 장소, 날짜, 배경, 시대, 상품명 등의 키워드들을 추가로 제공할 수 있다.
마찬가지로, 영상 분석부(210)는 영상 위에 자막이 입혀져 있는 경우에 대해서도 자막 영역을 지정하고, 해당 영역에 광학 문자 판독 기법을 적용하여 분석된 결과를 추가로 제공할 수 있다.
저장부(220)는 메타데이터를 생성하는 과정에서 야기되는 정보들을 데이터베이스화하여 저장한다.
인식부(230)는 동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 해당 객체(이하, 대상 객체로 명시하여 설명하도록 한다.)에 대한 객체 인식정보를 산출한다. 한편, 인식부(210)가 프레임 내 포함된 적어도 하나의 객체를 인식하는 방법은 다양한 객체 인식 방법이 사용될 수 있으며, 이러한, 객체 인식 방법은 관련 분야에서 일반적인 바 자세한 설명은 생략하도록 한다.
인식부(230)가 산출하는 객체 인식정보로는 프레임 내 객체의 위치좌표, 프레임에서 발췌한 객체 이미지 정보, 해당 객체 이미지 정보에 대한 신뢰도 수치정보 중 일부 또는 전부의 정보가 포함될 수 있다. 이때, 객체 이미지 정보에 대한 신뢰도 수치는 객체 이미지 정보에 대한 노출정보, 크기 정보 및 다른 객체 이미지 정보와의 중첩 여부 중 일부 또는 전부의 요인에 기반하여 결정될 수 있다. 객체 이미지 정보에 대한 노출정보는 이미지 블러(Blur)의 존재 여부, 그림자, 자막 등으로 인한 부분 가림 여부 등의 정보일 수 있다.
다른 실시예에서, 인식부(230)는 동일한 장면에 대하여 분류된 프레임별로 대응되는 사운드, 음악 및 객체에 포함된 텍스트 정보 등을 인식하고, 이와 관련한 인식정보를 추가로 생성하여 제공할 수 있다.
처리부(240)는 인식부(230)에서 산출된 객체 인식정보를 기반으로 객체에 대한 메타데이터를 생성하는 기능을 수행한다.
이하, 처리부(240)가 객체에 대한 메타데이터를 생성하는 방법에 대해 설명하도록 한다.
처리부(240)는 인식부(230)를 통해 산출된 객체 인식정보를 기반으로 동일한 장면에 상응하는 프레임 중 객체에 대응되는 대표 프레임을 선정한다. 이때, 대표 프레임은 해당 객체에 대하여 가장 명확한 인식이 가능토록 하는 대표적인 이미지 정보를 포함하는 프레임을 의미한다.
한편, 처리부(240)는 인식부(230)를 통해 산출된 객체 인식정보를 기반으로 프레임 중 신뢰도 수치값이 가장 높은 객체 이미지 정보를 객체 인식정보로서 갖는 프레임을 대표 프레임으로 선정하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
처리부(240)는 외부 플랫폼 장치(120)로의 접근을 수행하고, 대표 프레임에 기반하여 외부 플랫폼 장치(120) 내 대상 객체와 관련한 외부 데이터를 검색한다. 처리부(240)는 외부 플랫폼 장치(120)로부터 제공되는 객체 관련정보 중 대표 프레임에 포함된 객체 이미지와 동일 또는 유사한 이미지 정보를 갖는 객체 관련정보를 선별하고, 선별된 객체 관련정보에 매칭되어 저장된 부가정보를 상기의 외부 데이터로서 검색한다.
처리부(240)는 대상 객체와 관련하여 산출된 객체 인식정보 및 대상 객체와 관련하여 검색된 외부 데이터를 기반으로 대상 객체에 대한 메타데이터를 생성한다.
처리부(240)는 앞서 영상 분석부(200)를 통해 생성된 장면 전환 검출정보를 기반으로, 영상 컨텐츠를 구성하는 복수 개의 장면별로 관련된 메타데이터를 태깅(Tagging)하는 절차를 수행한다.
처리부(240)는 메타데이터에 대한 태깅 결과가 정의된 별도의 파일(이하, 메타 파일로 예시하여 설명하도록 한다.)을 생성하고, 생성된 파일을 단말기(130)로 송신한다. 이러한, 메타 파일은 기존의 오디오/비디오에 영향을 미치지 않고 영상과 time sync를 맞출 수 있는 별도의 파일 포멧으로 정의되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
도 3은 본 실시예에 따른 연동형 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 3에 도시하듯이, 본 실시예에 따른 연동형 서비스 제공 방법은 ① 내지 ⑫의 단계로 이루어진다.
① 영상 분석부(210)는 방송 컨텐츠 정보 내 포함된 영상 컨텐츠를 복수 개의 장면으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공한다.
② 인식부(230)는 동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 해당 객체에 대한 객체 인식정보를 산출한다.
③, ④ 인식부(230)는 동일한 장면에 대하여 분류된 프레임별로 대응되는 사운드, 음악 및 객체에 포함된 텍스트 정보를 인식하고, 이와 관련한 인식정보를 추가로 산출한다.
⑤, ⑥ 영상 분석부(210)는 방송 컨텐츠 정보에 포함된 자막신호나 자막파일을 텍스트 마이닝을 통해 분석하고, 이를 기반으로 산출된 위치, 장소, 날짜, 배경, 시대, 상품명 등의 키워드들을 제공한다. 영상 분석부(210)는 영상 위에 자막이 입혀져 있는 경우 자막 영역을 지정하고, 지정된 자막 영역에 광학 문자 판독 기법을 적용하여 분석된 결과를 제공한다.
한편, 단계 ③ ~ ⑥의 과정은 연동형 서비스 제공과 관련하여 보다 다양한 메타데이터가 생성될 수 있도록 하는 추가적인 인식정보 수집 과정으로서 실시예에 따라 선택적으로 수행될 수 있다.
⑦ 처리부(240)는 단계 ②에서 산출된 객체 인식정보를 기반으로, 동일한 장면에 상응하는 프레임 중 대표 프레임을 산출한다.
⑧ 처리부(240)는 외부 플랫폼 장치(120)로의 접근을 수행하고, 접근이 이루어진 경우 대표 프레임에 기반하여 외부 플랫폼 장치(120) 내 객체와 관련한 외부 데이터를 검색한다.
⑨ 처리부(240)는 단계 ② 내지 ⑥에서 산출된 인식정보 및 단계 ⑧에서 검색된 외부 데이터를 기반으로 객체에 대한 메타데이터를 생성한다.
⑩ 처리부(240)는 영상 컨텐츠를 구성하는 복수 개의 장면별로 관련된 메타데이터를 태깅하는 절차를 수행한다.
⑪ 처리부(240)는 메타데이터에 대한 태깅 결과가 정의된 별도의 파일을 생성하고, 생성된 파일을 단말기(130)로 송신한다.
⑫ 외부 플랫폼 장치(120)는 단말기(130)로부터 특정 객체와 관련한 연동형 서비스 요청신호를 수신하는 경우, 이와 관련하여 기 저장된 부가 정보를 산출하여 단말기(130)로 전송한다.
도 4는 본 실시예에 따른 컨텐츠 분석장치의 메타데이터 생성방법을 설명하기 위한 순서도이다.
컨텐츠 분석장치(110)는 방송 컨텐츠 정보 내 포함된 영상 컨텐츠를 복수 개의 장면으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공한다(S402).
컨텐츠 분석장치(110)는 동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 해당 객체에 대한 객체 인식정보를 산출한다(S404). 단계 S404에서 컨텐츠 분석장치(110)는 동일한 장면에 대하여 분류된 프레임별로 대응되는 사운드, 음악 및 객체에 포함된 텍스트 정보를 인식하고, 이와 관련한 인식정보를 추가로 산출할 수도 있다.
컨텐츠 분석장치(110)는 단계 S404에서 산출된 객체 인식정보를 기반으로 동일한 장면에 상응하는 프레임 중 대표 프레임을 산출한다(S406). 단계 S406에서 컨텐츠 분석장치(110)는 단계 S404에서 산출된 객체 인식정보를 기반으로 동일한 장면에 상응하는 프레임 중 신뢰도 수치값이 가장 높은 객체 이미지 정보를 객체 인식정보로서 갖는 프레임을 대표 프레임으로서 산출할 수 있다.
컨텐츠 분석장치(110)는 단계 S406에서 산출한 대표 프레임을 이용하여 객체와 관련한 외부 데이터를 검색한다(S408). 단계 S408에서 컨텐츠 분석장치(110)는 외부 플랫폼 장치(120)로부터 제공되는 객체 관련정보 중 대표 프레임에 포함된 객체 이미지와 동일 또는 유사한 이미지 정보를 갖는 객체 관련정보를 선별하고, 선별된 객체 관련정보에 매칭되어 저장된 부가정보를 외부 데이터로서 검색한다.
컨텐츠 분석장치(110)는 단계 S404에서 산출된 객체 인식정보 및 단계 S408에서 검색한 외부 데이터를 기반으로 객체에 대한 메타데이터를 생성한다(S410).
여기서, 단계 S402 내지 S410은 앞서 설명된 컨텐츠 분석장치(110)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 4에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 4에 기재된 메타데이터 생성방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
도 5는 본 실시예에 따른 컨텐츠 분석장치에 의해 생성되는 메타데이터를 예시한 예시도이다.
도 5를 참조하면, 본 실시예에 따른 메타데이터가 프레임 내 포함된 적어도 하나의 객체에 대한 객체 인식정보 및 객체 인식정보를 활용하여 외부로부터 검색된 외부 데이터를 기반으로 생성되는 것을 확인할 수 있다. 이러한, 본 실시예에 따른 메타데이터는 기존 대비 다양한 정보를 가질 수 있으며, 이는 곧, 사용자로 하여금 보다 다양하고 효율적인 연동형 서비스를 제공받을 수 있도록 하는 효과가 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 컨텐츠 제공장치 110: 컨텐츠 분석장치
120: 외부 플랫폼 장치 130: 단말기
200: 통신부 210: 영상 분석부
220: 저장부 230: 인식부
240: 처리부

Claims (7)

  1. 영상 컨텐츠를 복수 개의 장면(Scene)으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공하는 영상 분석부;
    동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 상기 객체에 대한 객체 인식정보를 산출하는 인식부; 및
    상기 객체 인식정보를 기반으로 상기 동일한 장면의 프레임 중 상기 객체에 대응되는 대표 프레임을 선정하고, 외부 장치로부터 제공되는 객체 관련정보 중 상기 대표 프레임에 포함된 객체 이미지와 동일 또는 유사한 이미지 정보를 갖는 객체 관련정보를 선별하고, 선별된 객체 관련정보에 매칭되어 저장된 부가정보를 외부 데이터로서 검색하여, 상기 외부 데이터 및 상기 객체 인식정보를 기반으로 상기 객체에 대한 메타데이터를 생성하는 처리부
    를 포함하는 것을 특징으로 하는 컨텐츠 분석장치.
  2. 제 1항에 있어서,
    상기 영상 분석부는,
    상기 각 장면별로 분류된 프레임들을 대응되는 장면의 길이정보 및 기 설정된 주기 정보 중 적어도 하나를 기반으로 샘플링하여 제공하는 것을 특징으로 하는 컨텐츠 분석장치.
  3. 제 1항에 있어서,
    상기 인식부는,
    상기 객체에 대한 객체 이미지 정보 및 상기 객체 이미지 정보에 대한 신뢰도 수치정보를 포함하는 상기 객체 인식정보를 산출하는 것을 특징으로 하는 컨텐츠 분석장치.
  4. 제 3항에 있어서,
    상기 신뢰도 수치정보는,
    상기 객체 이미지 정보에 대한 노출정보, 크기정보 및 다른 객체 이미지 정보와의 중첩 여부 중 일부 또는 전부의 요인에 기반하여 결정되는 것을 특징으로 하는 컨텐츠 분석장치.
  5. 제 1항에 있어서,
    상기 처리부는,
    상기 객체 인식정보를 기반으로 상기 동일한 장면의 프레임 중 신뢰도 수치 값이 가장 높은 객체 이미지 정보를 상기 객체 인식정보로서 갖는 프레임을 상기 대표 프레임으로 선정하는 것을 특징으로 하는 컨텐츠 분석장치.
  6. 삭제
  7. 연동형 서비스 제공을 위한 컨텐츠 분석장치의 메타데이터 생성방법에 있어서,
    영상 컨텐츠를 복수 개의 장면으로 분리하고, 각 장면별로 대응되는 프레임을 분류하여 제공하는 과정;
    동일한 장면에 대하여 분류된 프레임별로 프레임 내 포함된 적어도 하나의 객체를 인식하여 상기 객체에 대한 객체 인식정보를 산출하는 과정;
    상기 객체 인식정보를 기반으로 상기 동일한 장면의 프레임 중 상기 객체에 대응되는 대표 프레임을 선정하고, 외부 장치로부터 제공되는 객체 관련정보 중 상기 대표 프레임에 포함된 객체 이미지와 동일 또는 유사한 이미지 정보를 갖는 객체 관련정보를 선별하고, 선별된 객체 관련정보에 매칭되어 저장된 부가정보를 외부 데이터로서 검색하는 과정; 및
    상기 외부 데이터 및 상기 객체 인식정보를 기반으로 상기 객체에 대한 메타데이터를 생성하는 과정
    을 포함하는 것을 특징으로 하는 컨텐츠 분석장치의 메타데이터 생성방법.
KR1020170122596A 2017-09-22 2017-09-22 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치 KR101930488B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170122596A KR101930488B1 (ko) 2017-09-22 2017-09-22 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170122596A KR101930488B1 (ko) 2017-09-22 2017-09-22 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치

Publications (1)

Publication Number Publication Date
KR101930488B1 true KR101930488B1 (ko) 2018-12-18

Family

ID=64952275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122596A KR101930488B1 (ko) 2017-09-22 2017-09-22 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR101930488B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110030A (ko) * 2020-02-28 2021-09-07 권태완 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523811B1 (ko) * 2009-04-14 2015-05-29 퀄컴 인코포레이티드 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523811B1 (ko) * 2009-04-14 2015-05-29 퀄컴 인코포레이티드 모바일 디바이스들을 이용한 이미지 인식을 위한 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210110030A (ko) * 2020-02-28 2021-09-07 권태완 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법
KR102522989B1 (ko) * 2020-02-28 2023-04-18 주식회사 아토맘코리아 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
US10148928B2 (en) Generating alerts based upon detector outputs
CA2924065C (en) Content based video content segmentation
US9961404B2 (en) Media fingerprinting for content determination and retrieval
US10200748B2 (en) System and method for commercial detection in digital media environments
CN103024464B (zh) 提供与视频播放内容相关信息的系统和方法
KR101644789B1 (ko) 방송 프로그램 연관 정보 제공 장치 및 방법
EP2036344B1 (en) Method and apparatus for creating and viewing customized multimedia segments
EP2506595B1 (en) A method for creating event identification data comprising a hash value sequence data and information specifying one or more actions related to a multimedia program content
KR101330637B1 (ko) 영상 및 영상 정보 검색 장치 및 방법, 그리고 그 시스템
US8965916B2 (en) Method and apparatus for providing media content
US20150319510A1 (en) Interactive viewing experiences by detecting on-screen text
US20150195626A1 (en) Augmented media service providing method, apparatus thereof, and system thereof
US11803589B2 (en) Systems, methods, and media for identifying content
US20230071845A1 (en) Interactive viewing experiences by detecting on-screen text
EP2773108B1 (en) Reception device, reception method, program, and information processing system
KR20100108117A (ko) 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
KR20160117933A (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
KR101867950B1 (ko) 생방송 및 영상서비스용 실시간 부가정보 표시 시스템
CN106713973A (zh) 搜索节目的方法及装置
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
KR20140134100A (ko) 사용자 영상 생성 방법 및 이를 위한 장치
JP2014130536A (ja) 情報管理装置、サーバ及び制御方法
KR20150071147A (ko) 선택된 쿼리 이미지를 이용하는 연관 서비스 제공 시스템 및 방법
EP3044728A1 (en) Content based video content segmentation
WO2008099324A2 (en) Method and systems for providing electronic programme guide data and of selecting a program from an electronic programme guide

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant