KR100947736B1 - 동기 화면 검출 시스템 및 방법 - Google Patents

동기 화면 검출 시스템 및 방법 Download PDF

Info

Publication number
KR100947736B1
KR100947736B1 KR1020080034203A KR20080034203A KR100947736B1 KR 100947736 B1 KR100947736 B1 KR 100947736B1 KR 1020080034203 A KR1020080034203 A KR 1020080034203A KR 20080034203 A KR20080034203 A KR 20080034203A KR 100947736 B1 KR100947736 B1 KR 100947736B1
Authority
KR
South Korea
Prior art keywords
screen
synchronization
frame
feature
information
Prior art date
Application number
KR1020080034203A
Other languages
English (en)
Other versions
KR20090108876A (ko
Inventor
이군섭
정구익
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020080034203A priority Critical patent/KR100947736B1/ko
Publication of KR20090108876A publication Critical patent/KR20090108876A/ko
Application granted granted Critical
Publication of KR100947736B1 publication Critical patent/KR100947736B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/44—Arrangements characterised by circuits or components specially adapted for broadcast
    • H04H20/46—Arrangements characterised by circuits or components specially adapted for broadcast specially adapted for broadcast systems covered by groups H04H20/53-H04H20/95
    • H04H20/51—Arrangements characterised by circuits or components specially adapted for broadcast specially adapted for broadcast systems covered by groups H04H20/53-H04H20/95 specially adapted for satellite broadcast systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/10—Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/11—Aspects of broadcast communication characterised by the type of broadcast system digital multimedia broadcasting [DMB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은, 디지털 방송 수신 단말기로 제공하는 방송 컨텐츠와 제작물 배치(PPL) 정보 간의 동기를 위해, 방송 컨텐츠의 전후 영상 프레임 간의 색상 변화량에 따라 특징 화면을 추출하고, 특징 화면이 전 구간에 걸쳐 유일한 화면이 될 수 있도록 유사 프레임을 제거하며, 밝기 값에 따른 영상 프레임의 제거 과정을 통해 동기 화면을 검출할 수 있도록 하는, 동기 화면 검출 시스템 및 방법에 관한 것이다.
본 발명에 따른 동기 화면 검출 시스템은, 방송 컨텐츠와 부가 정보를 수신하여 디스플레이하는 디지털 방송 수신 단말기; 상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하고, 검출한 상기 동기 화면을 제공하는 동기 서버; 및 상기 동기 서버로부터 제공받은 상기 동기 화면에 대응된 부가 정보와, 상기 동기 화면을 상기 디지털 방송 수신 단말기로 전송해 주는 서비스 제공 서버를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 장면 비교를 통한 동기화를 위해 PPL 정보의 제작 시에 특징 화면을 검출하는 기술을 제공할 수 있고, 또한 검출된 특징 화면의 비교 정확도를 높일 수 있으며, 기존의 위성 방송 신호의 변경 없이 동기화를 수행할 수 있 다.
방송 컨텐츠, 위성, DMB, PPL, 영상 프레임, PTS, 동기 화면, 임계값

Description

동기 화면 검출 시스템 및 방법{System and method for detecting a synchronization image}
본 발명은 디지털 멀티미디어 방송(Digital Multimedia Broadcasting)의 컨텐츠와 PPL(Product Placement) 정보 간의 동기를 위한 동기 화면 검출 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 디지털 방송 수신 단말기로 제공하는 방송 컨텐츠와 PPL 정보 간의 동기를 위해, 방송 컨텐츠의 전후 영상 프레임 간의 색상 변화량에 따라 특징 화면을 추출하고, 특징 화면이 전 구간에 걸쳐 유일한 화면이 될 수 있도록 유사 프레임을 제거하며, 밝기 값에 따른 영상 프레임의 제거 과정을 통해 동기 화면을 검출할 수 있도록 하는, 동기 화면 검출 시스템 및 방법에 관한 것이다.
일반적으로, DMB(Digital Multimedia Broadcasting) 서비스는 방송과 통신이 융합된 이동형 멀티미디어 방송 서비스로서, 이동통신 단말기나 개인 휴대 단말기(PDA), 차량용 단말기 등을 통해 CD(Compact Disc) 수준의 음질과 데이터, 고화 질 동영상 서비스를 제공하는 디지털 방송 서비스이다.
국내에서 상용화되어 서비스되고 있는 위성(S:Satellite) DMB 및 지상파 DMB 서비스는 신개념의 이동 방송 서비스로서 기존 방송의 공간적 한계 극복과 휴대 단말기로서 차별화된 방송 서비스를 제공하고 있다.
여기서, 위성 DMB는 위성 방송 신호를 통한 디지털 멀티미디어 방송으로써 양방향 서비스의 제공이 가능하다. 그러나, 위성 신호를 이용한 양방향 서비스의 데이터 전송에는 용량과 정보의 다양성에 한계가 있고 이러한 한계를 보완하기 위하여 이동 통신망을 이용한 인터넷 접속을 통하여 보다 방대하고 시청자의 요구에 알맞는 서비스를 제공할 수 있다.
이동 통신망을 통하여 제공되는 서비스는 시청자의 시청 채널과 해당 채널에서 방송하고 있는 프로그램, 해당 프로그램에서 제공될 수 있는 정보, 그러한 정보들에 대하여 현재 시청 중인 장면에서 검색 가능한 정보까지 각 단계 별로 세분화하여 제공 할 수 있다.
이러한 부가 정보, 예컨대, PPL(Product Placement) 정보들은 시청자에게 방송되기 전에 사전에 제작되어 각 프로그램 별로 시간 정보를 가지고 저장될 수 있다. 미리 제작된 정보들에 대해 어느 시청자에게나 그 시청자가 정보를 요청한 시점의 데이터를 제공하기 위해서는 그 시청자가 어떠한 방송의 어떠한 장면을 보고 해당 정보를 요청했는지 서비스 제공자가 알아야 한다.
미리 제작된 정보는 특정 프로그램에 대한 인물, 상품 등의 정보일 수 있으며, 이러한 정보들은 프로그램에서 특징 장면에 대한 정보이므로 이러한 정보가 제 공되기 위해서는 시청자가 요청한 정확한 장면 또는 그 시점의 데이터가 필요하다.
그런데, 기존의 기술은 이러한 미리 제작된 정보와 시청자 요구 시점의 장면을 동기 할 수 있는 자동화 된 기술이 전무하다. 따라서, 사람의 눈으로 판단하여 현재 방송되고 있는 프로그램의 시점을 판단한 후 시청자에게 미리 제작된 정보를 적절한 시기에 제공할 수 있는 동기 기술이 요구되고 있다.
또한, 이러한 동기 기술을 위해서 예컨대, PPL 정보의 제작 시에, 매 동영상의 프레임 비교보다 비교가 될 수 있는 소수의 화면을 검출하여 비교하는 것이 효율적이기 때문에 이렇게 특정 비교 대상 프레임을 검출할 수 있는 기술이 요구되고 있다.
전술한 요구 사항을 해결하기 위해 본 발명은 디지털 방송 수신 단말기로 제공하는 방송 컨텐츠와 PPL 정보 간의 동기를 위해, 방송 컨텐츠의 전후 영상 프레임 간의 색상 변화량에 따라 특징 화면을 추출하고, 특징 화면이 전 구간에 걸쳐 유일한 화면이 될 수 있도록 유사 프레임을 제거하며, 밝기 값에 따른 영상 프레임의 제거 과정을 통해 동기 화면을 검출할 수 있도록 하는, 동기 화면 검출 시스템 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명에 따른 동기 화면 검출 시스템은, 방송 컨텐츠와 부가 정보를 수신하여 디스플레이하는 디지털 방송 수신 단말기; 상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하고, 검출한 상기 동기 화면을 제공하는 동기 서버; 및 상기 동기 서버로부터 제공받은 상기 동기 화면에 대응된 부가 정보와, 상기 동기 화면을 상기 디지털 방송 수신 단말기로 전송해 주는 서비스 제공 서버를 포함하고, 상기 디지털 방송 수신 단말기는 상기 서비스 제공 서버로부터 전송받은 상기 동기 화면을 근거로 상기 방송 컨텐츠와 상기 부가 정보를 동기시키게 된다.
또한, 상기 동기 서버는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하게 된다.
또한, 상기 동기 서버는, 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하게 된다.
또한, 상기 동기 서버는, 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하게 된다.
그리고, 상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정될 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 방송 컨텐츠를 수신해 디스플레이하는 디지털 방송 수신 단말기와, 상기 방송 컨텐츠에 대한 부가 정보를 제공하는 서비스 제공 서버, 및 상기 방송 컨텐츠와 상기 부가 정보 간의 동기 정보를 제공하는 동기 서버를 포함하는 시스템의 동기 화면 검출 방법으로서, (a) 상 기 동기 서버가 상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면을 추출하며, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하고, 검출한 상기 동기 화면을 상기 서비스 제공 서버로 전송하는 단계; (b) 상기 서비스 제공 서버가 상기 동기 서버로부터 전송받은 상기 동기 화면에 대응된 부가 정보와, 상기 동기 화면을 상기 디지털 방송 수신 단말기로 전송하는 단계; 및 (c) 상기 디지털 방송 수신 단말기가 상기 서비스 제공 서버로부터 전송받은 상기 동기 화면을 근거로 상기 방송 컨텐츠와 상기 부가 정보를 동기시키는 단계를 포함한다.
또한, 상기 (a) 단계는, 상기 동기 서버가 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하게 된다.
또한, 상기 (a) 단계는, 상기 동기 서버가 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하게 된다.
또한, 상기 (a) 단계는, 상기 동기 서버가 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하게 된다.
그리고, 상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정될 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 방송 컨텐츠를 수신하여 디스플레이하는 디지털 방송 수신 단말기로 부가 정보를 제공하는 서비스 제공 서버에게 동기 정보를 송출하는 통신부; 상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하는 동기화면 검출부; 상기 방송 컨텐츠로부터 상기 동기 화면이 검출되도록 상기 동기화면 검출부의 동작을 제어하는 제어부; 및 추출된 상기 특징 화면 및 상기 재생 시간과, 검출된 상기 동기 화면을 저장하는 동기정보 저장부를 포함한다.
또한, 상기 제어부는, 상기 동기화면 검출부를 통해 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하게 된다.
또한, 상기 제어부는, 상기 동기화면 검출부를 통해, 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하게 된다.
또한, 상기 제어부는, 상기 동기화면 검출부를 통해 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하게 된다.
또한, 상기 제어부는, 상기 동기화면 검출부를 통해 한 픽셀의 평균 변화량(MAFD)에 대해
Figure 112008026406022-pat00001
의 수식으로 산출하며, 프레임
Figure 112008026406022-pat00002
Figure 112008026406022-pat00003
과
Figure 112008026406022-pat00004
Figure 112008026406022-pat00005
는
Figure 112008026406022-pat00006
크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타낸다.
그리고, 상기 제어부는, 상기 동기화면 검출부를 통해 이전 프레임의 차이
Figure 112008026406022-pat00007
와 현재 프레임의 차이
Figure 112008026406022-pat00008
의 차이 값이 임계 값보다 크고
Figure 112008026406022-pat00009
도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하게 된다.
전술한 목적을 달성하기 위한 본 발명에 따른 부가 정보를 제공하는 서비스 제공 서버의 상기 부가 정보와 방송 컨텐츠 간의 동기를 위한 동기 화면을 검출하는 동기 서버의 동기 화면 검출 방법으로서, (a) 방송 컨텐츠로부터 각 영상 프레 임을 추출하는 단계; (b) 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하는 단계; (c) 상기 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하는 단계; (d) 상기 각 특징 화면 중에서 유사 프레임을 제거하는 단계; 및 (e) 상기 유사 프레임이 제거된 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 추출하는 단계를 포함한다.
또한, 상기 (a) 단계는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하게 된다.
또한, 상기 (b) 단계에서, 한 픽셀의 평균 변화량(MAFD)은
Figure 112008026406022-pat00010
의 수식으로 산출하고, 프레임
Figure 112008026406022-pat00011
Figure 112008026406022-pat00012
과
Figure 112008026406022-pat00013
Figure 112008026406022-pat00014
는
Figure 112008026406022-pat00015
크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타낸다.
또한, 상기 (b) 단계는, 이전 프레임의 차이
Figure 112008026406022-pat00016
와 현재 프레임의 차이
Figure 112008026406022-pat00017
의 차이 값이 임계 값보다 크고
Figure 112008026406022-pat00018
도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하게 된다.
또한, 상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정될 수 있다.
또한, 상기 (d) 단계 및 상기 (e) 단계에서, 상기 유사 프레임은 상기 각 영상 프레임에 대하여 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하게 된다.
그리고, 상기 (e) 단계에서, 상기 밝기 값에 따른 프레임의 제거는 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하게 된다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 기록매체는, (a) 방송 컨텐츠로부터 각 영상 프레임을 추출하는 단계; (b) 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하는 단계; (c) 상기 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하는 단계; (d) 상기 각 특징 화면 중에서 유사 프레임을 제거하는 단계; 및 (e) 상기 유사 프레임이 제거된 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 추출하는 단계를 처리하는 프로그램이 기록되어 있다.
또한, 상기 (a) 단계는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하게 된다.
또한, 상기 (b) 단계에서, 한 픽셀의 평균 변화량(MAFD)은
Figure 112008026406022-pat00019
의 수식으로 산출하고, 프레임
Figure 112008026406022-pat00020
Figure 112008026406022-pat00021
과
Figure 112008026406022-pat00022
Figure 112008026406022-pat00023
는
Figure 112008026406022-pat00024
크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각 각 가로와 세로의 위치 값을 나타낸다.
또한, 상기 (b) 단계는, 이전 프레임의 차이
Figure 112008026406022-pat00025
와 현재 프레임의 차이
Figure 112008026406022-pat00026
의 차이 값이 임계 값보다 크고
Figure 112008026406022-pat00027
도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하게 된다.
또한, 상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정될 수 있다.
또한, 상기 (d) 단계 및 상기 (e) 단계에서, 상기 유사 프레임은 상기 각 영상 프레임에 대하여 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하게 된다.
그리고, 상기 (e) 단계에서, 상기 밝기 값에 따른 프레임의 제거는 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하게 된다.
본 발명에 의하면, 장면 비교를 통한 동기화를 위해 PPL 정보의 제작 시에 특징 화면을 검출하는 기술을 제공할 수 있다.
또한, 검출된 특징 화면의 비교 정확도를 높일 수 있다.
그리고, 기존의 위성 방송 신호의 변경 없이 동기화를 수행할 수 있으며, 두 화면 간의 유사한 화면을 찾아 동기화 시키기 위한 비교 대상이 되는 동기 화면을 검출하는 기술을 제공할 수 있다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 동기 화면 검출 방법이 적용된 이동통신 방송 시스템의 한 예를 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명이 적용된 이동통신 방송 시스템(100)은, 방송 센터(110), 서비스 제공 서버(120), 동기 서버(130), 컨텐츠 서버(140), 이동 통신망(150) 및 DMB 단말기(160)를 포함한다.
방송 센터(110)는 위성 DMB 컨텐츠를 인공위성을 통해 DMB 단말기(160)에게 제공하거나 지상 DMB 컨텐츠를 지상 송신소를 통해 DMB 단말기(160)에게 제공한다.
서비스 제공 서버(120)는 위성 DMB 컨텐츠와 지상 DMB 컨텐츠를 포함하는 방송 컨텐츠에 대한 부가 정보를 보유하고 있으며, DMB 단말기(160)에게 방송 컨텐츠에 대한 부가 정보, 예컨대, PPL(Product Placement) 정보를 제공한다.
또한, 서비스 제공 서버(120)는 동기 서버(130)로부터 동기 정보를 수신하면, 동기 정보에 대응된 부가 정보와 동기 정보를 DMB 단말기(160)로 전송해 준다. 즉, 서비스 제공 서버(120)는 도 1에 도시되지 않은 컨텐츠 제공자(CP)로부터 제공받은 제2 방송 컨텐츠와 실시간 방송되는 제1 방송 컨텐츠가 연계된 부가 정보를 생성하고, 이 부가 정보와 제1 방송 컨텐츠를 동기시키기 위한 동기 정보 및 부가 정보를 DMB 단말기(160)로 전송해 준다.
또한, 서비스 제공 서버(120)는 디지털 멀티미디어 방송 화면에 디스플레이되는 객체 별로 제공 가능한 부가 정보의 종류에 대한 정보를 제공하는 GUIP(Graphic User Interface in Picture) 서버이다.
여기서, 부가 정보는 특정 프로그램의 줄거리 정보, 배우의 인물 정보, 배경음악 정보, 프로그램에 등장하는 제품에 대한 PPL 정보 등을 포함하며, 이하에서는 서비스 제공 서버(120)가 제공하는 부가 정보를 PPL 정보로 하여 설명한다.
즉, 서비스 제공 서버(120)는 PPL 정보를 수신한 DMB 단말기(160)와의 연동을 통해 사용자가 방송 화면에서 특정 객체를 선택할 수 있도록 하고, 선택된 객체에 대한 부가 정보 컨텐츠를 사용자가 서비스 받을 수 있도록 지원하는 서버로서, 예를 들어 사용자가 방송 시청 중 임의의 GUIP 시작키를 누르면 해당 시점 이후의 방송 화면에 나타나는 객체들(예: 가수, 가수가 입은 의상 등)의 윤곽선 및 각 객체에 대해 제공 가능한 정보의 종류(예: 가수의 프로필, 가수의 음반, 가수가 부르고 있는 노래의 가사, 가수가 입은 의상의 정보 등), 해당 정보 즉, 컨텐츠의 다운로드 주소(URL)에 대한 정보를 전송한다.
이때, 윤곽선 정보는 사용자가 객체를 선택할 수 있도록 하기 위한 정보로서, 윤곽선 정보를 방송 화면과 동기화하면 DMB 단말기(160)는 사용자의 키 입력에 따라 선택되는 객체의 윤곽선을 표시할 수 있게 되므로, 사용자가 특정 객체를 선택할 수 있도록 하는 가이드 정보로서 제공된다.
만약, DMB 단말기(160)가 터치 스크린을 구비했다면 객체 선택을 위해 별도 로 가이드 정보를 제공하지 않아도 되며, 이 경우 DMB 단말기(160)는 사용자가 선택한 지점의 좌표 정보를 서비스 제공 서버(120)로 전송하여 해당 선택 지점에 대응된 객체에 대한 정보를 직접 제공받을 수 있다.
따라서, 이와 같은 경우 서비스 제공 서버(120)는 이후의 방송에 대한 모든 PPL 정보를 미리 제공하지 않아도 되며, 특정 지점 선택시 해당 지점의 객체에 대해 제공 가능한 부가 정보의 종류에 대한 정보 및 컨텐츠 URL 정보(이하, GUIP 정보라 함)만을 제공하면 된다.
이와 같이 본 발명에 따른 서비스 제공 서버(120)는 DMB 단말기(160)가 방송 시청 중 방송 화면에 나타나는 객체(인물, 상품 등)를 선택하면 선택된 객체에 대해 제공 가능한 정보들을 확인할 수 있도록 해주고, 선택된 정보에 대한 컨텐츠를 컨텐츠 서버(140)로부터 다운로드 받을 수 있도록 URL을 제공한다.
동기 서버(130)는 서비스 제공 서버(120)로 동기 정보를 제공하기 위해, 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 측정하여 임계값 보다 큰 특징 화면을 검출하며, 검출한 특징 화면을 그 특징 화면의 재생 시간과 함께 저장해 놓는다.
이때, 동기 서버(130)는 방송 컨텐츠에 대하여 비교 화면 검출 구간을 지정하여 각 영상 프레임을 추출하고, 각 영상 프레임에 대해 전후 프레임 간 색상 변화량을 측정하여 변화 그래프를 계산하며, 그래프 상에서 임계값 보다 큰 특징 화면을 검출하게 된다. 여기서, 동기 서버(130)는 방송 센터(110)에 연결되어 있으며, 방송 센터(110)로부터 수신한 방송 컨텐츠로부터 영상 프레임을 추출하게 된 다.
또한, 동기 서버(130)는 검출한 특징 화면에 대해 비교 정확도를 높이기 위해 유사 화면과, 에러 가능성이 높은 프레임을 제거하는 과정을 수행한다. 즉, 동기 서버(130)는 추출한 전체 특징 프레임에 대하여 하나의 특징 프레임이 전 구간에 걸쳐 유일한 화면이 될 수 있도록 유사 프레임을 제거하고, 밝기 값에 따라 화면 비교에 부적합한 프레임을 제거하여 동기 화면을 검출하게 된다.
컨텐츠 서버(140)는 PPL 정보에 매칭된 컨텐츠를 보유하고 있으며, 서비스 제공 서버(120)로부터 DMB 단말기(160)에 대한 PPL 정보가 선택되면, 선택된 PPL 정보에 매칭된 컨텐츠를 DMB 단말기(160)로 다운로드 해 주게 된다.
DMB 단말기(160)는 디지털 멀티미디어에 관한 방송 컨텐츠와 PPL 정보를 수신하여 디스플레이하고, 동기 정보에 근거해 방송 컨텐츠와 PPL 정보를 동기시켜 디스플레이하게 된다. 여기서, DMB 단말기(160)는 DMB 방송을 수신하여 디스플레이할 수 있는 이동통신 단말기와 PDA 등을 포함하는 디지털 방송 수신 단말기이다.
DMB 단말기(160)는 방송 센터(110)로부터 위성을 통해 위성 DMB 방송 컨텐츠를 수신하거나, 지상 송신소를 통해 지상파 DMB 방송 컨텐츠를 수신하는 단말기로서, 패킷망(150) 및 이동 통신망(150)을 경유하여 서비스 제공 서버(120) 및 컨텐츠 서버(140)에 접속 가능한 단말기를 말한다.
여기서, 이동 통신망(150)은 기지국 전송기(BTS)와 기지국 제어기(BSC) 및 이동 교환국(MSC)을 포함하며, 이 기술분야에서 통상적인 기술에 해당하므로 그에 대한 상세한 설명은 생략한다. 그리고, 본 발명은 이러한 이동 통신망에 한정되지 않고 유선 통신망과 위성 통신망 등에도 동일하게 적용할 수 있다.
도 2는 본 발명의 실시예에 따른 서비스 제공 서버의 내부 구성을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 서비스 제공 서버(120)는, 서비스 제어부(211), 가입자 데이터베이스(212), 부가정보 검색부(213), 부가정보 데이터베이스(214), 부가정보 생성부(215), GUIP 정보 제공부(216) 및 통신부(270)를 포함하여 구성된다.
서비스 제공 서버(120)는 방송 컨텐츠와 부가 정보 간의 동기에 관한 동기 정보를 DMB 단말기(160)에게 전송해 주는 동기 서비스를 제공할 뿐만 아니라, DMB 단말기(160)에 디스플레이되는 방송 컨텐츠 상에 사용자에 의해 임의의 객체가 선택되면, 선택된 객체의 PPL 정보를 DMB 단말기(160)로 전송해 주는 GUIP 서비스도 제공한다.
따라서, 서비스 제어부(211)는 동기 서비스 모드일 경우에, 특정 방송 프로그램에 대한 동기 정보 요청 메시지를 동기 서버(130)로 전송하고, 동기 서버(130)로부터 동기 정보를 수신하여 DMB 단말기(160)로 전송하게 된다.
또한, 서비스 제어부(211)는 GUIP 서비스 모드일 경우에, DMB 단말기(160)로부터 현재 시청 중인 방송의 채널 정보, 프로그램 정보를 포함하는 GUIP 시작 요청 메시지를 수신하며, 수신된 GUIP 시작 요청 메시지에 포함된 정보를 포함하는 GUIP 시작 응답 메시지를 DMB 단말기(160)로 전송하여 사용자 또는 단말기에 의해 정보 확인이 이루어지도록 한다.
GUIP 시작 요청 메시지는 사용자가 DMB 단말기(160)에서 GUIP 시작키를 선택함에 따라 DMB 단말기(160)로부터 자동 생성 및 전송되는 서비스 요청 메시지로서, MIN 번호, 현재 방송 시간을 알기 위해 제공하는 PTS 정보, GUIP 서비스 종류 정보, 단말기 종류 정보(노트북, 휴대폰 등), 방송 채널 정보, 방송 프로그램 정보를 포함할 수 있다.
PTS(Presentation Time Stamp)는 DMB 방송 데이터 패킷에 들어있는 타임 스탬프로서, 패킷 헤더의 PTS를 이용하면 해당 방송 프로그램에서 사용자가 서비스를 요청한 시점의 화면을 찾을 수 있으므로, 이러한 PTS 정보를 통해 서비스 제공 서버(120)는 해당 시점 또는 해당 시점 이후에 대한 PPL 정보 또는 GUIP 정보를 제공한다.
GUIP 서비스 종류 정보는, 다운로드 방식을 구분하기 위한 정보로서, 서비스 제공 서버(120)가 PPL 정보를 다운로드하는 방식은 전체 다운로드 방식(FULL PRE-DOWNLOAD), 분할 다운로드 방식(PARTITIONED PRE-DOWNLOAD) 및 온디맨드 방식(ONDEMAND)이 있다.
여기서, 전체 다운로드 방식과 분할 다운로드 방식은 PPL 정보 요청 메시지를 수신한 경우 해당 방송 프로그램의 이후 방송에 대한 복수의 객체들의 윤곽선 정보, 부가 정보의 종류, 컨텐츠 URL을 포함하는 PPL 정보를 다운로드 하는 방식으로, 전체 다운로드 방식은 해당 방송 프로그램 전체에 대한 PPL 정보를 한번에 다운로드하는 방식이며, 분할 다운로드 방식은 통신망 트래픽 부하의 분산을 위해 PPL 정보를 적당한 크기로 분할하여 일정 텀(term)을 두고 주기적으로, 그리고 순 차적으로 다운로드하는 방식을 말한다.
그리고, 온디맨드 방식은 터치 스크린이 있는 DMB 단말기(160)에 적용되는 방식으로서, 특정 지점을 선택하여 좌표를 포함하는 GUIP 정보 요청 메시지를 수신한 경우 해당 객체에 대한 부가 정보의 종류 및 컨텐츠 URL만을 포함하는 GUIP 정보를 다운로드하는 방식이다.
이와 같은 GUIP 서비스 종류는 DMB 단말기(160)에 미리 설정되어 있을 수 있고, GUIP 시작키를 누를 때 선택하도록 할 수도 있으며, 서비스 제공 서버(120)의 가입자 데이터베이스(212)에 저장되어 있을 수도 있다.
한편, GUIP 서비스가 서비스 가입자에 한해 제공된다면, 서비스 제어부(211)는 GUIP 시작 요청 메시지 수신 시 가입자 데이터베이스(212)에서 해당 가입자의 정보가 존재하는지를 확인하여, 가입자 인증을 수행한 후 인증 결과를 포함시켜 GUIP 시작 응답 메시지를 회신할 수 있을 것이다. 이를 위해 가입자 데이터베이스(212)는 가입자 정보를 저장하고 있다.
다음, 부가정보 검색부(213)는 DMB 단말기(160)로부터 방송의 채널 정보, 프로그램 정보를 포함하는 PPL 정보 요청 메시지가 수신되면, PPL 정보 요청 메시지에 포함된 정보를 근거로 부가정보 데이터베이스(214)로부터 해당 방송 프로그램에 대한 PPL 정보를 검색하고, 해당 PPL 정보를 다운로드받을 수 있는 URL 정보를 DMB 단말기(160)로 제공한다.
이 때, 부가정보 검색부(213)는, DMB 단말기(160)가 PPL 정보를 요청한 이후의 해당 방송에 대한 PPL 정보를 검색하여야 하므로, DMB 단말기(160)로부터 수신 한 PPL 정보 요청 메시지에 포함된 방송 프로그램의 재생 시간을 나타내는 PTS 정보를 이용하여, 이후 시청될 부분에 대한 PPL 정보를 검색한다.
부가정보 데이터베이스(214)는 방송 화면에 디스플레이되는 객체의 선택을 위한 가이드 정보와, 각 객체에 대해 제공 가능한 부가 정보의 종류 및 각 부가 정보 컨텐츠를 다운로드할 수 있도록 하는 컨텐츠 URL 정보를 포함하는 PPL 정보를 각 방송 프로그램 별로 저장한다.
예를 들어, 음악 방송 프로그램의 경우, PPL 정보 중 객체는 화면에 디스플레이되는 가수가 될 수 있고, 해당 가수에 대해 제공 가능한 부가 정보의 종류로는 해당 가수의 프로필 정보, 해당 가수의 음반 정보, 현재 재생되고 있는 노래 등이 있을 수 있다. 그리고, 사용자가 노래를 선택하였다면, 부가 정보 컨텐츠로서 해당 음원 컨텐츠를 제공할 수 있을 것이므로, 이 경우 해당 음원 컨텐츠의 다운로드 URL 정보가 PPL 정보에 포함되게 된다.
또한, 가이드 정보는 사용자가 방송 화면에 표출되는 객체 중 하나를 선택할 수 있도록 하는 정보로서, 앞서 언급한 바와 같이 객체의 윤곽선을 표시하기 위한 윤곽선 정보일 수 있으며, 윤곽선 이외에도 다양하게 설계될 수 있을 것이다. 그리고, 이러한 가이드 정보는 DMB 단말기(160)에서 방송 데이터와 동기화되어 사용자가 방송 시청 중 키 입력을 통해 원하는 객체를 선택할 수 있도록 키 입력에 따라 해당 객체의 윤곽선 등 가이드 정보를 표시해주어야 한다.
부가정보 생성부(215)는 부가정보 검색부(213)가 DMB 단말기(160)로 검색된 PPL 정보를 다운로드 받을 수 있도록 하는 URL 정보를 내려 준 경우, DMB 단말 기(160)가 해당 URL로 접속하면 해당하는 PPL 정보를 다운로드한다.
앞서 언급한 바와 같이 PPL 정보의 다운로드 방식에는 전체 다운로드 방식과, 분할 다운로드 방식이 있으므로, 부가정보 생성부(215)는 PPL 정보 요청 메시지에 PPL 정보의 다운로드 방식인 전체 다운로드 방식과, 분할 다운로드 방식 중 어느 하나의 다운로드 방식에 대한 정보가 포함된 경우, 또는 가입자 데이터베이스(212)에 해당 정보가 저장되어 있는 경우, 그 정보에 따라 전체 다운로드 방식인 경우 PPL 정보 전체를 한번에 다운로드하고, 분할 다운로드 방식인 경우 다운로드 할 PPL 정보를 적당한 크기로 분할하고, 분할된 각 PPL 정보를 순차적으로 다운로드한다.
다음, GUIP 정보 제공부(216)는 터치 스크린이 있는 DMB 단말기(160)로의 서비스를 위한 구성으로서, 사용자가 방송 화면의 특정 지점을 선택함에 따라 DMB 단말기(160)로부터 현재 시청 중인 방송의 채널 정보, 프로그램 정보, 선택된 지점의 좌표 정보, PTS 정보를 포함하는 GUIP 정보 요청 메시지가 수신되면, GUIP 정보 요청 메시지에 포함된 정보를 근거로, 부가정보 데이터베이스(214)를 참조하여, 사용자가 선택한 지점의 객체를 식별하고 해당 객체에 대해 제공 가능한 부가 정보의 종류 및 각 부가 정보 컨텐츠를 다운로드할 수 있도록 하는 컨텐츠 URL 정보를 포함하는 GUIP 정보 응답 메시지를 DMB 단말기(160)로 전송한다.
이 경우, 부가정보 데이터베이스(214)에는 방송 화면을 통해 디스플레이되는 객체의 좌표 정보가 더 저장되어야 하며, 정확하게는 객체가 차지하고 있는 화면 영역에 대한 좌표의 범위에 대한 정보가 저장되어야 한다.
한편, 부가정보 생성부(215)의 경우 사용자가 서비스를 요청한 시점 이후의 방송에 대한 PPL 정보를 내려주는 것이고, 해당 PPL 정보에는 객체를 선택할 수 있는 가이드 정보가 포함되어 있으므로 DMB 단말기(160)는 PPL 정보를 다운로드 받은 이후 스스로 사용자가 선택한 객체를 식별하고, 해당 부가 정보 컨텐츠를 제공받을 수 있게 된다. 또한, 부가정보 생성부(215)는 컨텐츠 제공자(CP)로부터 제공받은 제2 방송 컨텐츠와 연계된 부가 정보를 생성한다. 이때, 제2 방송 컨텐츠는 실시간 방송되는 제1 방송 컨텐츠와 동일한 방송 컨텐츠이다.
반면, GUIP 정보 제공부(216)의 경우 실시간으로 사용자가 선택한 좌표 정보를 수신하고, 해당 좌표에 대응되는 객체를 식별하여 관련된 정보만을 내려준다.
한편, 도 2에서는 PPL 정보를 다운로드하여 DMB 단말기(160)에서 객체를 식별하는 경우와, DMB 단말기(160)에서 좌표를 전송하면 해당 객체를 서비스 제공 서버(120)가 식별하여 GUIP 정보만을 제공하는 경우의 두가지 경우를 모두 실시할 수 있도록 서비스 제공 서버(120)를 구성하였으나, 전자의 서비스만을 제공한다면 GUIP 정보 제공부(216)가 생략될 수 있고, 후자의 서비스만을 제공한다면 부가정보 검색부(213) 및 부가정보 생성부(215)의 구성이 생략될 수 있다.
도 3은 본 발명의 실시예에 따른 동기 서버의 내부 구성을 개략적으로 나타낸 구성도이다.
도 3을 참조하면, 본 발명에 따른 동기 서버(120)는, 통신부(310), 동기화면 검출부(320), 제어부(330) 및 동기정보 저장부(340)를 포함한다.
통신부(310)는 정보 또는 데이터를 송수신하는 것으로서, 부가 정보를 제공하는 서비스 제공 서버(120)에게 동기 정보를 송출한다.
동기화면 검출부(320)는 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출한다.
제어부(330)는 방송 컨텐츠로부터 동기 화면이 검출되도록 동기화면 검출부(320)의 동작을 제어한다.
즉, 제어부(330)는 동기화면 검출부(320)를 통해, 특징 화면에서 제거하기 위한 유사 프레임에 대해, 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단한다.
또한, 제어부(330)는 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8 비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 특징 화면에서 제거하여 동기 화면을 검출하게 된다.
그리고, 동기정보 저장부(340)는 추출된 특징 화면 및 재생 시간과, 검출된 동기 화면을 저장하여 보관한다.
도 4는 본 발명의 실시예에 따른 동기 화면 검출 방법을 설명하기 위한 동작 흐름도이다.
도 4를 참조하면, 본 발명에 따른 동기 서버(130)는 방송 컨텐츠로부터 동기화면 검출부(330)를 통해 각 영상 프레임을 추출한다(S410).
이때, 동기 서버(130)는 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여, 그 구간 내에 있는 각 영상 프레임을 추출한다.
이어, 동기 서버(130)는 추출한 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출한다(S420).
이때, 한 픽셀의 평균 변화량(MAFD:Mean Absolute Frame Differences)은 다음 수학식 1과 같이 산출한다.
Figure 112008026406022-pat00028
여기서, 프레임
Figure 112008026406022-pat00029
Figure 112008026406022-pat00030
과
Figure 112008026406022-pat00031
Figure 112008026406022-pat00032
는
Figure 112008026406022-pat00033
크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타낸다.
제어부(330)는 이전 프레임의 차이
Figure 112008026406022-pat00034
와 현재 프레임의 차이
Figure 112008026406022-pat00035
의 차이 값이 임계 값보다 크고
Figure 112008026406022-pat00036
도 임계값보다 크게 되면 장면이 전환되었다고 판단하여 동기화면 검출부(320)를 통해 특징 화면으로 추출하게 된다.
이때, 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정될 수 있다.
이어, 동기 서버(130)는 전술한 바와 같이 산출된 변화량을 임계값과 비교하여 도 5에 도시된 바와 같이 특징 화면 및 재생 시간을 추출한다(S430).
여기서, 도 5는 본 발명의 실시예에 따라 동기 서버가 추출한 특징 화면을 나타낸 도면이다. 도 5에 도시된 특징 화면들은 전술한 바와 같은 과정을 통해 동기화면 검출부(320)를 통해 추출된 화면들이다.
그런데, 이렇게 추출된 특징 화면은 각 프레임 간 유사한 화면 및 비교에 부적절한 화면들을 포함하고 있다. 따라서, 동기 서버(130)는 비교의 정확도를 높이기 위해 다음과 같은 과정을 수행한다.
이어, 동기 서버(130)는 각 특징 화면 중에서 유사 프레임을 제거한다(S440).
따라서, 동기 서버(130)는 동기화면 검출부(320)를 통해 도 6에 도시된 바와 같이 각 특징 화면으로부터 유사 프레임이 제거된 특징 화면(a)을 얻게 된다.
여기서, 각 특징 화면은 전후 프레임에 대하여 변화량으로 추출되었으므로, 전후 프레임이 아닌 구간에서 유사한 프레임이 나올 확률이 매우 높다. 따라서, 각 특징 프레임을 전체 특징 프레임에 대하여 유사 프레임 제거 과정을 통해 특징 프레임이 전 구간에 걸쳐 유일한 화면일 될 수 있도록 하기 위함이다.
이때, 제어부(330)는 유사 프레임에 대하여 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단한다.
이어, 동기 서버(130)는 유사 프레임이 제거된 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 도 6에 도시된 바와 같은 동기 화면을 추출한다(S450).
도 6은 본 발명의 실시예에 따라 동기 서버가 추출한 유사 프레임이 제거된 특징 화면 및 밝기 값에 따른 프레임이 제거된 동기 화면을 나타낸 도면이다.
이때, 제어부(320)는 밝기 값에 따른 프레임의 제거에 대해, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여, 동기화면 검출부(320)를 통해 유사 프레임이 제거된 특징 화면(a)에서 해당 검은색 화면 또는 흰색 화면을 제거하여 동기 화면(b)을 추출하게 된다.
전술한 바와 같은 과정으로 동기 화면을 검출한 동기 서버(130)는 동기 화면 및 재생 시간을 근거로 동기 정보를 생성해 서비스 제공 서버(120)로 전송해 주며, 서비스 제공 서버(120)는 동기 정보를 수신하여 보관하게 된다.
한편, 서비스 제공 서버(120)는 동기 정보를 보관하고 있는 중에, DMB 단말기(160)로부터 GUIP 요청 메시지를 수신할 수 있다.
즉, DMB 단말기(160)를 통해 DMB 컨텐츠를 시청하고 있는 사용자가 GUIP 시작키를 선택하면, DMB 단말기(160)는 GUIP 요청 메시지를 서비스 제공 서버(120)로 전송하게 되고, 이에 따라 서비스 제공 서버(120)는 채널 정보와 방송 프로그램 정 보, PTS 정보 등이 포함된 GUIP 요청 메시지를 수신하게 된다.
서비스 제공 서버(120)는 DMB 단말기(160) 또는 가입자 컨펌(Confirm)을 위해, 수신한 GUIP 요청 메시지에 포함된 정보를 포함시켜 GUIP 요청 응답 메시지를 DMB 단말기(160)로 전송한다.
DMB 단말기(160)는 채널, 프로그램, PTS 정보 등을 포함한 PPL 정보 요청 메시지를 서비스 제공 서버(120)로 전송하며, 이에 따라 서비스 제공 서버(120)는 해당 채널, 프로그램, PTS 정보를 근거로 해당 사용자가 시청 중인 방송에 대한 PPL 정보를 검색하고, 그 PPL 정보를 다운로드 받을 수 있도록 하는 URL 정보를 PPL 정보 응답 메시지에 포함시켜 전송한다.
PPL 정보 응답 메시지를 수신한 DMB 단말기(160)는 자동으로 또는 사용자 컨펌을 받고 해당 URL로 접속하여 PPL 정보를 다운로드 받는다.
DMB 단말기(160)는 메모리에 저장하고 있는 동기 정보 메시지에 포함된 시작 PTS를 근거로 방송 컨텐츠와 PPL 정보를 동기시킨다.
따라서, DMB 단말기(160)는 방송 컨텐츠와 PPL 정보를 동기시켜, 사용자의 객체 선택 및 부가 정보 선택을 지원하며, 사용자가 방송 시청 중 특정 객체의 윤곽선이나 지점을 선택하면, 해당 객체에 대한 부가 정보의 종류를 표시하고, 그 중 어느 하나가 선택되면 그 부가 정보에 매칭된 컨텐츠 URL로 접속하여 사용자가 원하는 컨텐츠를 다운로드 받는다.
전술한 바와 같이 본 발명에 의하면, DMB 단말기로 제공하는 방송 컨텐츠와 PPL 정보 간의 동기를 위해, 방송 컨텐츠의 전후 영상 프레임 간의 색상 변화량에 따라 특징 화면을 추출하고, 특징 화면이 전 구간에 걸쳐 유일한 화면이 될 수 있도록 유사 프레임을 제거하며, 밝기 값에 따른 영상 프레임의 제거 과정을 통해 동기 화면을 검출할 수 있도록 하는, 동기 화면 검출 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 지상파 또는 위성 DMB 방송을 수신하여 디스플레이하는 DMB 단말기에게 동기 정보를 제공해 주는 시스템에 적용할 수 있으며, 인터넷에서 제공하는 방송 컨텐츠를 이동 통신망을 통해 이동통신 단말기에게 제공해 주는 이동통신 방송 시스템에도 적용할 수 있다.
도 1은 본 발명의 실시예에 따른 동기 화면 검출 방법이 적용된 이동통신 방송 시스템의 구성을 개략적으로 나타낸 구성도,
도 2는 본 발명의 실시예에 따른 서비스 제공 서버의 내부 구성을 개략적으로 나타낸 구성도,
도 3은 본 발명의 실시예에 따른 동기 서버의 내부 구성을 개략적으로 나타낸 구성도, 그리고
도 4는 본 발명의 실시예에 따른 동기 화면 검출 방법을 설명하기 위한 동작 흐름도,
도 5는 본 발명의 실시예에 따라 동기 서버가 추출한 특징 화면을 나타낸 도면, 그리고
도 6은 본 발명의 실시예에 따라 동기 서버가 추출한 유사 프레임이 제거된 특징 화면 및 밝기 값에 따른 프레임이 제거된 동기 화면을 나타낸 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100 : 이동통신 방송 시스템 110 : 방송 센터
120 : 서비스 제공 서버 130 : 동기 서버
140 : 컨텐츠 서버 150 : 이동 통신망
160 : DMB 단말기 211 : 서비스 제어부
212 : 가입자 DB 213 : 부가정보 검색부
214 : 부가정보 DB 215 : 부가정보 생성부
216 : GUIP 정보 제공부 217 : 통신부
310 : 통신부 320 : 동기화면 검출부
330 : 제어부
340 : 동기정보 저장부

Claims (30)

  1. 방송 컨텐츠와 부가 정보를 수신하여 디스플레이하는 디지털 방송 수신 단말기;
    상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하고, 검출한 상기 동기 화면을 제공하는 동기 서버; 및
    상기 동기 서버로부터 제공받은 상기 동기 화면에 대응된 부가 정보와, 상기 동기 화면을 상기 디지털 방송 수신 단말기로 전송해 주는 서비스 제공 서버를 포함하고,
    상기 디지털 방송 수신 단말기는 상기 서비스 제공 서버로부터 전송받은 상기 동기 화면을 근거로 상기 방송 컨텐츠와 상기 부가 정보를 동기시키는 것을 특징으로 하는 동기 화면 검출 시스템.
  2. 제 1 항에 있어서,
    상기 동기 서버는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하는 것을 특징으로 하는 동기 화면 검출 시스템.
  3. 제 1 항에 있어서,
    상기 동기 서버는, 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하는 것을 특징으로 하는 동기 화면 검출 시스템.
  4. 제 1 항에 있어서,
    상기 동기 서버는, 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하는 것을 특징으로 하는 동기 화면 검출 시스템.
  5. 제 1 항에 있어서,
    상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정되는 것을 특 징으로 하는 동기 화면 검출 시스템.
  6. 방송 컨텐츠를 수신해 디스플레이하는 디지털 방송 수신 단말기와, 상기 방송 컨텐츠에 대한 부가 정보를 제공하는 서비스 제공 서버, 및 상기 방송 컨텐츠와 상기 부가 정보 간의 동기 정보를 제공하는 동기 서버를 포함하는 시스템의 동기 화면 검출 방법으로서,
    (a) 상기 동기 서버가 상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면을 추출하며, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하고, 검출한 상기 동기 화면을 상기 서비스 제공 서버로 전송하는 단계;
    (b) 상기 서비스 제공 서버가 상기 동기 서버로부터 전송받은 상기 동기 화면에 대응된 부가 정보와, 상기 동기 화면을 상기 디지털 방송 수신 단말기로 전송하는 단계; 및
    (c) 상기 디지털 방송 수신 단말기가 상기 서비스 제공 서버로부터 전송받은 상기 동기 화면을 근거로 상기 방송 컨텐츠와 상기 부가 정보를 동기시키는 단계;
    를 포함하는 동기 화면 검출 방법.
  7. 제 6 항에 있어서,
    상기 (a) 단계는, 상기 동기 서버가 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하는 것을 특징으로 하는 동기 화면 검출 방법.
  8. 제 6 항에 있어서,
    상기 (a) 단계는, 상기 동기 서버가 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하는 것을 특징으로 하는 동기 화면 검출 방법.
  9. 제 6 항에 있어서,
    상기 (a) 단계는, 상기 동기 서버가 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하는 것을 특징으로 하는 동기 화면 검출 방법.
  10. 제 6 항에 있어서,
    상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정되는 것을 특징으로 하는 동기 화면 검출 방법.
  11. 방송 컨텐츠를 수신하여 디스플레이하는 디지털 방송 수신 단말기로 부가 정보를 제공하는 서비스 제공 서버에게 동기 정보를 송출하는 통신부;
    상기 방송 컨텐츠로부터 각 영상 프레임을 추출하고, 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하며, 상기 색상 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하되, 상기 각 특징 화면 중에서 유사 프레임을 제거함과 더불어 상기 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 검출하는 동기화면 검출부;
    상기 방송 컨텐츠로부터 상기 동기 화면이 검출되도록 상기 동기화면 검출부의 동작을 제어하는 제어부; 및
    추출된 상기 특징 화면 및 상기 재생 시간과, 검출된 상기 동기 화면을 저장하는 동기정보 저장부;
    를 포함하는 동기 서버.
  12. 제 11 항에 있어서,
    상기 제어부는, 상기 동기화면 검출부를 통해 상기 특징 화면에서 제거하기 위한 상기 유사 프레임에 대해, 상기 각 영상 프레임을 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하는 것을 특징으로 하는 동기 서버.
  13. 제 11 항에 있어서,
    상기 제어부는, 상기 동기화면 검출부를 통해, 상기 밝기 값에 따른 프레임의 제거 시에, 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 % 미만이거나, 상위 10 % 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하는 것을 특징으로 하는 동기 서버.
  14. 제 11 항에 있어서,
    상기 제어부는, 상기 동기화면 검출부를 통해 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하는 것을 특징으로 하는 동기 서버.
  15. 제 11 항에 있어서,
    상기 제어부는, 상기 동기화면 검출부를 통해 한 픽셀의 평균 변화량(MAFD)에 대해
    Figure 112008026406022-pat00037
    의 수식으로 산출하며, 프레임
    Figure 112008026406022-pat00038
    Figure 112008026406022-pat00039
    과
    Figure 112008026406022-pat00040
    Figure 112008026406022-pat00041
    는
    Figure 112008026406022-pat00042
    크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타내는 것을 특징으로 하는 동기 서버.
  16. 제 11 항에 있어서,
    상기 제어부는, 상기 동기화면 검출부를 통해 이전 프레임의 차이
    Figure 112008026406022-pat00043
    와 현재 프레임의 차이
    Figure 112008026406022-pat00044
    의 차이 값이 임계 값보다 크고
    Figure 112008026406022-pat00045
    도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하는 것을 특징으로 하는 동기 서버.
  17. 부가 정보를 제공하는 서비스 제공 서버의 상기 부가 정보와 방송 컨텐츠 간 의 동기를 위한 동기 화면을 검출하는 동기 서버의 동기 화면 검출 방법으로서,
    (a) 방송 컨텐츠로부터 각 영상 프레임을 추출하는 단계;
    (b) 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하는 단계;
    (c) 상기 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하는 단계;
    (d) 상기 각 특징 화면 중에서 유사 프레임을 제거하는 단계; 및
    (e) 상기 유사 프레임이 제거된 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 추출하는 단계;
    를 포함하는 동기 서버의 동기 화면 검출 방법.
  18. 제 17항에 있어서,
    상기 (a) 단계는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  19. 제 17 항에 있어서,
    상기 (b) 단계에서, 한 픽셀의 평균 변화량(MAFD)은
    Figure 112008026406022-pat00046
    의 수식으로 산출하고, 프레임
    Figure 112008026406022-pat00047
    Figure 112008026406022-pat00048
    과
    Figure 112008026406022-pat00049
    Figure 112008026406022-pat00050
    는
    Figure 112008026406022-pat00051
    크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타내는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  20. 제 19 항에 있어서,
    상기 (b) 단계는, 이전 프레임의 차이
    Figure 112008026406022-pat00052
    와 현재 프레임의 차이
    Figure 112008026406022-pat00053
    의 차이 값이 임계 값보다 크고
    Figure 112008026406022-pat00054
    도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  21. 제 20 항에 있어서,
    상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정되는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  22. 제 17 항에 있어서,
    상기 (d) 단계 및 상기 (e) 단계에서, 상기 유사 프레임은 상기 각 영상 프레임에 대하여 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  23. 제 17 항에 있어서,
    상기 (e) 단계에서, 상기 밝기 값에 따른 프레임의 제거는 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하는 것을 특징으로 하는 동기 서버의 동기 화면 검출 방법.
  24. (a) 방송 컨텐츠로부터 각 영상 프레임을 추출하는 단계;
    (b) 추출한 상기 각 영상 프레임에 대해 전후 프레임 간의 색상 변화량을 산출하는 단계;
    (c) 상기 변화량을 임계값과 비교하여 특징 화면 및 재생 시간을 추출하는 단계;
    (d) 상기 각 특징 화면 중에서 유사 프레임을 제거하는 단계; 및
    (e) 상기 유사 프레임이 제거된 특징 화면 중에서 밝기 값에 따른 프레임을 제거하여 동기 화면을 추출하는 단계;
    를 처리하는 프로그램이 기록된 기록매체.
  25. 제 24 항에 있어서,
    상기 (a) 단계는, 상기 방송 컨텐츠에 대해 비교 화면 검출 구간을 지정하여 상기 각 영상 프레임을 추출하는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  26. 제 24 항에 있어서,
    상기 (b) 단계에서, 한 픽셀의 평균 변화량(MAFD)은
    Figure 112008026406022-pat00055
    의 수식으로 산출하고, 프레임
    Figure 112008026406022-pat00056
    Figure 112008026406022-pat00057
    과
    Figure 112008026406022-pat00058
    Figure 112008026406022-pat00059
    는
    Figure 112008026406022-pat00060
    크기이며 각각 n번째, n-1번째 영상을 나타내며, i와 j는 각각 가로와 세로의 위치 값을 나타내는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  27. 제 26 항에 있어서,
    상기 (b) 단계는, 이전 프레임의 차이
    Figure 112008026406022-pat00061
    와 현재 프레임의 차이
    Figure 112008026406022-pat00062
    의 차이 값이 임계 값보다 크고
    Figure 112008026406022-pat00063
    도 임계 값보다 크게 되면 장면이 전환되었다고 판단하여 상기 특징 화면으로 추출하는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  28. 제 27 항에 있어서,
    상기 임계값은 영상의 소스 상태와 방송 수신 상태에 따라 지정되는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  29. 제 24 항에 있어서,
    상기 (d) 단계 및 상기 (e) 단계에서, 상기 유사 프레임은 상기 각 영상 프레임에 대하여 각기 다른 영상 프레임과 비교하여, 영상 프레임 전체의 픽셀 값에 대해 각 대응되는 다른 영상 프레임의 픽셀 값의 색상 차이를 산출하고, 이 차이 값을 모두 더한 값으로 두 영상 프레임 간의 유사도를 판단하는 것을 특징으로 하는 프로그램이 기록된 기록매체.
  30. 제 24 항에 있어서,
    상기 (e) 단계에서, 상기 밝기 값에 따른 프레임의 제거는 화면의 밝기가 검은 화면을 "0"으로 기준하여 8비트 컬러일 경우에 각 색상을 256 단계로 나누고, 각각의 색상에 대하여 합한 값이 하위 10 %인 25 미만이거나, 상위 10 %인 230 이상일 경우에 검은색 화면 또는 흰색 화면으로 판단하여 상기 특징 화면에서 제거하는 것을 특징으로 하는 프로그램이 기록된 기록매체.
KR1020080034203A 2008-04-14 2008-04-14 동기 화면 검출 시스템 및 방법 KR100947736B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080034203A KR100947736B1 (ko) 2008-04-14 2008-04-14 동기 화면 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080034203A KR100947736B1 (ko) 2008-04-14 2008-04-14 동기 화면 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20090108876A KR20090108876A (ko) 2009-10-19
KR100947736B1 true KR100947736B1 (ko) 2010-03-17

Family

ID=41552237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080034203A KR100947736B1 (ko) 2008-04-14 2008-04-14 동기 화면 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100947736B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033767A (ko) * 2002-10-15 2004-04-28 케이투아이엠에스 한국어 이미지 문자인식기능을 통한 뉴스 동영상의뉴스제목 자동추출방법
KR20080022752A (ko) * 2006-09-07 2008-03-12 에스케이 텔레콤주식회사 부가정보 서비스 제공 시스템 및 그 서비스 제공 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040033767A (ko) * 2002-10-15 2004-04-28 케이투아이엠에스 한국어 이미지 문자인식기능을 통한 뉴스 동영상의뉴스제목 자동추출방법
KR20080022752A (ko) * 2006-09-07 2008-03-12 에스케이 텔레콤주식회사 부가정보 서비스 제공 시스템 및 그 서비스 제공 방법

Also Published As

Publication number Publication date
KR20090108876A (ko) 2009-10-19

Similar Documents

Publication Publication Date Title
US10785547B2 (en) System and method for synchronizing metadata with audiovisual content
CN103024464B (zh) 提供与视频播放内容相关信息的系统和方法
US10200748B2 (en) System and method for commercial detection in digital media environments
US8407741B2 (en) System, server and method for providing supplementary information service related to broadcast content
KR20210021099A (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
US8341671B2 (en) System and method for synchroning broadcast content with supplementary information
TWI540892B (zh) A video broadcast control method and device
CN106331562B (zh) 云端服务器、控制设备及音频视频同步方法
US7784083B2 (en) Receiving/generating section information for multimedia contents based on level of performance
CN106060578A (zh) 生成视频数据
WO2015029393A1 (ja) 情報処理装置および情報処理方法
KR20150083355A (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
KR20120067477A (ko) 방송콘텐츠의 부가정보 제공 시스템 및 그 방법
KR101741747B1 (ko) 실시간 광고 삽입이 가능한 영상 광고 처리 장치 및 방법
EP1699241A1 (en) Method for providing information about multimedia contents in a multimedia service system
KR100831035B1 (ko) 디지털 멀티미디어 방송의 부가 정보 제공을 위한 ｇｕｉｐ서비스 시스템 및 방법
KR100947737B1 (ko) 이동통신 방송 시스템과 동기 화면 검출 방법 및 방송컨텐츠와 부가 정보 간의 동기 방법
CN101569192A (zh) 使广播内容与补充信息同步的系统和方法
KR100964439B1 (ko) 이동통신 방송 시스템 및 방송 컨텐츠와 부가 정보의 동기방법
KR100947736B1 (ko) 동기 화면 검출 시스템 및 방법
JP4575630B2 (ja) Ｕｒｌ情報取得装置
KR101025274B1 (ko) 이동통신 방송 시스템 및 동기를 위한 부가 정보 변환 방법
US20120185896A1 (en) System, mobile terminal and method for displaying object information in real time
JP7237927B2 (ja) 情報処理装置、情報処理装置およびプログラム
JP2002199302A (ja) 文字情報提供システム及び文字情報提供方法及びその方法を実現するプログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee