KR101867950B1 - 생방송 및 영상서비스용 실시간 부가정보 표시 시스템 - Google Patents

생방송 및 영상서비스용 실시간 부가정보 표시 시스템 Download PDF

Info

Publication number
KR101867950B1
KR101867950B1 KR1020170101117A KR20170101117A KR101867950B1 KR 101867950 B1 KR101867950 B1 KR 101867950B1 KR 1020170101117 A KR1020170101117 A KR 1020170101117A KR 20170101117 A KR20170101117 A KR 20170101117A KR 101867950 B1 KR101867950 B1 KR 101867950B1
Authority
KR
South Korea
Prior art keywords
information
additional information
screen
time
unit
Prior art date
Application number
KR1020170101117A
Other languages
English (en)
Inventor
김선영
최광호
Original Assignee
주식회사 포렉스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포렉스랩 filed Critical 주식회사 포렉스랩
Priority to KR1020170101117A priority Critical patent/KR101867950B1/ko
Application granted granted Critical
Publication of KR101867950B1 publication Critical patent/KR101867950B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명은 생방송 및 영상서비스용 실시간 부가정보 표시 시스템에 관한 것으로서, 영상화면과 자막 표시 시점 간의 시간차를 최소화하여 자막이 실시간으로 화면에 표시되도록 하고, 영상화면에 자막, CG 효과, 사운드 등을 구현함에 있어, 별도의 장비나 숙련된 입력자를 필요로 하지 않도록 하는 데 그 목적이 있다.
이를 위하여 본 발명은, 생방송 및 영상서비스용 화면에 실시간으로 각종 부가정보를 표시하기 위한 실시간 부가정보 표시 시스템에 있어서, 카메라와 같은 입력장치를 통해 입력되는 정보를 분류하여 서버 시스템에 전달하고, 상기 서버 시스템에서 선택된 부가정보를 받아 이를 화면상에 표시하는 클라이언트 시스템(50)과, 상기 클라이언트 시스템(50)로부터 전달된 데이터의 적합성을 판단하고, 출력될 부가정보를 선택하여 이를 상기 클라이언트 시스템(50)으로 전송하는 서버 시스템(60)을 포함하는 것을 특징으로 한다.

Description

생방송 및 영상서비스용 실시간 부가정보 표시 시스템{Real Time Display System of Additional Information for Live Broadcasting and Image Service}
본 발명은 생방송 및 영상서비스용 실시간 부가정보 표시 시스템에 관한 것으로서, 더욱 상세하게는, 카메라, 마이크, 센서 등의 입력장치를 통해 입력되는 피사체의 안면, 음성, 동작, 상표 등의 정보를, 상기 입력장치와 연결된 클라이언트 시스템에서 먼저 분류한 후에 서버 시스템에 전송하고, 서버 시스템에서는 상기 정보가 정해진 시간 내에 화면상에 표시할 수 있는 유의미한 정보에 해당하는 경우에만 자막, 효과, 사운드, 광고 등의 부가정보를 화면상에 표시하도록 함으로써, 다양한 부가정보를 실시간으로 화면 영상에 표현할 수 있고, 피사체와 화면상에 표시된 부가정보 간에 인터랙션이 가능하도록 한 생방송 및 영상서비스용 실시간 부가정보 표시 시스템에 관한 것이다.
최근의 텔레비젼 방송은 영상 화면에 자막이나 CG 효과, 사운드, 광고 등을 같이 표시하는 경우가 증가하고 있고, 특히 예능 프로그램 같은 경우에는, 자막과 함께 각종 CG(Computer Graphic) 효과, 사운드 등을 부가하여 시청자들의 흥미를 유도하고 있다.
또한 디지털 방송의 상용화로, 화면에 표시되는 의류, 가방, 자동차 등 각종 물품에 대한 정보를 시청자들에게 제공하기도 한다.
텔레비젼 화면 영상에 자막을 실시간으로 표시하는 방법으로, 도 1 및 도 2에 도시한 방식이 알려져 있다.
종래의 실시간 자막 입력방식은, 도 1 및 도 2에 도시된 바와 같이, 분할된 시간에 따라 다수의 속기 문자 입력자가 자막 방송용 속기 문자를 입력하는 문자 입력용 키 입력수단(2, 4)과, 상기 문자입력용 키입력수단(2, 4)으로부터 출력된 문자를 표시하는 문자입력용 표시수단(6, 8)과, 수정 작업자가 문자를 수정하도록 상기 문자 입력용 키 입력 수단(2, 4)으로부터 출력된 문자를 표시하는 문자 수정용 표시 수단(10, 12)과, 상기 문자 수정용 표시 수단(10, 12)에 표시된 문자를 본 수정 작업자가 수정할 문자를 입력하는 문자 수정용 키 입력수단(14, 16)과, 상기 다수의 문자 입력용 키 입력수단(2, 4)으로부터 문자를 받아서 상기 문자 표시수단(6, 8)으로 출력하고, 상기 다수의 문자 수정용 키 입력수단(14, 16)으로부터 출력된 문자를 순차적으로 이어 하나의 문장을 완성하며, 완성된 문장을 외부의 통신국(17)으로 전송하는 문자 입력, 수정, 합성 및 전송용 제어 수단(18)으로 이루어져 있다.
상기한 종래의 실시간 자막 입력방식은, 다수의 속기 문자 입력자가 교번적으로 속기 문자를 입력할 수 있으므로, 속기 문자를 입력하는 작업의 정확도를 향상시킬 수 있다는 장점이 있다.
또한 방송 화면과 화면에 표시되는 자막의 시간차를 감소시킬 수 있는 장점이 있다.
그러나 도 1 및 도 2에 도시된 종래의 실시간 자막 입력방식은, 수작업에 의한 입력방식이므로, 문자입력용 키 입력수단, 문자수정용 키 입력수단 및 숙련된 입력자를 필요로 한다는 단점이 있다.
또한 문자 입력자가 촬영 현장의 모니터를 보면서 문자를 입력하는 방식이므로, 말이 빠른 경우 이를 정확히 입력하기 어렵고, 화면이 빨리 바뀌는 경우에는 화면과 문자가 서로 일치하지 않을 수 있다는 문제가 있다.
상기한 문제점을 해결하기 위한 방안으로서, 도 3에 도시된 바와 같은 자막 입력 시스템이 제안된 바 있다.
도 3에 도시된 종래의 문자 입력방식은, 방송 자막을 실시간으로 입력하는 입력 시스템에 있어서; 시스템을 전반적으로 관리하고, 입력 시간을 분배하며, 입력된 자막 데이터 또는 송출된 자막 데이터를 하위 시스템이 공유할 수 있도록 중계하는 분배 시스템과; 상기 분배 시스템과 유무선 통신을 통해 연결되어 상기 분배 시스템으로부터 접속 승인을 받아 입력자가 속기용 키보드 장치와 디스플레이되는 미디어 파일을 시청하면서 자막을 입력하는 복수의 입력 시스템과; 상기 입력 시스템과 유무선 통신을 통해 연결되어 수정자가 속기용 키보드 장치와 디스플레이되는 미디어 파일을 시청하면서 입력자가 상기 입력 시스템을 통해 입력한 자막을 수정자가 실시간으로 수정하고, 입력된 자막의 검수가 완료되면 검수 완료된 자막 데이터를 송출 시스템에 전송하는 수정 시스템; 및 상기 수정 시스템과 유무선 통신을 통해 검수 완료된 자막 데이터를 방송국 및 기타 다른 곳으로 자막을 유무선 통신을 통해 송출하는 송출 시스템을 포함하여 구성되어 있다.
상기한 종래 기술에 의하면, 정확하고 빠른 시간 안에 문자를 입력할 수 있고, TV 화면을 실시간으로 녹화하고, 녹화된 화면을 통해 재생 시간을 가변하면서 입력자가 문자를 입력할 수 있다는 장점이 있다.
또한 표준어가 아닌 사투리, 외래어가 나오는 경우 또는 말이 빠른 경우에도 문자를 정확히 입력할 수 있으며, 입력자 및 수정자가 모두 입력되는 문자와 수정되는 문자, 송출된 문자를 공유하여 확인할 수 있도록 함으로써 전반적인 진행 상황 등을 확인할 수 있다는 장점이 있다.
그러나 상기한 입력방식 역시 문자 입력자가 수작업으로 문자를 입력하는 방식이므로, 속기용 키보드, CG 처리기 등을 별도로 필요로 하고, 방송 화면과 자막 사이에 시간차가 발생하는 것을 피할 수 없다는 문제가 있다.
한편 본 발명과 관련한 선행기술을 검색해 본 결과 다수의 선행기술이 검색되었으며, 그 중 일부를 소개하면 다음과 같다.
국내 등록특허 10-0828166호는, "동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메터데이터를 이용한 동영상 탐색 방법 및 이를 기록한 기록매체"에 관한 것으로서, 메타데이터를 포함하는 동영상을 입력하고, 상기 입력된 동영상의 시작 프레임 및 화면 전환 프레임을 추출하는 단계, 상기 추출된 시작 프레임 및 화면 전환 프레임을 손톱 영상(미리보기 이미지)으로 디스플레이하고, 상기 디스플레이된 손톱 영상 및 상기 손톱 영상의 시간 정보를 저장하는 단계, 상기 입력된 동영상에 포함된 음성의 음소에 따라 화자의 음성을 인식하고, 상기 인식된 음성 데이터를 문자 데이터로 변환하고, 상기 변환된 문자데이터로부터 키워드를 추출하는 단계, 상기 입력된 동영상으로부터 자막을 검출하고, 상기 검출된 자막으로부터 자막 인식을 통하여 자막을 추출하는 단계, 사용자가 상기 디스플레이된 동영상의 시작 프레임 및 화면 전환 프레임 중 시작 샷과 끝 샷을 지정하면 상기 지정된 시작 샷, 끝 샷 및 상기 시작 샷과 끝 샷 사이의 손톱 영상에 포함된 키워드 및 자막으로부터 메타데이터와 타이틀을 추출하는 단계, 및 상기 추출된 메타데이터, 상기 시작 샷의 시간 정보, 상기 끝 샷의 시간 정보 및 상기 타이틀을 표시하는 단계를 포함하여 구성된다.
상기한 종래기술은, 기록된 영상물에서 음성을 인식하여 자막 텍스트로 변형 저장하고, 문자를 인식하여 자막 내용을 저장하여 그 내용과 노출 시간 정보를 메타데이터로 기록하고 영상물의 내용 검색 및 관리 편의를 증진하는 시스템에 관한 것으로, 음성인식 및 문자인식 기술을 사용하여 영상물의 정보를 모두 문자로 변형, 기록하여 관리의 편의성을 향상시킨 것이다.
그러나 상기한 종래기술은, 데이터의 수집, 변형, 저장을 위한 작업 시간이 많이 소요되어, 이미 촬영 및 편집이 완료된 영상물의 사후관리에 국한된다는 문제점이 있다.
또한 국내 등록특허 10-0886489호는 "영상통화시 얼굴의 표정에 따라 꾸미기 효과를 합성하는 방법 및 시스템"에 관한 것으로서, 모델의 얼굴 표정마다 템플릿과 꾸미기 효과 이미지가 대응되도록 저장되어 있는 표정 장식 템플릿 DB를 참조하여, 디지털 기기의 사용자의 표정에 따라 상기 사용자의 얼굴과 상기 꾸미기 효과 이미지를 자동으로 합성하여 제공하는 방법을 개시하며, 구체적으로는 (a) 상기 디지털 기기의 렌즈를 통해 촬영되는 사용자의 얼굴을 얼굴 검출 기술을 이용하여 검출하는 단계, (b) 템플릿 중 상기 검출된 얼굴의 표정과 동일 또는 유사한 얼굴 표정을 포함하는 특정 템플릿을 검색하는 단계, 및 (c) 상기 검출된 얼굴의 이미지에 상기 특정 템플릿에 대응되는 상기 꾸미기 효과 이미지를 합성하는 단계를 포함하고 있다.
그런데 상기한 종래기술은, 화면에 가깝게 표시되는 한 명의 안면인식과 얼굴의 주요지점에 표시되는 한 개의 이미지, 그리고 이를 사용한 영상통화로 그 범위가 국한된다는 문제가 있다.
또한 상기한 종래기술은 여러 명의 얼굴이 나오게 할 수 없고, 음성 및 상표를 인식하지 못하며, 다양한 꾸밈효과를 동시에 사용하거나 인터랙션하지 못한다는 단점이 있다.
KR 10-2007-0009891 A KR 특2001-0003897 A KR 10-0828166 B1 KR 10-0886489 B1
본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로서, 영상화면과 자막 표시 시점 간의 시간차를 단축시켜 자막이 실시간으로 화면에 표시되도록 하는 데 그 목적이 있다.
본 발명의 다른 목적은, 영상화면에 자막, CG 효과, 사운드 등을 동시에 실시간으로 표시할 수 있도록 하고, 이를 위해 별도의 CG 장비나 숙련된 입력자를 필요로 하지 않도록 하는 데 있다.
본 발명의 또 다른 목적은, 영상화면에 부가정보를 표시하는데 따르는 제작비용 및 인건비를 절감하는 데 있다.
본 발명의 또 다른 목적은, 피사체와 영상화면에 표시되는 부가정보 사이에 인터랙션이 가능하도록 하는 데 있다.
본 발명의 또 다른 목적은, 자막, 이미지, 음향 등의 다양한 부가정보를 동시에 출력하여 영상물의 품질을 향상시키는 데 있다.
상기한 목적을 달성하기 위하여 본 발명은, 생방송 및 영상서비스용 화면에 실시간으로 각종 부가정보를 표시하기 위한 실시간 부가정보 표시 시스템에 있어서, 카메라와 같은 입력장치를 통해 입력되는 정보를 분류하여 서버 시스템에 전달하고, 상기 서버 시스템으로부터 선택된 부가정보를 받아 이를 화면상에 표시하는 클라이언트 시스템과, 상기 클라이언트 시스템로부터 전달된 데이터의 적합성을 판단하고, 출력될 부가정보를 선택하여 이를 상기 클라이언트 시스템으로 전송하는 서버 시스템을 포함하는 것을 특징으로 한다.
또한 상기 클라이언트 시스템은, 피사체의 정보를 1차로 분류한 후 서버 시스템으로 전달하는 정보분류부와, 상기 서버 시스템으로부터 선택된 부가정보를 출력하는 부가정보 출력부와, 상기 부가정보 출력부로부터 출력되는 부가정보를 화면상에 표시하는 실시간 영상물 표시부를 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 정보 분류부는, 피사체를 촬영함과 동시에, 이를 사람, 사물, 이미지, 소리, 배경으로 각각 구분한 후, 피사체의 안면, 음성, 동작, 문자, 이미지, 상표를 카테고리별로 분류하여, 상기 서버 시스템의 데이터 적합성 판단부로 전송하는 것을 특징으로 한다.
또한 상기 클라이언트 시스템은, 피사체와 부가정보 간의 인터랙션이 가능하도록 구비되는 것을 특징으로 한다.
또한 상기 서버 시스템은, 클라이언트 시스템의 정보 분류부로부터 전달되는 정보의 데이터 적합성을 판단하는 데이터 적합성 판단부와, 자막, CG 효과, 사운드, 영상, 광고를 각각 구분하여 저장하는 부가정보 데이터베이스와, 상기 부가정보 데이터베이스로부터 출력 정보를 선택하는 출력정보 선택부와, 상기 출력정보 선택부에서 선택된 정보의 통계를 저장하는 통계 저장부를 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 데이터 적합성 판단부는, 정보 분류부로부터 전달된 정보가, 실시간 방송의 정해진 시간 내에 표시할 수 있는 유의미한 정보에 해당하는 경우에만, 부가정보 데이터베이스로부터 부가정보를 선택하도록 하는 것을 특징으로 한다.
또한 상기 부가정보 데이터베이스는, 출력물 데이터베이스와, 스토어 데이터베이스와, 사용자 데이터베이스를 포함하여 이루어지는 것을 특징으로 한다.
또한 상기 출력물 데이터베이스는, 각 부가정보에 고유의 ID가 부여되고, 영상 화면에 출력할 자막, 효과, 사운드, 영상, 광고가 각각 구분되어 있으며, 출력물의 지속시간, 위치, 크기, 출력타입 정보가 각각 저장되어 있는 것을 특징으로 한다.
또한 상기 스토어 데이터베이스는, 화면상에 표시될 부가정보를 구매할 수 있는 아이템 스토어의 정보, 상품정보, 세트 아이템 정보가 저장되어 있는 것을 특징으로 한다.
또한 상기 사용자 데이터베이스는, 부가정보의 구매이력, 사용가능 아이템, 사용기한이 각 사용자별로 기록되는 것을 특징으로 한다.
또한 상기 통계 저장부는, 화면상에 표시되는 부가정보의 노출빈도, 비중, 노출시간, 지속시간, 사용자 정보를 저장하는 것을 특징으로 한다.
본 발명에 의하면, 수작업에 의한 자막 입력과정 및 수정과정을 거치지 않도록 함으로써, 영상화면에 자막 등의 부가정보가 바로 표시되도록 할 수 있다.
이에 따라 생방송이나 실시간 영상 서비스 화면에 각종 부가정보를 실시간으로 표시할 수 있는 효과가 있다.
또한 방송장비와 연결된 컴퓨터에 탑재되는 클라이언트 시스템 및 이와 무선 또는 유선으로 연결된 서버 시스템에 의해 부가정보가 표시되는 방식이므로, 별도의 CG 장비나 숙련된 입력자가 필요 없게 되는 효과가 있다.
이에 따라 영상화면에 부가정보를 표시하는데 따르는 제작비 및 인건비를 절감할 수 있는 효과가 있다.
또한 문자 데이터를 기반으로 모든 정보를 처리하는 종래기술과 달리, 문자, 음성, 이미지 등의 정보를 촬영과 동시에 분석하고, 이를 카테고리에 맞게 실시간으로 분류함으로써, 처리속도를 대폭 향상시킬 수 있는 효과가 있다.
또한 피사체와 영상화면에 표시된 부가정보 간에 상호 인터랙션이 가능하므로, 이를 활용하여 다양한 컨텐츠를 제공할 수 있는 효과가 있다.
또한 화면에 표시되는 자막, CG 효과, 사운드 등 부가정보의 노출빈도, 특징 등을 별도의 데이터베이스에 저장함으로써, 이를 광고 모델의 자료로 활용할 수 있는 효과가 있다.
또한 별도의 CG 장비나 입력자를 필요로 하지 않으므로, 지상파 방송뿐만 아니라 IPTV, DMB 등의 실시간 방송에도 손쉽게 적용할 수 있는 효과가 있다.
특히 전문 방송인이 제작하지 않은 개인 인터넷 방송물의 경우에 유용하게 적용할 수 있다.
또한 자막, 이미지, 음향 등의 다양한 부가정보를 동시에 출력할 수 있도록 함으로써 영상물의 품질을 향상시킬 수 있는 효과가 있다.
도 1 및 도 2는 종래기술에 따른 자막 입력방식의 일례를 나타낸 도면.
도 3은 종래기술에 따른 자막 입력방식의 다른 예를 나타낸 도면.
도 4은 본 발명에 따른 실시간 부가정보 표시 시스템의 개략적인 구성도.
도 5는 본 발명의 요부인 클라이언트 시스템과 서버의 구성도.
도 6은 본 발명에 따른 부가정보 시스템에서 데이터 적합성을 판단하는 방법을 나타낸 구성도.
도 7은 본 발명에 따른 부가정보 데이터베이스의 구성도.
도 8은 본 발명에 따른 부가정보 시스템에서 피사체와 부가정보 간의 인터랙션을 설명하기 위한 도면.
도 9는 본 발명에 따른 부가정보 시스템에서 피사체와 부가정보 간의 인터랙션을 예시한 도면.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
본 발명에 따른 생방송 및 영상서비스용 실시간 부가정보 시스템은, 도 4 내지 도 9에 도시된 바와 같이, 카메라와 같은 입력장치를 통해 입력되는 정보를 분류하여 서버 시스템에 전달하고, 상기 서버 시스템에서 선택된 부가정보를 받아 이를 화면상에 표시하는 클라이언트 시스템(50)과, 상기 클라이언트 시스템(50)로부터 전달된 데이터의 적합성을 판단하고, 출력될 부가정보를 선택하여 이를 상기 클라이언트 시스템(50)으로 전송하는 서버 시스템(60)을 포함하여 구성된다.
여기서 상기 클라이언트 시스템(50)은, 피사체의 정보를 1차로 분류한 후 서버 시스템(60)으로 전달하는 정보 분류부(53)와, 상기 서버 시스템(60)으로부터 선택된 부가정보를 출력하는 부가정보 출력부(54)와, 상기 부가정보 출력부(54)로부터 출력되는 부가정보를 화면상에 표시하는 실시간 영상물 표시부(52)를 포함하여 이루어진다.
상기 클라이언트 시스템(50)은 컴퓨터에 탑재되어 방송장비와 연결되고, 상기 클라이언트 시스템(50)은 서버 시스템(60)과 무선 또는 유선으로 연결된다.
즉, 상기 클라이언트 시스템(50)이 탑재된 컴퓨터(도시 생략)와 서버 시스템(60)은 방송국에 같이 구비될 수 있다.
또한 상기 서버 시스템(60)은 원격지에 구비되어 상기 컴퓨터와 무선으로 연결될 수도 있다.
상기 정보 분류부(53)는, 피사체를 촬영하는 동시에, 이를 사람, 사물, 이미지, 소리, 배경으로 각각 구분한 후, 피사체의 안면, 음성, 동작, 문자, 이미지, 상표를 카테고리 별로 분류하여, 상기 서버 시스템(60)의 데이터 적합성 판단부(61)로 전송한다.
즉 본 발명은, 도 5에 도시된 바와 같이, 피사체의 모든 정보를 그대로 서버 시스템으로 전송하는 것이 아니라, 상기 정보 분류부(53)에서 정보를 카테고리별로 1차로 분류한 후에, 이를 즉시 서버 시스템(60)으로 전송한다.
또한 본 발명은 종래와 같이 입력자가 수작업으로 자막, CG 등의 부가정보를 입력하는 것이 아니라, 방송장비와 연결된 컴퓨터에서 자동으로 정보를 분류한 후에, 이를 서버 시스템(60)으로 전송한다.
또한 서버 시스템(60)에서는 실시간으로 화면에 표시할 수 있는 데이터만을 추출하고, 이에 적합한 부가정보를 클라이언트 시스템(56)으로 전달한다.
즉 생방송 화면에 표시하기 부적합한 데이터는 과감히 생략하고, 생방송 화면에 적합한 부가정보만을 선택하여 화면에 표시한다.
이에 따라 생방송 및 영상서비스 화면에, 함축된 자막, CG 등의 부가정보를 실시간으로 표시할 수가 있게 된다.
한편 상기 정보 분류부(53)에서 분류하는 정보는, 안면, 음성(소리), 동작, 문자(이미지), 상표 등으로 구분된다.
피사체의 정보가 안면인 경우에는, 얼굴의 위치를 파악하고 이목구비를 구분하기 위해 안면 주요 지점의 위치정보 및 변화경로를 트랙킹한다.
피사체의 정보가 소리인 경우에는, 영상물의 소리 신호를 수집하여 음악, 특정 언어, 단어, 문장 여부를 판단한다.
피사체의 정보가 동작인 경우에는, 피사체의 움직임을 인식하여 데이터베이스에 포함되어 있는 특정 형태 또는 제스처에 해당하는지의 여부를 판단한다.
피사체의 정보가 문자나 이미지의 경우에는, 영상물을 분석하여 문자 또는 QR 코드, 이미지 여부를 판단한다.
피사체의 정보가 상표인 경우에는, 영상물을 분석하여 특정 상표인지의 여부를 판단한다.
또한 상기 서버 시스템(60)은, 도 4에 도시된 바와 같이, 클라이언트 시스템(50)의 정보 분류부(53)로부터 전달되는 정보의 데이터 적합성을 판단하는 데이터 적합성 판단부(61)와, 자막, CG 효과, 사운드, 영상, 광고를 저장하는 부가정보 데이터베이스(62)와, 상기 부가정보 데이터베이스(62)로부터 출력 정보를 선택하는 출력정보 선택부(63)와, 상기 출력정보 선택부(63)에서 선택된 정보의 통계를 저장하는 통계 저장부(64)를 포함하여 이루어진다.
상기 데이터 적합성 판단부(61)는, 도 6에 도시된 바와 같이, 정보 분류부(53)로부터 전달된 정보가, 실시간 방송의 정해진 시간 내에 표시할 수 있는 유의미한 정보에 해당하는 경우에만, 이에 적절한 부가정보를 선택하도록 한다.
만일 상기 정보 분류부(53)로부터 전달된 정보가 실시간 방송에 적합하지 않은 것으로 판단되면, 출력될 부가정보를 검색하는 과정을 스킵(Skip)한다.
즉 상기 데이터 적합성 판단부(61)는, 클라이언트 시스템(50)으로부터 전송된 데이터를 사용할 것인지, 아니면 이를 무시할 것인지의 여부를 결정한다.
이를 도 6을 참조하여 구체적으로 설명하면, 상기 적합성 판단부(61)는, 영상물에서 분류된 정보와 영상물에 현재 표시되고 있는 부가정보의 리스트, 잔여 노출시간, 화면에서의 비중, 처리 버퍼 등을 전달받아, 화면에 표시 가능한 부가정보의 타입을 결정한다.
즉 상기 적합성 판단부(61)는, 현재 영상물에 실시간으로 표현이 적합한 부가정보의 타입(이미지, 소리, 화면 비중, 파일 사이즈, 처리속도 등)을 부가정보 데이터베이스(62)에서 선별하여, 데이터의 적합성을 판단한다.
또 상기 적합성 판단부(61)는 시청자의 인지범위를 판단할 때, 데이터를 인지 가능한 시간 내에 처리할 수 있는지, 인지 가능한 기준 데이터 내에서 표시할 수 있는지, 인지 가능한 속도 내에 표시할 수 있는지, 시청자가 인지 가능한 크기인지 등을 고려하여 판단한다.
만일 실시간 표시에 적합하지 않은 것으로 판단되면 출력정보를 선택하지 않고, 적합한 것으로 판단될 경우에만 선별된 부가정보의 데이터 및 출력정보(출력시간, 화면비중, 크기 등)를 클라이언트 시스템(50)의 부가정보 출력부(54)로 전달한다.
그러면 실시간 영상물 표시부(52)에서는 전달된 부가정보를 화면상에 표시한다.
한편 서버 시스템(60)을 구성하는 부가정보 데이터베이스(62)는, 도 7에 도시된 바와 같이, 출력물 데이터베이스(62a)와, 스토어 데이터베이스(62b)와, 사용자 데이터베이스(62c)를 포함하여 이루어진다.
상기 출력물 데이터베이스(62a)는, 각 부가정보에 고유의 ID가 부여되고, 영상 화면에 출력할 자막, 효과, 사운드, 영상, 광고가 각각 구분되어 있으며, 출력물의 지속시간, 위치, 크기, 출력타입 정보가 각각 저장되어 있다,
상기 스토어 데이터베이스(62b)는, 화면상에 표시될 부가정보를 구매할 수 있는 아이템 스토어의 정보, 상품정보, 세트 아이템 정보가 저장되어 있다.
상기 사용자 데이터베이스(62c)는, 부가정보의 구매이력, 사용가능 아이템, 사용기한이 각 사용자별로 기록되어 있다.
부가정보 데이터베이스(62)를 상기와 같이 구성함으로써, 데이터 적합성 판단부(61)의 판단속도를 크게 향상시킬 수가 있다.
또한 본 발명에 따른 서버 시스템(60)은, 도 4에 도시된 바와 같이, 화면상에 표시되는 부가정보의 노출빈도, 비중, 노출시간, 지속시간, 사용자 정보를 저장하는 통계 저장부(64)를 구비한다.
상기 통계 저장부(64)는, 사용자의 부가정보 사용 이력을 기록하여, 이를 부가정보별 사용빈도를 기반으로 한 선호도 측정, 유료기능 사용빈도 집계, 광고 등의 이벤트를 위한 사용빈도 집계에 사용되도록 한다.
상기 통계 저장부(64)에 의해, 실시간으로 반영된 자막, 효과 등 부가정보의 사용 이력을 수집 및 데이터화하고, 사용자의 선호도를 반영한 맞춤 서비스를 제공할 수가 있다.
또한 특정 상표의 노출 건수, 화면에서의 비중 등 가중치를 계산하여, 사용자별, 효과별 데이터를 수집할 수 있고, 이렇게 정량화된 데이터는 화면상에서 이루어지는 간접광고의 근거자료로 활용할 수가 있다.
또한 본 발명의 클라이언트 시스템(50)은, 도 8 및 도 9에 도시된 바와 같이, 피사체와 부가정보 간의 인터랙션(Interaction)이 가능하도록 구비된다.
즉 도 8에 도시된 바와 같이, 피사체 A에 표시되는 부가효과 a와 피사체 B에 표시되는 부가효과 b 및 부가효과 c간에 상호 인터랙션이 이루어진다.
이에 따라 도 9에 도시된 바와 같이, 피사체인 사람이 부가정보로 화면상에 표시된 동물을 만지면 동물이 반응하도록 할수 있다.
텔레비젼 화면상에 자막이나 각종 이미지를 표시하는 것 자체는 공지되어 있는 기술이다.
그런데 종래의 자막 표시방식은, 자막 입력자가 속기 키보드를 사용하여 수작업으로 입력을 하고, 이를 수정 또는 체크한 후 화면상에 표시하도록 하고 있다.
이에 따라, 별도의 CG 장비 및 속기 키보드를 구비하여야 하며 숙련된 입력자가 있어야 한다는 문제가 있다.
특히 생방송이나 실시간으로 영상물을 제공하는 경우에는, 화면의 내용에 맞게 실시간으로 자막 등의 부가정보를 표시하기 어렵다는 문제점이 있다.
그러나 본 발명에 의하면, 입력자가 수작업으로 자막이나 이미지를 입력하는 것이 아니라, 방송장비와 연결된 컴퓨터에 탑재된 클라이언트 시스템(50)에서 피사체의 촬영과 동시에 1차로 정보를 분류한 후, 이를 서버 시스템(60)으로 즉시 전송한다.
또한 서버 시스템(60)에서는, 클라이언트 시스템(50)으로부터 전달된 데이터가 화면에 표시하기에 적합한지를 먼저 판단하고, 적합하다고 판단되는 경우에만 이에 적절한 부가정보를 선택하여 클라이언트 시스템(50)으로 전달한다.
이에 따라 시간 내에 표시할 수 있는 부가정보를 신속히 선택하여 생방송 화면에 실시간으로 표시할 수가 있다.
또한 본 발명은 지상파 텔레비젼 방송 뿐만 아니라, IPTV(Internet Protocol Television), DMB(Digital Multimedia Broadcasting), 개인 인터넷 방송 등에도 적용될 수 있다. 특히 비 방송전문가에 의해 제작되는 영상물을 송출하는 개인 인터넷 방송에 아주 유용하게 적용될 수 있다.
즉 지상파 방송인 경우에는, 클라이언트 시스템 소프트웨어가 탑재된 컴퓨터를 방송장비와 연결하여 사용할 수 있다.
또한 인터넷 개인방송인 경우에는, 컴퓨터에 클라이언트 시스템 소프트웨어를 탑재하여 사용할 수 있다.
또한 단말기를 이용하여 영상서비스를 제공하는 경우에는 클라이언트 시스템 어플리케이션을 다운받아 사용하도록 할 수 있다.
또한 본 발명은, 서버 시스템(60)의 통계 저장부(64)에, 화면상에 표시되는 부가정보의 노출빈도, 비중, 노출시간, 지속시간, 사용자 정보 등을 분류하여 저장한다.
이에 따라 상기 정보를 간접광고의 근거자료로 활용할 수 있고, 부가정보의 사용자에게 맞춤 서비스를 제공할 수가 있다.
또한 피사체와 화면상에 표시되는 부가정보간에 인터랙션이 가능하도록 하여, 시청자의 흥미를 유발할 수가 있다.
또한 자막, 이미지, 음향 등의 다양한 부가정보를 동시에 출력할 수 있으므로 영상물의 품질을 향상시킬 수가 있다.
이상으로 본 발명의 기술적 사상을 예시적으로 설명하고 도시하였지만, 본 발명은 이와 같이 설명된 그대로의 구성 및 작용에만 국한되지 아니한다. 당해 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능하다는 것을 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
50: 클라이언트 시스템(Client System)
51: 입력장치
52: 실시간 영상물 표시부
53: 정보 분류부
54: 부가정보 출력부
60: 서버 시스템(Server System)
61: 데이터 적합성 판단부
62: 부가정보 데이터베이스
62a: 출력물 데이터베이스
62b: 스토어 데이터베이스
62c: 사용자 데이터베이스
63: 출력정보 선택부
64: 통계 저장부

Claims (11)

  1. 생방송 및 영상서비스용 화면에 실시간으로 각종 부가정보를 표시하기 위한 실시간 부가정보 표시 시스템에 있어서,
    카메라와 같은 입력장치를 통해 입력되는 정보를 분류하여 서버 시스템에 전달하고, 상기 서버 시스템에서 선택된 부가정보를 받아 이를 화면상에 표시하는 클라이언트 시스템(50)과,
    상기 클라이언트 시스템(50)로부터 전달된 데이터가 화면상에 표시하기에 적합지의 여부를 판단하여, 적합하다고 판단될 경우에만 부가정보를 선택하여 이를 상기 클라이언트 시스템(50)으로 전송하는 서버 시스템(60)을 포함하고,
    상기 서버 시스템(60)은,
    클라이언트 시스템(50)의 정보 분류부(53)로부터 전달되는 정보의 데이터 적합성을 판단하는 데이터 적합성 판단부(61)와,
    자막, CG 효과, 사운드, 영상, 광고를 각각 구분하여 저장하는 부가정보 데이터베이스(62)와,
    상기 부가정보 데이터베이스(62)로부터 출력 정보를 선택하는 출력정보 선택부(63)와,
    상기 출력정보 선택부(63)에서 선택된 부가정보의 통계를 저장하는 통계 저장부(64)를 포함하며,
    상기 데이터 적합성 판단부(61)는,
    정보 분류부(53)로부터 전달된 정보가, 실시간 방송의 정해진 시간 내에 표시할 수 있는 유의미한 정보에 해당하는 경우에만, 부가정보 데이터베이스(62)로부터 부가정보를 선택하도록 하는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  2. 제 1 항에 있어서,
    상기 클라이언트 시스템(50)은,
    피사체를 촬영함과 동시에 그 정보를 1차로 분류하여 서버 시스템(60)으로 전달하는 정보분류부(53)와,
    상기 서버 시스템(60)으로부터 선택된 부가정보를 출력하는 부가정보 출력부(54)와,
    상기 부가정보 출력부(54)로부터 출력되는 부가정보를 화면상에 표시하는 실시간 영상물 표시부(52)를 포함하여 이루어지는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  3. 제 2 항에 있어서,
    상기 정보 분류부(53)는,
    피사체를 촬영하는 동시에, 이를 사람, 사물, 이미지, 소리, 배경으로 각각 구분한 후, 피사체의 안면, 음성, 동작, 문자, 이미지, 상표를 카테고리별로 분류하여, 상기 서버 시스템(60)의 데이터 적합성 판단부(61)로 전송하는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  4. 제 2 항에 있어서,
    상기 클라이언트 시스템(50)은,
    피사체와 부가정보 간의 인터랙션(Interaction)이 가능하도록 구비되는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 부가정보 데이터베이스(62)는,
    출력물 데이터베이스(62a)와, 스토어 데이터베이스(62b)와, 사용자 데이터베이스(62c)를 포함하여 이루어지는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  8. 제 7 항에 있어서,
    상기 출력물 데이터베이스(62a)는,
    각 부가정보에 고유의 ID가 부여되고, 영상 화면에 출력할 자막, 효과, 사운드, 영상, 광고가 각각 구분되어 있으며, 출력물의 지속시간, 위치, 크기, 출력타입 정보가 각각 저장되어 있는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  9. 제 7 항에 있어서,
    상기 스토어 데이터베이스(62b)는,
    화면상에 표시될 부가정보를 구매할 수 있는 아이템 스토어의 정보, 상품정보, 세트 아이템 정보가 저장되어 있는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  10. 제 7 항에 있어서,
    상기 사용자 데이터베이스(62c)는,
    부가정보의 구매이력, 사용가능 아이템, 사용기한이 각 사용자별로 기록되는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
  11. 제 1 항에 있어서,
    상기 통계 저장부(64)는,
    화면상에 표시되는 부가정보의 노출빈도, 비중, 노출시간, 지속시간, 사용자 정보를 저장하는 것을 특징으로 하는 생방송 및 영상서비스용 실시간 부가정보 표시 시스템.
KR1020170101117A 2017-08-09 2017-08-09 생방송 및 영상서비스용 실시간 부가정보 표시 시스템 KR101867950B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170101117A KR101867950B1 (ko) 2017-08-09 2017-08-09 생방송 및 영상서비스용 실시간 부가정보 표시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170101117A KR101867950B1 (ko) 2017-08-09 2017-08-09 생방송 및 영상서비스용 실시간 부가정보 표시 시스템

Publications (1)

Publication Number Publication Date
KR101867950B1 true KR101867950B1 (ko) 2018-06-20

Family

ID=62769888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170101117A KR101867950B1 (ko) 2017-08-09 2017-08-09 생방송 및 영상서비스용 실시간 부가정보 표시 시스템

Country Status (1)

Country Link
KR (1) KR101867950B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200126285A (ko) * 2019-04-29 2020-11-06 주식회사 에이티에이엠 간접광고 효과 분석 시스템
KR102233713B1 (ko) * 2021-01-21 2021-03-29 이영규 온라인 예배 시스템
CN113766260A (zh) * 2021-08-24 2021-12-07 武汉瓯越网视有限公司 人脸自动曝光优化方法、存储介质、电子设备及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261947A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 擬音語による環境音付き映像編集方法および装置並びに該方法を記録した記録媒体
KR20010003897A (ko) 1999-06-25 2001-01-15 정상덕 자막 방송용 속기 문자 입력 장치 및 그 입력 방법
KR20070009891A (ko) 2005-07-14 2007-01-19 안문학 실시간 방송 자막 입력 및 송출 시스템
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
KR100886489B1 (ko) 2007-11-19 2009-03-05 (주)올라웍스 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템
JP2010021638A (ja) * 2008-07-08 2010-01-28 Denso It Laboratory Inc タグ情報付加装置、タグ情報付加方法及びコンピュータプログラム
KR101377849B1 (ko) * 2013-10-11 2014-03-25 주식회사 케이티스카이라이프 실시간 방송채널별 부가정보제공시스템 및 제어방법
KR101430042B1 (ko) * 2013-02-14 2014-08-14 주식회사 나우시스템 제스처를 이용한 방송장비 제어 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261947A (ja) * 1998-03-11 1999-09-24 Nippon Telegr & Teleph Corp <Ntt> 擬音語による環境音付き映像編集方法および装置並びに該方法を記録した記録媒体
KR20010003897A (ko) 1999-06-25 2001-01-15 정상덕 자막 방송용 속기 문자 입력 장치 및 그 입력 방법
KR20070009891A (ko) 2005-07-14 2007-01-19 안문학 실시간 방송 자막 입력 및 송출 시스템
KR100828166B1 (ko) 2007-06-12 2008-05-08 고려대학교 산학협력단 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체
KR100886489B1 (ko) 2007-11-19 2009-03-05 (주)올라웍스 영상 통화 시 얼굴의 표정에 따라 꾸미기 효과를 합성하는방법 및 시스템
JP2010021638A (ja) * 2008-07-08 2010-01-28 Denso It Laboratory Inc タグ情報付加装置、タグ情報付加方法及びコンピュータプログラム
KR101430042B1 (ko) * 2013-02-14 2014-08-14 주식회사 나우시스템 제스처를 이용한 방송장비 제어 시스템 및 방법
KR101377849B1 (ko) * 2013-10-11 2014-03-25 주식회사 케이티스카이라이프 실시간 방송채널별 부가정보제공시스템 및 제어방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200126285A (ko) * 2019-04-29 2020-11-06 주식회사 에이티에이엠 간접광고 효과 분석 시스템
KR102313093B1 (ko) * 2019-04-29 2021-10-15 주식회사 에이티에이엠 간접광고 효과 분석 시스템
KR102233713B1 (ko) * 2021-01-21 2021-03-29 이영규 온라인 예배 시스템
CN113766260A (zh) * 2021-08-24 2021-12-07 武汉瓯越网视有限公司 人脸自动曝光优化方法、存储介质、电子设备及系统

Similar Documents

Publication Publication Date Title
CA2924065C (en) Content based video content segmentation
CN103024464B (zh) 提供与视频播放内容相关信息的系统和方法
US9560411B2 (en) Method and apparatus for generating meta data of content
KR102166423B1 (ko) 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
US9860593B2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
CA2740594C (en) Content interaction methods and systems employing portable devices
US8704854B2 (en) Multifunction multimedia device
JP3678422B2 (ja) 配信システム、配信装置及び広告効果集計方法
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
TWI527442B (zh) 資訊萃取方法及設備以及其電腦可讀取的媒體
CN102741842A (zh) 多功能多媒体设备
US7735105B2 (en) Broadcast receiving method
KR101867950B1 (ko) 생방송 및 영상서비스용 실시간 부가정보 표시 시스템
KR102294714B1 (ko) 딥러닝을 이용한 맞춤형 광고 제작 장치
KR101927965B1 (ko) 광고 동영상 제작 시스템 및 방법
KR101947079B1 (ko) 방송 콘텐츠에 대한 시청자의 심리적 반응 추정 시스템 및 방법
JP2011239247A (ja) デジタル放送受信装置および関連情報提示プログラム
KR101914661B1 (ko) 영상물의 피사체 자동 인식기능을 통한 실시간 방송 서비스용 부가정보 표시 시스템
JP5198643B1 (ja) 映像解析情報アップロード装置及び映像視聴システム及び方法
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
JP2014060642A (ja) 表示装置及び表示システム
KR20160067685A (ko) 비디오 장면 모아보기 제공 방법, 서버 및 시스템
US20230319376A1 (en) Display device and operating method thereof
JP5213747B2 (ja) 映像コンテンツ保管視聴システムおよび方法

Legal Events

Date Code Title Description
GRNT Written decision to grant