KR102383811B1 - 영상 스트리밍 서비스에서 사용자와 방송진행자와의 소통을 통한 광고를 게시하는 방법과 이에 웹과 모바일 ui에 응답하는 기술에 관한 방법 - Google Patents

Abstract

영상 스트리밍 서비스에서 사용자와 방송진행자와의 소통을 통한 광고를 게시하는 방법과 이에 웹과 모바일 UI에 응답하는 기술에 관한 것으로, 방송 진행자가 사전에 등록된 특정행동, 제스처에 대한 패턴과 이에 매칭이되는 특정정보(광고, 쇼핑,뉴스, 확대/축속 기능)이 데이터화되어 있어, 방송 중 해당 특정행동, 제스처에 따라 영상장치와 연겨된 단말장치에서 방송진행자의 행동 및 제스처를 분석하여 해당 데이터에 인지에 따른 블록이 생성되고 생성된 블록에 특정 정보를 기록하여 블록화된 데이터를 사용자 플랫폼에 전송을한다. 사용자 플랫폼은 전송받은 데이터 내의 특정정보를 열람하고 특정 정보에 기록된 정보와 방송진행자의 요청에 의하여 사용자 플랫폼이 방송 진행자의 의도에 따라 UI를 구성하는 방법에 대하여 제안한것이다. .

Description

영상 스트리밍 서비스에서 사용자와 방송진행자와의 소통을 통한 광고를 게시하는 방법과 이에 웹과 모바일 UI에 응답하는 기술에 관한 방법 {Method for posting advertisement through communication between user and broadcaster in video streaming service and method for responding to web and mobile UI}

본 발명은 영상 스트리밍 서비스를 제공하는 플랫폼에서 방송진행자가 웹/모바일 UI 환경에 관여하여 그에 따른 반응형 UI 구성 및 광고를 게시하는 기술에 관한 것이다.

사용자와 방송진행자와의 소통하는 방법에 있어, 일반적으로 제공이 되고 있는 영상 스트리밍 서비스는 녹화 방송, 생방송 2가지 형태로 시청자들에게 제공이 되어 단방향 소통을 지양하고 있다. 물론, 일부 스트리밍 서비스는 채팅 창을 통하여 양방향 소통을 하고 있지만, 이는 사용자(시청자)의 요구, 요청에 대하여 방송진행자가 반응을 하는 형태로 진행이 되고 있어 방송진행자가 주도적으로 소통을 이끄는 시스템을 요구하고 있다.

이와 같은 시스템을 요구하는 이유는, 영상 스트리밍 서비스와 같은 다양한 매체를 통한 방송 서비스 들은 해당 서비스를 통해 광고를 제공하는 기술들이 제공되고 있다. 이러한 광고 기술들은 사용자의 환경 데이터를 수집하여 스트리밍 송출의 일정 프레임에 사용자의 관심사에 기반한 광고 또는 플랫폼 사의 주체에 의한 광고들이 게시되는 것이 대부분이다. 이러한 광고는 사용자의 의도 또는 방송진행자의 의도에 기안하지 않기 때문에 중간에 끊기는 효과로 인하여 시청효과가 급감하는 이슈를 야기시킨다. 이러한 점을 개선하는 광고 게시 기술이 필요로 하여 본 발명을 제안하게 되었다.

1. 대한민국 특허공개 제10-2013-0069322호 2. 대한민국 공개특허 제10-1693381호

본 발명의 일 실시예에 따른 영상 스트리밍 플랫폼에서 방송진행자의 특정 행동에 따라 사용자와 소통하는 방법에 있어,

영상과 일반 웹페이지가 결합되어 사용자(시청자)에게 제공이 되는 view 영역에서 방송진행자의 특정 행동 또는 제스처 등의 이벤트를 발생시키면, 영상 스트리밍 데이터가 인지 모듈이 장착된 단말 장치를 통해 플랫폼에 전달이 될 때 단말장치 내의 인지 모듈은 해당 프레임 데이터에서 사용자의 특정 행동 또는 제스처를 분석 모듈에서 분석하고 이를 사전에 등록한 패턴데이터의 매칭 알고리즘에 의하여 매칭이 되는 특정 정보(광고, 쇼핑, 뉴스, 확대/축소 기능 등)을 송출부에서 해당 특정정보 블록과 결합된 영상 스트리밍 데이터를 사용자 플랫폼에 전송하여 영상이 노출이 되는 웹 또는 모바일 UI환경에서 영상이 상영되고 있는 영역의 하단 또는 좌우의 여백의 공간에 방송진행자가 원하는 특정 정보(광고, 쇼핑, 뉴스, 확대/축소 기능 등)를 게시하는 방법에 관한 것;

영상 안의 방송진행자의 특정 행동 또는 제스처를 통해 보여주고자 하는 영상에 대하여 확대, 축소 등의 기능 구현으로 사용자에게 정보를 주는 방법에 관한 것;

생방송 중 방송진행자의 특정 행동 또는 제스처에 따라 카메라의 시점을 변화하게 하여 다양한 영상 뷰를 사용자에게 제공하는 방법에 관한 것;

본 발명의 다른 실시예에 따른 인터넷에서 영상을 통하여 사용자와 방송진행자와 소통을 통하여 광고를 게시하는 방법으로,

방송진행자가 화면 상에서 특정 행동 또는 제스처를 하게 되면 이를 영상 장치와 연동이 되는 단말 장치를 통해서 해당 행동 또는 제스처를 인식하고 해당 인식된 행동 또는 제스처가 해당 시점에서의 이벤트를 발생하여 해당 제스처와 연동이 되어 있는 광고를 영상 스트리밍 플랫폼에 전송을 하는 것;

또 다른 방법으로는 영상과 결합되어 제공되어 지는 웹/모바일 페이지 View 상에서 페이지내의 영상을 제외한 공간에 사전에 약속된 위치에 해당 제스처와 일치가 되는 광고를 도출하는 것;

본 발명의 또 다른 실시예에 따른 특정 행위(제스처)를 인식하는 방법으로

영상 촬영에 있어 방송진행자의 특정 신체 부위(머리, 손, 팔, 얼굴 표정 등)에 가상의 제어 포인트들을 생성하고 해당 제어 포인트가 움직이는 방향과 제어포인트와 제어포인트를 이어서 생기는 선의 모양을 하나의 패턴으로 규정한 후 해당 패턴과 사전에 저장된 패턴의 모양과 유사한 패턴을 보이는 경우 사전에 저장된 패턴과 매칭이 되어 있는 특정 정보를 불러오는 것;

본 발명의 또 다른 실시예에 따른 송출부에서 사용자 플랫폼에 광고 또는 특정 정보를 송출하여 정보를 게시하는 방법으로,

사용자 플랫폼은 송출부에서 송출한 프레임과 특정정보를 전송받아 해당 정보가 요구하는 사항을 웹/모바일 환경에 따라 해당 UI에 특정 정보를 게시하는 방법에 관한 것

본 개시의 다양한 실시예들에 따르면, 영상 스트리밍과 같이 상호작용이 가능한 콘텐츠를 시청하는 사용자의 광고에 대한 인식율이 높아지고 광고 효율성을 증대하는 효과를 가져올 것으로 기대한다.

도 1은 영상 촬영 내의 데이터 흐름을 도식화한 도면이다..
도 2는 특정 행동 또는 제스처 패턴의 흐름 및 연동되는 특정 정보의 흐름을 도식화한 도면이다.
도 3은 시스템 구성에 대한 흐름을 도식화한 도면이다.

도 1에 도시된 바와 같이 영상장치(100)로서 방송 진행자를 촬영하는 장치로서, 카메라를 포함한 영상 장비 일체를 말한다. 영상장치를 통해 촬영된 데이터는 영상장치와 연결되어 있는 단말장치로 영상데이터가 전송이 되고, 단말내의 인지모듈을 통해 데이터가 송출부(109)에서 사용자가 사용하는 영상 스트리밍 플랫폼 서비스(110)에 송출하여 사용자에게 전달이 되는 시스템이다.

영상장치로부터 전송받은 데이터는 단말 내의 인지모듈에서 처리를 진행하게 된다. 인지 모듈은 인지부(101), 분석모듈(102), 패턴데이터부(104), 블록생성부(105), 매칭데이터부(107)로 구성이 되는 모듈이다.

영상 장치로부터 전송받은 영상 프레임(103)은 인지모듈 내의 인지부로 전송하면, 인지부에서는 각각의 영상 프레임을 분석 모듈(102)에 해당 프레임 영역 내의 데이터를 분석하는 데, 이 때, 분석 모듈은 방송 진행자의 특정 행동, 제스처를 분석하여 이 분석한 데이터와 기 등록된 패턴 데이터(104)의 유사성을 검출한다. 이때 분석 모듈(102)에서 패턴 데이터(104)와의 유사성이 일치한다고 판단이 되면 분석 모듈은 블록을 생성(105)하고 해당 블록에 영상 프레임의 헤더정보, 패턴데이터와 매칭이 되는 특정정보를 기록한 매칭데이터(107)로부터 정보를 받아 블록에 넣어서 해당 블록과 프레임을 결합(106)하여 송출부(109)로 전송이 되는 것을 특징으로 한다.

송출부에서는 영상프레임과 블록데이터와 결합된(106) 데이터를 사용자의 영상 스트리밍 플랫폼(110)으로 전송하게 되면 영상 스트리밍 플랫폼에서는 블록에 저장된(105)에 데이터를 읽어서 해당 데이터의 요청에 따라 사용자의 UI에 광고를 게시하거나, 또는 화면을 확대, 축소, 상품의 정보 게시(111) 등을 수행한다.

이 때, 사용자플랫폼(110)에서 특정 정보를 게시하는 방법으로 사용자 단말의 이용환경(웹/모바일)에 따라 UI를 자동으로 구성변경이 되는 데 특정 정보의 요구에 있어, 영상이 보여지는 공간을 중심으로 좌우, 또는 상하단에 해당 정보에 맞게 구성하여 사용자의 UI(111)를 제공하는 것을 특징으로 한다. 사용자의 UI 구성에 있어 방송 진행자의 요청에 의하여 UI를 구성하는 것 또한 특징으로 한다.

분석 모듈(102)에서 방송진행자의 특정 행동 또는 제스처를 인식하여 매칭데이터(107)를 블록(105)에 기록하는 사항에 대여 도2에 도시하였다.

도 2에서 도시하는 바는 방송진행 자의 특정행동을 각각의 제어 포인트로 도시화(200, 201, 202) 해당 도시화 된 패턴의 유사성을 선형비교알고리즘을 통해 판단을 진행하고, 해당 도시화된 패턴(200,201,202)는 도 1의 패턴데이터부(104)에 저장이 되어 해당 해당 데이터와 매칭데이터부(107)에 저장되는 특정 정보( 광고, 상품정보, 뉴스, 확대/축소의 기능 등)(203)이 각각의 데이터와 패턴데이터와 매칭이 되어 분석 모듈에서는 각각의 프레임의 변화에 따라 패턴의 유사성이 발견이 되면, 해당 패턴(200,201,202)과 매칭이 되는 데이터(203)를 블록에 전송하여 저장하는 것을 특징으로 한다.

인지 모듈은 사전에 방송진행자가 약속이 되는 패턴을 등록하게 한다. 또한, 인지 모듈은 해당 패턴을 학습하는 형태로 저장이 되면 이 학습 데이터는 유사한 패턴을 시행 시 같은 패턴 형태로 그룹화 하여 학습이 되어 해당 패턴과 유사한 동작도 같은 패턴으로 인식이 되는 것을 특징으로 한다.

트리구조 형태로 이루어지는 제어 패턴의 형태는 패턴 인식 모듈에서 AI 학습이 가능한 기초모델의 형태로 되기 때문에 해당 라인과 제어포인트는 유사 패턴 모양을 추정할 수 있기 때문에 해당 형태의 패턴을 유지하는 것을 특징으로 한다.

인지 모듈은 특정정보 DB와 연계하여 해당 패턴과 연동이 되는 정보를 매칭하여 블록이 생성이 될 때 특정정보를 블록에 전송하는 것과 제스처의 움직임을 파악하는 방법에 있어 기본이 되는 제어점을 설정하고 설정된 제어점을 토대로 하여 트래킹 및 인식을 하는 것을 특징으로 한다.

도 3에서 도시하는 바와 같이 앞서 구성된 시스템에 대한 흐름도를 명시하였다.

100: 영상장치

Claims (15)

1. 영상 방송 서비스를 제공하는 플랫폼에서 사용자와 방송 진행자 사이의 커뮤니케이션을 제공하는 방법에 있어서,
   영상촬영 장치에 의해, 상기 방송 진행자를 촬영하여 영상 데이터를 생성하는 단계;
   인지부의 분석 모듈에 의해, 상기 영상 데이터의 각 프레임 별로 패턴을 분석하고 상기 프레임 중에 패턴 DB에 사전 등록된 특정 패턴을 인지하는 단계;
   상기 인지부에 의해, 상기 프레임에서 블록을 생성하여 상기 생성된 블록에 상기 프레임 정보를 헤더로 지정하고, 상기 블록의 내용에 사전 등록된 패턴의 정보와 매칭되는 특정 정보를 매칭 DB로부터 추출하여 상기 블록에 저장하고, 상기 프레임에 블록화 하는 단계;
   송출부에 의해, 상기 특정 정보가 삽입된 상기 영상 데이터를 네트워크를 통해 사용자의 단말기로 전송하는 단계;
   상기 특정 정보의 요청에 따라 상기 사용자의 단말기의 UI의 구성이 변경이 되는 단계;
   광고, 뉴스와 같은 특정 정보의 역할에 따라 방송 진행자에 의해 상기 UI가 재배치되는 단계;
   웹/모바일의 UI가 방송진행자의 요청에 따라 좌우, 상하단에 특정정보를 게시하는 단계; 및
   방송진행자의 요청에 따라 사용자에게 제공되는 영상화면이 확대/축소가 이루어지는 단계를 포함하며
   상기 특정 정보는, 상기 방송 진행자와 사전 약속된 행동으로서 제스처 및 상황을 포함하는 정보를 사전에 기록하고, 상기 사전 기록된 정보에 기초하여 광고, 뉴스, 영상의 확대 및 축소, 상품의 정보 및 출처 등에 대한 정보를 포함하고,
   상기 패턴 DB에 사전 등록된 특정 패턴은, 트리구조 형태의 기초모델로 형성되어 AI 학습이 가능하고, 상기 AI 학습을 통한 학습 데이터와 함께 같은 패턴 형태로 그룹화되어 상기 패턴 DB에 사전 등록되는,
   방법.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 블록은, 상기 프레임의 헤더정보, 상기 패턴 및 상기 패턴과 매칭이 되는 특정 정보를 기록한 매칭 데이터를 포함하는, 방법.
   
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 방송진행자의 특정행동 및 제스처를 분석하는 단계;
   단말 장치에서 제어 포인트와 선으로 연결된 패턴을 저장하고 학습하는 단계;
   상기 특정 행동 및 제스처에 따른 패턴이 생성이 되는 단계;
   패턴 인식을 통해 블록이 생성이 되는 단계를 더 포함하는 방법.
   
8. 삭제
9. 영상 방송 서비스를 제공하는 플랫폼에서 시청자와 방송 진행자 사이의 커뮤케이션을 제공하는 시스템에 있어서,
   영상촬영 장치에 의해 촬영된 방송 진행자의 영상 데이터를 분석하여 특정 패턴을 인지하고, 데이터부로부터 상기 특정 패턴과 매칭되는 특정 정보를 추출하며, 상기 특정 정보를 상기 영상 데이터에 블록 형태로 삽입하는 인지부;
   상기 방송 진행자와 사전 약속된 행동으로서 제스처 및 상황을 포함하는 정보를 사전에 기록하고, 상기 사전 기록된 정보에 기초하여 광고, 사물의 확대 및 축소, 상품의 정보 및 출처에 대한 정보를 포함하는 특정 정보가 삽입된 상기 영상 데이터를 네트워크를 통해 사용자의 단말기로 전송하는 송출부를 포함하며,
   상기 인지부는, 상기 영상 데이터의 각 프레임 별로 패턴을 분석하고 상기 프레임 중에 패턴 DB에 사전 등록된 특정 패턴을 인지하는 분석 모듈을 포함하며,
   상기 인지부는, 상기 프레임에서 블록을 생성하여 상기 생성된 블록에 상기 프레임 정보를 헤더로 지정하고, 상기 블록의 내용에 사전 등록된 패턴의 정보와 매칭되는 특정 정보를 매칭 DB로부터 추출하여 상기 블록에 저장하고, 상기 프레임에 블록화하고,
   상기 특정 정보의 요청에 따라 상기 사용자의 단말기의 UI의 구성이 변경이 되고, 광고, 뉴스와 같은 특정 정보의 역할에 따라 상기 방송 진행자에 의해 상기 UI가 재배치되는 것을 포함하며 웹/모바일의 UI가 상기 방송진행자의 요청에 따라 좌우, 상하단에 특정정보를 게시하고, 상기 방송진행자의 요청에 따라 상기 사용자에게 제공되는 영상화면이 확대/축소가 이루어지고,
   상기 패턴 DB에 사전 등록된 특정 패턴은, 트리구조 형태의 기초모델로 형성되어 AI 학습이 가능하고, 상기 AI 학습을 통한 학습 데이터와 함께 같은 패턴 형태로 그룹화되어 상기 패턴 DB에 사전 등록되는,
   시스템.
   
10. 삭제
11. 삭제
12. 제9항에 있어서,
    상기 블록은, 상기 프레임의 헤더정보, 상기 패턴 및 상기 패턴과 매칭이 되는 특정 정보를 기록한 매칭데이터를 포함하고,
    상기 블록에 포함되는 적어도 하나 이상의 정보를 통해 상기 특정 정보를 추출하여 상기 사용자 단말기에 표시하도록 구성되는, 시스템
    
13. 삭제
14. 제9항에 있어서,
    상기 방송진행자의 특정행동 및 제스처를 분석하는 데 있어 단말 장치에서 제어 포인트와 선으로 연결된 패턴을 저장하고 학습이 되도록 구성이 되며 상기 특정 행동 및 제스처에 따른 패턴을 인지하고 인지를 통해 상기 블록이 생성이 되는, 시스템.
    
15. 삭제

Images