KR101982853B1 - 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법 - Google Patents

Abstract

양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법이 제공되며, 사용자 단말로부터 실시간 스트리밍을 요청받는 경우, 사용자 단말에서 촬영되는 영상을 사용자 단말의 채널을 통하여 실시간으로 스트리밍하는 단계, 사용자 단말로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용하는 단계, 및 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 하는 단계를 포함한다.

Description

양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법{METHOD FOR PROVIDING INTERACTION BASED MOBILE STREAMING SERVICE USING REALTIME CUSTOMIZED PLATFORM}

본 발명은 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 관한 것으로, 개인방송의 플랫폼을 일인편집자 및 방송인이 구동할 수 있도록 편의성을 제공하고, 결제 인터페이스 및 피드를 통하여 활용성 및 전파성을 높일 수 있는 방법을 제공한다.

대중 교통 이용자들이 개인의 스마트 폰으로 게임, 방송, 페이스북 등 다양한 멀티미디어 콘텐츠를 소비하는 모습은 더 이상 낯설지 않다. 개인 방송 시장의 성장 동인은 크게 디지털컨버젼스, 네트워크 성능 향상, 참여, 개방, 협력의 시대적 조류, 개인 방송 플랫폼 기술의 도래로 요약될 수 있다. 디지털 컨버젼스의 진전으로 방송 시청이 가능한 단말의 종류가 점차 확대되고 있고, 네트워크의 성능의 비약적 발전으로 인해 고품질 방송 컨텐츠의 전송이 가능케 되었다. 따라서 기술적인 측면에서 사용자들은 언제 어디서나 멀티미디어 콘텐츠 소비 경험을 누릴 수 있게 되었다. 이러한 기술적 성숙과 결합된 참여, 협력, 개방이라는 웹 2.0의 시대적 조류는 개인 생성 콘텐츠에 대한 수요를 발현시켰고, 콘텐츠 유통 플랫폼 기술이 개인 생성 콘텐츠의 수요와 공급이 접점을 형성할 수 있도록 하였다.

이때, 실시간 스트리밍 방송을 편집하는 방법은 실시간으로 자막을 삽입하는 방법으로 이루어졌는데, 이와 관련하여, 선행기술인 한국공개특허 제2016-0079436호(2016년07월06일 공개)에는, 자막 제공자 단말로부터 자막 파일 및 자막 파일의 속성 정보를 수신하고, 미디어 스트리밍 서버에 저장된 자막 파일에 대응하는 멀티미디어 파일을 검색하고, 멀티미디어 파일의 재생 정보에 대응하는 자막 파일에 대한 편집 정보를 수신하고, 편집 정보에 대응하여 수정된 편집 자막 파일을 속성 정보와 연관시켜 자막 데이터베이스에 저장하고, 고객 단말로부터 수신된 자막 선택 입력에 대응하여 자막 데이터베이스에 기록된 편집 자막 파일을 독출하고, 편집 자막 파일을 미디어 스트리밍 서버로 전송하는 구성이 개시되어 있다.

다만, 상술한 구성은 진정한 의미의 실시간 스트리밍 편집이나 플랫폼을 제공하는 구성이 아니라, 이미 저장된 데이터에 자막만을 실시간으로 입히는 것에 불과하다. 또한, 개인 방송 시장의 성장세 및 시장 성과에도 불구하고, 개인 방송 플랫폼에 대한 연구 및 논의는 깊게 이루어지고 있지 않다. 이는, 개인 방송 플랫폼이 구조적으로 기존 인터넷 망을 그대로 이용하고 있어 IPTV 논의에서 확대된 새로운 논의사항이 많지 않고, 아직까지 개인 방송을 주류로 부르기에는 부족한 시장 규모에 기인한다. 하지만, 개인 방송은 실시간 방송 콘텐츠의 시청 경험 공유, 방송과 커뮤니케이션의 결합이라는 과거 시청자들이 경험하지 못했던 가치를 제공하고 있으며, 광고를 탈피한 새로운 비즈니스 모델의 도입과 성공이 가식적으로 확인되고 있으며, 개인 방송 시장의 양적, 질적 성장이 확연히 나타나고 있으므로, 개인 방송의 플랫폼을 더욱 1인 방송인들이 편하게 이용할 수 있도록 도와줄 수 있는 플랫폼의 연구 및 개발이 요구되고 있는 실정이다.

본 발명의 일 실시예는, 다양성과 양방향 소통이라는 가치를 전달하는 개인방송의 플랫폼을 실시간 접속자의 니즈를 충족시키면서도 콘텐츠의 소비 과정에서 상호간의 의사소통의 가치가 더해질 수 있도록 아이템을 제공하고, 실시간 스트리밍을 하는 도중 또는 이후에도 결제 인터페이스를 제공함으로써 화면의 이동 없이 도는 화면의 이동으로 구매 및 결제가 가능하도록 하고, 실시간 접속을 못했을지라도 구독자에게는 피드 형식으로 동영상을 피딩(Feeding)시킴으로써 유통되는 콘텐츠의 활용도 및 전파성을 높일 수 있는, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 실시간 스트리밍을 요청받는 경우, 사용자 단말에서 촬영되는 영상을 사용자 단말의 채널을 통하여 실시간으로 스트리밍하는 단계, 사용자 단말로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용하는 단계, 및 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다양성과 양방향 소통이라는 가치를 전달하는 개인방송의 플랫폼을 실시간 접속자의 니즈를 충족시키면서도 콘텐츠의 소비 과정에서 상호간의 의사소통의 가치가 더해질 수 있도록 아이템을 제공하고, 실시간 스트리밍을 하는 도중 또는 이후에도 결제 인터페이스를 제공함으로써 화면의 이동 없이 도는 화면의 이동으로 구매 및 결제가 가능하도록 하고, 실시간 접속을 못했을지라도 구독자에게는 피드 형식으로 동영상을 피딩(Feeding)시킴으로써 유통되는 콘텐츠의 활용도 및 전파성을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모바일 스트리밍 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 모바일 스트리밍 서비스 제공 서버(300), 적어도 하나의 접속 단말(400), 및 적어도 하나의 구독자 단말(500)을 포함할 수 있다. 다만, 이러한 도 1의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모바일 스트리밍 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모바일 스트리밍 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 접속 단말(400), 적어도 하나의 구독자 단말(500)과 연결될 수 있다. 또한, 적어도 하나의 접속 단말(400)은, 네트워크(200)를 통하여 모바일 스트리밍 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 구독자 단말(500)은, 네트워크(200)를 통하여 모바일 스트리밍 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 일인 방송을 촬영하고 이를 모바일 스트리밍 서비스 제공 서버(300)로 스트리밍하는 단말일 수 잇다. 그리고, 적어도 하나의 사용자 단말(100)은, 아이템 구매 등에 따라 동영상의 프레임 또는 레이아웃을 변경하는 이펙트를 사용하여 실시간 스트리밍 영상 또는 이후의 피드 영상에 반영되도록 하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은, 적어도 하나의 사용자 단말(100)의 채널에 접속한 실시간 접속 단말(400)로부터 모바일 스트리밍 서비스 제공 서버(300)를 경유하여 채팅 메세지를 수신하여 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은 아이템 중 효과 자동 적용 아이템을 구매하여, 접속 단말(400)로부터 수신된 메세지의 종류, 키워드, 양, 및 빈도 등에 따라 배경음악이나 컴퓨터 그래픽을 실시간 스트리밍 영상에 적용하여 출력하는 단말일 수 있다. 이때, 적어도 하나의 사용자 단말(100)의 컴퓨팅 또는 네트워킹 자원이 기 설정된 자원스펙 및 자원량을 만족하는 경우, 키워드 분석 및 자연어 처리 등이 가능하지만, 그렇지 않은 경우에는 모바일 스트리밍 서비스 제공 서버(300)에서 실시한 결과만을 반영하는 단말일 수도 있다. 그리고, 적어도 하나의 사용자 단말(100)에서 물품을 판매하거나 소개하는 경우, 판매 또는 소개한 물품을 결제할 수 있는 결제 인터페이스를 접속 단말(400) 또는 구독자 단말(500)로 제공하도록 설정하는 단말일 수 있다. 이때, 결제 인터페이스는 모바일 스트리밍 서비스 제공 서버(300)로부터 접속 단말(400) 또는 구독자 단말(500)로 전송될 수 있다. 물론, 링크 등을 제공하여 화면 이동 또는 페이지 이동으로 전송될 수도 있음은 자명하다 할 것이다. 그리고, 결제 인터페이스는 실시간 스트리밍 영상 상에 오버레이되어 계속 영상을 시청하면서 주문 및 결제를 할 수 있는 인터페이스일 수 있고, 결제 수단도 기 저장된 결제 수단으로 자동입력될 수 있도록 하거나 다른 결제 수단과 연동될 수 있도록 설정될 수 있다. 이는, 사용자 단말(100)에서 설정하거나, 모바일 스트리밍 서비스 제공 서버(300)에서 제공하는 옵션을 접속 단말(400) 또는 구독자 단말(500)에서 선택할 수도 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

모바일 스트리밍 서비스 제공 서버(300)는, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모바일 스트리밍 서비스 제공 서버(300)는, 사용자 단말(100)에서 실시간 스트리밍을 요청하는 경우, 사용자 단말(100)의 스트리밍 채널을 형성하고, 해당 채널에 적어도 하나의 접속 단말(400)이 접속하여 스트리밍 영상을 수신 및 출력할 수 있도록 하는 서버일 수 있다. 그리고, 모바일 스트리밍 서비스 제공 서버(300)는, 사용자 단말(100)에서 적어도 하나의 아이템을 구매하여 동영상의 프레임을 바꾸거나 레이아웃을 바꾸거나 글씨체를 변경하거나 자막을 넣거나 컴퓨터 그래픽을 삽입하는 경우, 이에 대응하는 효과를 실시간 스트리밍 영상에 반영하여 출력하도록 하는 서버일 수 있다. 그리고, 모바일 스트리밍 서비스 제공 서버(300)는, 실시간으로 접속한 접속 단말(400) 이외에도 구독 단말(500)로 뉴스에 피드로 피딩시켜 출력하도록 하는 서버일 수 있다. 또한, 모바일 스트리밍 서비스 제공 서버(300)는, 실시간 영상 또는 이후 저장된 영상에 결제 인터페이스를 출력되도록 하거나 링크를 삽입하여 영상 내에서 광고하거나 소개한 제품을 결제할 수 있도록 하는 서버일 수 있다.

여기서, 모바일 스트리밍 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 접속 단말(400)은, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 접속자의 단말일 수 있다. 이때, 접속자가 구독자일 수도 있으나, 본 발명의 설명의 편의를 위하여 구분하여 설명하도록 한다. 물론, 접속자가 구독자인 경우, 구독자가 접속자인 경우를 배제하는 것은 아님은 자명하다 할 것이다. 그리고, 적어도 하나의 접속 단말(400)은 사용자 단말(100)의 채널에 접속하여 실시간 스트리밍 영상을 시청하는 접속자의 단말일 수 있고, 사용자 단말(100)로 메세지를 전송하거나 채팅 데이터를 전송하는 단말일 수 있다. 또한, 적어도 하나의 접속 단말(400)은, 물품을 구매하기를 원하는 경우, 모바일 스트리밍 서비스 제공 서버(300)에서 제공하는 결제 인터페이스를 통하여 또는 링크를 통하여 다른 결제 화면으로 이동하여 주문 및 결제를 수행하는 단말일 수 있다.

여기서, 적어도 하나의 접속 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 접속 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 접속 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 구독자 단말(500)은, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 실시간 영상을 실시간으로 접속하여 보지 못하고 이후에 저장된 영상을 피드 형식으로 피딩받는 단말일 수 있다. 이때, 적어도 하나의 구독자 단말(500)도 적어도 하나의 접속 단말(400)과 마찬가지로 구독자이면서 실시간 접속자일 수 있지만, 상술한 바와 같이 각 역할을 나누어 설명하므로 구독자는 실시간 영상은 보지 못하고 이후에 피딩받는 단말로 한정하여 설명하기로 한다. 다만, 구독자이면서 실시간 접속자인 경우를 배제하는 것은 아님은 자명하다 할 것이다. 이때, 역할이 나누어진 것 이외에는 결제 인터페이스 등을 이용하는 것은 공통이므로 중복으로 그 설명은 생략하기로 한다.

여기서, 적어도 하나의 구독자 단말(500)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 구독자 단말(500)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 구독자 단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 모바일 스트리밍 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 모바일 스트리밍 서비스 제공 서버(300)는, 스트리밍부(310), 적용부(320), 출력부(330), 피드부(340)를 포함할 수 있다.

본 발명의 일 실시예에 따른 모바일 스트리밍 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 접속 단말(400), 및 적어도 하나의 구독자 단말(500)로 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 접속 단말(400), 및 적어도 하나의 구독자 단말(500)은, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 접속 단말(400), 및 적어도 하나의 구독자 단말(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

도 2를 참조하면, 스트리밍부(310)는, 사용자 단말(100)로부터 실시간 스트리밍을 요청받는 경우, 사용자 단말(100)에서 촬영되는 영상을 사용자 단말(100)의 채널을 통하여 실시간으로 스트리밍할 수 있다. 이때, 스트리밍 서비스는 크게 주문형 비디오 조회 서비스(VOD: Video on Demand)와 실시간 스트리밍 서비스로 구분할 수 있다. VOD 서비스는 서버에 저장되어 있는 동영상 데이터를 다운받아서 사용자의 컴퓨터에서 재생하는 서비스로 파일 공유 서비스와 유사한 특징을 갖는다. 실시간 스트리밍 서비스 또한 서버에서 스트리밍 데이터를 다운받아서 사용자의 컴퓨터에서 재생한다. 하지만 스트리밍 서비스가 VOD 서비스와 구분되는 가장 큰 차이점은 실시간성이라고 할 수 있다. 실시간 스트리밍 서비스의 경우 스트리밍 데이터가 서버 또는 방송국에서 실시간으로 생성되고 있기 때문에 버퍼링을 미리 충분히 하기 힘들며, 지나간 화면 또는 미래 화면을 임의로 재생할 수 없는 특징을 갖는다.

스트리밍 전송을 위한 P2P 구조는 크게 메쉬 구조와 트리 구조로 구분된다. 메쉬 구조는 스트리밍 데이터가 흐르는 경로가 두 개 이상인 구조로 VOD 서비스에 유리하며 토렌트 등의 파일 공유 프로토콜을 수정하여 주로 사용할 수 있다. 트리 구조는 실시간으로 서버에서부터 데이터를 신속하게 받는데 유리하지만 구조의 간결함으로 인해서 연결이 불안정한 단점을 갖는다. 실시간 스트리밍에 유리한 트리 구조의 단점을 보완하기 위해 본 발명의 일 실시예에서는, 대표적으로 두 개 이상의 트리 구조를 유지하는 다중 트리 구조와 사용자들 중에서 안정적인 사용자를 트리의 중심에 위치시키는 백본 트리 구조를 이용할 수 있다. 다중 트리 구조는 단일 트리의 단점을 극복하기 위해 트리와 메쉬 구조를 혼용한 구조로 안정적인 반면, 사용자들의 출입이 잦아지면 구조를 유지하기가 어려워지는 단점이 있다. 백본 트리 구조는 안정적인 사용자들로 트리의 중심 뼈대를 구축한 후 나머지 사용자를 뼈대의 가지에 위치시키는 방법이다.

따라서 안정적인 사용자를 효과적으로 구분할 수 있다면 매우 간결하면서도 효율적인 방법이기에 안정적인 사용자를 구분해 내는 작업이 무엇보다도 중요하다. 이에 따라, 본 발명의 일 실시예에 따른 방법에서는 실시간 스트리밍 서비스를 사용하는 사용자들의 실제 로그를 수집하여 스트리밍 내용 별 행동 패턴을 분석할 수 있다. 그리고 안정적인 사용자가 실제로 존재하는지를 확인하고, 더 나아가 실시간으로 안정적인 사용자를 구분해 내는 방법을 이용할 수 있다. 이때, 실시간 스트리밍 서비스를 사용하는 사용자들의 행동 패턴을 기록할 수 있으며, 수집한 로그를 바탕으로 안정적인 사용자의 존재를 추출하고, 안정적인 사용자가 존재한다면, 그들을 실시간으로 구분해 낼 수 있는 방법을 이용할 수 있다. 물론 상술한 방법 이외에도 실시간 스트리밍을 안정적으로 유지하기 위한 다양한 방법이 이용될 수 있음은 자명하다 할 것이다.

적용부(320)는, 사용자 단말(100)로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용할 수 있다. 이때, 아이템의 한 종류나 이펙트(효과)의 한 종류로 단어 구름 아이템을 사용할 수도 있다. 이는, 실시간 접속자가 한 말이 모두 텍스트로 기재되어 있음으로 인하여 일인방송자인 사용자가 이를 모두 읽지 못하는 경우에는 재미있는 채팅이라도 순간적으로 사라질 수 있으므로, 이를 시각화하여 접속자 및 사용자가 모두 인식하고 볼 수 있도록 하는 서비스일 수 있다. 물론, 해당 아이템 이외에도 다양한 아이템이 적용될 수 있음은 물론이다.

즉, 스트리밍 서비스의 가장 특징적인 점은 IRC(internet relay chat)에 기반한 채팅 채널(chatting channel)을 통해 방송 진행자와 시청자 사이의 실시간 양방향 의사소통이 가능하다는 점인데, 방송 진행자는 채팅 채널 상의 시청자들의 의견을 관찰하고, 시청자들은 방송 내용에 대한 의견과 반응을 채팅을 통해 드러낼 수 있다. 스트리밍 서비스에서의 채팅은 단순 IRC와는 다른 독특한 특징들을 갖는다. 그 중 흥미로운 것은 방송에 특별히 재미있거나 놀라운 장면이 나왔을 때 시청자들의 반응들이 채팅 채널을 통해 미친 듯이 터져 나오는 현상이 자주 발생한다는 점이고, 이 순간 채팅 채널은 일반적으로 해당 장면과 관련된 문구나 해당 방송에서 흔히 통용되는 밈(Meme)로 채워지며, 이와 같은 현상은 방송에 참여하는 진행자와 시청자를 정서적, 감정적으로 연결해준다.

하지만, 하나의 방송을 동시에 시청하는 시청자의 수가 일정 수준(약 500명) 이상 많아지는 순간 채팅 채널은 더 이상 시청자들간의 의미 있는 의사소통을 지원하지 못하고, 심한 경우 채팅 창이 시청자들이 입력하는 동시다발적인 메시지들의 폭포로 가득 채워지는 현상이 발생한다. 이 경우 시청자들이 채팅 채널에 입력되는 수많은 메시지들의 내용을 정확히 인지하기 어려워지는 문제가 발생하는데, 이 문제는 스트리밍 서비스가 제공하는 채팅 채널이 IRC의 메시지 표현 방식을 그대로 차용하는 것에 기인한다. 즉, IRC를 통한 의미 있는 의사소통은 동시 사용자가 최대 300명 이하일 때 가능하므로, 본 발명의 일 실시예는, 사용자 단말(100)에서 단어 구름 아이템을 구입하는 경우, 스트리밍되는 영상에 단어 구름 기반 동적 시각화를 제공할 수 있다. 다수의 사용자에 의해 입력되는 메시지들이 시간상의 관계를 잃지 않으면서 빈도수가 급격히 늘어나는 메시지를 보다 쉽게 인식할 수 있도록 하는 것과, 동시에 빈도수가 적은 메시지에 대한 가독성을 유지하는 것을 목표로 할 수 있다.

이때, 단어 구름(word cloud)이란 텍스트 상에서 더 빈번하게 사용된 단어가 더 많은 영역을 차지하도록함으로써 해당 단어를 효과적으로 강조할 수 있는 시각화 방식으로, 단어 구름은 시청자들에 의한 동시다발적인 메시지 중에서 빈번하게 쓰이는 단어를 강조하기에 적합하지만, 단순 정적 단어 구름만으로는 메시지들의 순서와 스트리밍 서비스 상의 채팅의 특징등을 표현하기 어렵다. 이를 보완하기 위해 본 시각화에서는 추가적인 세 가지 디자인을 반영할 수 있다. 첫 번째는 메시지가 입력된 시간의 상대적 관계이다. 메시지가 입력된 시간은 메시지가 담고 있는 가장 중요한 정보 중 하나이다. 이를 단어 구름에 반영하기 위하여 단어를 포함한 메세지들이 입력된 시간의 평균을 계산하여 단어 구름 상에서 Y축 위치에 매핑할 수 있다. 더 나아가, 위에서부터 아래로 단어들이 쌓여나가는 순차적 레이아웃을 적용함으로써 시간상의 상대적 관계를 강조할 수 있다. 두 번째로, 메시지 빈도의 동적 변화를 표현하는 것이다. 메시지들이 폭발적으로 늘어날 때에 채팅 채널에서 확인할 수 있는 역동성을 표현하기 위해 특정 시간 범위 내에 빈도수가 급격히 늘어나거나 줄어드는 단어에 이징 함수(easing function)를 적용한 애니메이션을 추가함으로써 메시지가 추가될 때마다 단어의 크기와 위치가 역동적으로 변화하는 것을 확인할 수 있도록 시각화할 수 있다. 마지막은, 단어 혹은 밈 빈도수의 유연한 반영이다. 일반적인 단어 구름에서는 구름의 크기에 빈도수를 선형적으로 적용하는데, 이는 특정 단어 혹은 밈의 빈도수가 급격하게 높아지거나 줄어드는 스트리밍 서비스의 메시지의 특징을 반영하기에는 적합하지 않다. 이를 보완하기 위해 단어 혹은 밈 크기의 최저-최대(min-max)값을 설정하고, 각각의 크기를 빈도수로 정하여 급격히 증가 또는 감소하는 단어 또는 밈(meme)을 쉽게 인지할 수 있도록 할 수 있다. 물론 상술한 아이템 이외에도 다양한 편집이나 효과를 지원하는 아이템이 존재할 수 있으며, 변경가능함은 자명하다 할 것이다.

적용부(320)에서 사용자 단말(100)로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용할 때, 사용자 단말(100)로부터 아이템 구매를 통하여 글씨체, 글자효과, 자막자동생성, 및 컴퓨터그래픽 중 어느 하나 또는 적어도 하나의 이펙트가 선택되는 경우, 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용할 수 있다. 이때, 실시간 상황에서 합성하는 방법으로 대략적 최적화 합성(Approximate Composition for Optimization : ACFO) 방법과 메모리 큐를 이용한 순차적 합성 방법(Sequence Composition using Memory Que: SCUMQ)을 이용할 수 있으나, 상술한 방법에 한정되지는 않는다.

ACFO는 실시간으로 방송하는 시스템에 매우 유용하고, SCUMQ는 약간의 시간 지연은 있으나 고품질의 데이터를 사용해야 하는 경우에 유용하다. 본 발명의 일 실시예에서는 컴퓨터 성능을 판독하여 자동으로 최적화 되는 방법을 선택할 수 있다. 이때, 다중 미디어 데이터를 실시간으로 합성하여 전송할 때 매우 유용한데, 실시간 방송을 위해 MPEG4로 압축되는 경우, 영상의 정보는 손실 되기 때문에, 무손실 영상 압축은 매우 빠르게 이루어져야 하며, 압축율 또한 높아야 한다. 이때, 본 발명의 일 실시예에서는, 영상 데이터를 빠르게 무손실로 압축하기 위해 최적화된 알고리듬을 이용할 수 있는데, 예를 들어, 전체 영상을 웨이브렛으로 변환하고, 각 주파수 평면을 N-bit 태그 코딩을 사용할 수 있다. N-bit 태그 코딩은 허프만 코딩과 사전식 코딩을 결합한 방법이다. 가장 많이 나오는 데이터의 정보를 사전으로 설정하고 비트 코딩을 한 방법이다. 본 발명의 일 실시예는 덧셈과 뺄셈만 사용하기 때문에 CPU 성능이 다소 떨어져도 빠르게 압축할 수 있다.

실시간으로 전달되는 영상의 정보량이 크고 종류가 다양하면 CPU에서 실시간으로 합성 처리를 하기가 어렵다. 예를 들어 1024 X 768 해상도의 총 4개의 영상이 30 프레임씩 전송되고 이 데이터를 합성하여 압축한다고 가정하였을 때 펜티엄4 듀얼코어 2.1GHz CPU에서는 초당 30프레임 합성이 불가능하다. 효율적인 영상 합성을 하기 위해서는 CPU 능력에 따라 합성 방법을 선택할 필요가 있다. 이에 따라, 본 발명의 일 실시예에서는, 성능에 따라 두 개의 모드를 선택할 있도록 한다.

이때, ACFO(Approximate composition for optimization)는, 영상의 크기와 초당 샘플링이 다른 여러 정보를 합성할 때 해당 시간에 가장 근사한 프레임을 선택하여 합성하는 방법이다. 예를 들어, 목적하는 동영상이 초당 30프레임에 640 x 480 픽셀 해상도를 가진다고 가정할 경우, 입력되는 모든 미디어 정보들이 초당 30 프레임으로 보정되고 해상도가 640 x 480 픽셀로 고정되거나 적용되는 위치에 따라서 해상도를 변경해야 한다. 따라서, 오디오 스트림을 규정 시간으로 정하고, 해당 시간에 유효한 프레임을 선택하여 합성 프레임을 만들어 낸 후, 해당 프레임을 초당 목적 프레임으로 보정하도록 설정할 수 있다. SCUMQ(Sequence composition using memory que)는 순차적으로 입력되는 프레임 리스트를 큐에 저장하고 합성 스레드가 구동하면서 최적화된 방법으로 프레임을 보정하는 방법이다. SCUMQ를 사용하여 영상을 합성하기 위해서 하나의 스레드를 구동할 수 있다. 이때 구동 스레드를 합성 스레드라 하는데, 합성 스레드는 여러 개의 영상을 합성하여 하나의 영상을 만들어 내는 스레드이다. 이 스레드가 30개의 프레임을 만들어 내는데 평균 1.5 초가 소요된다면 실시간으로 프레임을 만들어 낼 수 없다. 따라서 손실 설정을 하고 프레임 보정을 해야 한다. 문서 영상이나, 카메라 영상과 같은 고정 영상일 경우 리스트를 사용하지 않고 정적 영상으로 설정하여 별도의 연산없이 해당 영상을 합성할 수 있다. 연속되는 영상의 평균 프레임이 목적하는 프레임 보다 작을 경우 프레임 손실이 발생할 수 있으므로, 손실되는 프레임을 한꺼번에 손실을 발생 시키지 않게 하기 위해서는 일정 시간 구간 안에 있는 중간 프레임을 보정해야 한다. 예를 들면 30 프레임 입력 소스에서 20 프레임이 유효할 경우 순차적으로 20 프레임을 받고 나머지 10 프레임을 마지막 영상에서 보정하게 되면 영상의 변화율이 매우 커져서 영상이 손상되었다는 느낌을 가지게 된다. 소스 입력 원에서는 초당 최대 프레임을 링크드 리스트로 만든 다음 합성 프레임에서는 해당 링크드 리스트 에서 Jump 계수만큼 이동하면서 데이터를 받는다. 본 발명에서는 연속도를 계산할 때, 누적된 프레임 수를 사용하여 계수를 산출함으로써, 계수만큼 Jump 하여 프레임을 받게 되면 전체 프레임에서 중간에 연결되는 프레임이 손실되기 때문에 영상의 흐름에 끊김이나 큰 변화가 보여지지 않는다. 이 외에도, 웨이브렛을 이용한 무손실 압축, NBTC(N Bit Tag Coding) 등의 방법이 이용될 수 있으며, 상술한 방법에 한정되지 않음은 자명하다 할 것이다.

적용부(320)는 사용자 단말(100)로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용할 때, 사용자 단말(100)의 채널에 접속된 적어도 하나의 접속 단말(400)로부터 적어도 하나의 메세지를 수신하고, 수신된 적어도 하나의 메세지에 포함된 텍스트를 자연어 분석 처리를 통하여 해석한 후, 텍스트 내의 키워드를 추출하고, 추출된 키워드에 기 매핑되어 저장된 배경음악을 필터링하고, 필터링된 배경음악을 실시간으로 스트리밍되는 영상에 적용할 수 있다. 이때, 적용부(320)는, 수신된 적어도 하나의 메세지에 포함된 텍스트를 자연어 분석 처리를 통하여 해석한 후, 텍스트 내의 키워드를 추출할 때, 자연어 분석 처리는 감성 어휘 데이터베이스에 기반하여 감성을 분석하는 것을 포함할 수 있다.

이때, 감성 어휘는 빅데이터에 의해 수집되고 학습되는 과정을 거치면서 정제될 수 있다. 인간의 감성은 신체 반응을 동반하는 감정에 비해 직관적, 무의식적, 복합적인 감정으로 그 의미가 확대된 개념이라 할 수 있으며, 정량적 및 객관적 연구의 어려움으로 감정 연구에 비해 연구의 대상으로는 많이 다루어지지 못하였다. 일반적으로 감정어휘는 객관적 가치 기준보다는 주로 주관적 감정이나 심리가 작용하는 의미 영역을 묘사한다. 감정 어휘의 의미 영역에 따른 분류 기준은 인간의 기본 감정에 관한 논의에서 찾을 수 있고, 콘텐츠에 따라, 밝은, 우울한, 생기 없는, 고급스러운, 발랄한, 평범한, 강렬한, 침체된, 희미한, 열정적인, 시원한, 차가운, 따뜻한, 뜨거운, 정적인, 옅은, 활동적인, 짙은, 편안한, 추한, 불안한, 예쁜, 흐릿한, 선명한, 어두운, 쾌활한 등으로 나누어 분류할 수 있다. 이때, 자연어 처리 및 키워드 추출은 이미 AI 알고리즘 및 채팅 에이전트의 연구 등으로 공개된 기술과 동일하므로 상세한 설명은 생략한다.

통계기법 중에서 요인분석을 이용하여 감성요소와 감성어휘를 하나의 공간에 매칭시킬 수 있으며, 대응 일치 분석으로 요인분석에 대한 검증과 대표 감성 어휘를 추출할 수 있다. 이때, 요인 분석은 다수 또는 대량의 자료를 처리해서 이론적으로 또는 내용적으로 의미 있는 소수의 변수를 추출하는 통계방법이다. 자료 내 어떤 요인들이 들어있을 것이라는 전제를 두고, 단지 자료를 몇 개 요인들로 개략화 할 수 있는가에 중점을 두는 경우에 이용하는 방법이다. 이러한 요인 분석은 심리학에서 지능검사나 성격검사의 결과를 해석할 때, 사회 현상 분석 등에서도 많이 쓰이는 통계방법이다. 대응일치 분석은 데이터 차원의 축소 방법 중 하나로 범주형 자료의 경우 많이 이용되고, 두 가지 형태의 변수 집합을 하나의 공간에 표현하여 어느 대상이 어느 속성에 가까운가를 파악하고 대상간의 속성에 의한 관련성과 속성간의 관계를 파악할 수 있다.

출력부(330)는 사용자 단말(100)의 채널에 접속된 적어도 하나의 접속 단말(400)로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 할 수 있다. 이때, 효율적인 모바일 비디오 스트리밍을 위하여, 에너지를 고려할 수 있는데 모바일 장치를 사용하는 사용자의 과거 비디오 시청 정보를 축적하여 현재 비디오 스트리밍의 버퍼 크기를 어느 만큼 할당해야 할 것인지 동적으로 계산하는 기법을 이용할 수 있다. 다만, 이는 다중 비트율 인코딩 비디오의 경우 에너지 측면보다는 실시간 비트율 적응이 얼마나 잘 되는지에만 초점이 맞추어져 있으며 이들 의 성능 척도는 평균 비디오 비트율이 주이기 때문에 다양한 적응 스트리밍 기법이 이용될수 있다. 예를 들어, 처음을 제외하고는 오로지 버퍼만을 기반으로 비디오율을 선택하는 비트율 적응 기법(The Buffer-Based Approach: BBS)이 이용될 수 있다.

이때, LTE 모바일 기기의 통신 상태에 따라 장치의 전력 소모가 어떻게 이루어지는지가 연구되었는데, 통신상태 ON에서는 많은 전력을 소모하기 때문에 통신을 하지 않을 때에는 통신모드를 OFF로 바꾸어야 한다. 그러나 통신 모드를 변경할 때에도 에너지(Promotion Energy)가 소모되며, 통신이 한 번 이루어진 후에는 짧은 기간 내에 또 다른 통신이 발생할 확률이 높기 때문에 모바일 장치에서는 실질적 통신이 이루어진 후에도 바로 통신 모드를 OFF로 하기 보다는 한동안 통신모드 ON 상태를 지속한다. 따라서, 본 발명의 일 실시예에서는 에너지 효율적 Prefetching 기반 스트리밍 기법을 이용할 수 있다. 이때, 본 발명의 일 실시예에 따른 방법(energy efficient BBS: eBBS)은, 다운로드 속도가 인코딩율과 비슷할 때에는 BBS와 같은 방법으로 다운로드한다. 이는 BBS가 앞으로의 리버퍼링 발생 확률에 기반 하여 안정적으로 높은 화질의 비디오 청크를 요청하기 때문에 기존의 비트율 적응 기법 중 가장 좋은 성능을 나타내기 때문이다. 그러나 에너지적 측면에서 보았을 때, BBS는 다운로드 속도가 인코딩율 보다 낮을 때에만 효율적이다. BBS에서는 다운로드 속도가 충분히 높을 때에도 버퍼 기반 비트율 적응 방법을 따라 버퍼 크기를 thrsh1 부분에서 한 번에 하나의 청크씩만 요청하여 주기적인 비디오 청크 요청 및 다운로드를 수행한다. 이 경우 거의 대부분의 비디오 재생 시간 동안 통신 모드를 켜두어야 하기 때문에 에너지 낭비가 크다. 즉, BBS기법에서는 실시간 비트율 적응에만 초점을 맞춘 나머지 에너지 측면에서의 효율성은 간과하고 있다. 따라서, 본 발명의 일 실시예에 따른 eBBS는 다운로드 속도가 인코딩율과 비슷할 때에는 BBS와 같은 비트율 적응 기법을 사용함으로써 높은 평균 비디오율과 낮은 리버퍼링 발생 확률을 달성하되, 다운로드 속도가 인코딩율보다 더 높아지면 그 때부터는 에너지 절약을 위해 한 번에 많은 비디오 청크를 연속하여 요청하고 버퍼에 많은 양의 비디오 컨텐츠를 프리패칭하여 담아 둔 다음 통신 상태를 OFF로 바꾸는 전략을 사용할 수 있다. 물론, 이전의 BBS만을 사용하는 것을 배제하는 것은 아니다. 이렇게 하면 모바일 장치의 다운로드 속도가 최대 비디오 인코딩율보다 높을 때에만 에너지 절약 모드에 들어가기 때문에 에너지 절약 모드에서는 항상 최대 비디오율을 안정적으로 다운받으면서 프리패칭 기반 ON-OFF 스트리밍 방법을 통해 많은 에너지를 절약할 수 있게 된다. 따라서 eBBS는 BBS와 비디오 화질이나 리버퍼링 면에서 동일한 성능을 나타내되, 다운로드 속도가 높을 때에는 에너지적 측면에서 eBBS가 BBS에 비하여 추가적인 이점을 취할 수 있게 된다. 이렇게 하면 통신을 하고 있지 않는데도 에너지를 낭비하게 되는 테일 에너지 및 프로모션 에너지의 양을 대폭 줄일 수 있기 때문에 BBS의 버퍼 기반 스트리밍과 비디오 화질이나 리버퍼링 면에서 동일한 성능을 내면서도 안정적으로 추가적인 에너지 효율적 특성을 갖게 된다.

출력부(330)는, 사용자 단말(100)의 채널에 접속된 적어도 하나의 접속 단말(400)로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 할 때, 사용자 단말(100)에서 물품을 판매하는 경우, 물품을 구매 및 결제하는 결제 인터페이스를 실시간으로 스트리밍되는 영상 위에 레이어를 겹쳐서 오버레이(Overlay)할 수 있다. 이때, 오버레이된 결제 인터페이스는 화면 또는 페이지의 전환 또는 이동없이 결제 인터페이스 상에서 구매 및 결제가 완료되는 인터페이스일 수 있다. 여기서, 결제는 각 아이템을 바로 결제하는 결제도 가능하지만, 금액을 충전하여 결제를 하는 것도 가능함은 자명하다 할 것이다. 예를 들어, 코인이나 아이템 등을 미리 충전하여 아이템 효과를 낼 수도 있고, 스트리머는 원하는 아이템을 그 자리에서 바로 살 수 있으므로 원하는 효과를 즉시성을 가지고 출력할 수 있다.

피드부(340)는, 출력부(330)에서 사용자 단말(100)의 채널에 접속된 적어도 하나의 접속 단말(400)로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 한 후, 사용자 단말(100)의 채널을 구독하는 적어도 하나의 구독자 단말(500)의 피드(Feed)에 실시간으로 스트리밍되었던 영상을 피딩(Feeding)할 수 있고, 적어도 하나의 구독자 단말(500)의 피드상에 실시간으로 스트리밍되었던 영상을 출력하도록 제어할 수 있다. 이때에는, 광고를 앞 부분, 중간 또는 후에 별도로 붙여 스트리머가 2차적으로 일부의 광고수익을 거둘 수 있도록 구성될 수도 있다.

이때, 실시간 동영상을 저장한 후 피딩하기 때문에 콘텐츠 편집을 가미할 수 있다. 여기서, 콘텐츠 편집 기술은 크게 선형 편집 기술(Linear editing technology)과 비선형 편집 기술(Non-linear editing tech- nology)로 구분된다. 선형 편집 기술은 VCR(Video Cassette Recorder)에 콘텐츠를 아날로그 형태로 저장한 후 저장된 콘텐츠 중 필요한 부분을 선택해 출력용 VCR에 복사하는 편집 기술로서, 아날로그 형태의 콘텐츠를 저장 및 편집함으로 인해 데이터 복사에 따른 세대손실(Generation loss)이 발생한다. 반면에 비선형 편집 시스템은 하드디스크에 디지털 형태로 저장되어 있는 콘텐츠를 컴퓨터 모니터 상에서 편집하는 방식으로서 다양한 화면효과를 이용할 수 있으며 세대손실도 거의 발생하지 않는 장점을 가진다.

이때, 사용자 인터페이스를 통해 비디오 편집, 오디오 및 자막 싱크 지원, 로고 삽입과 같은 콘텐츠 편집기능을 제공할 수도 있고, 편집된 콘텐츠를 자사의 웹 페이지, 앱 페이지, 애플리케이션 등에 업로드할 수 있는 기능을 제공할 수 있다. 이때, 일반적인 편집 기능인 오디오 및 이미지 삽입, 자막 삽입과 같은 기능뿐만 아니라 정밀한 시간단위의 콘텐츠 편집 기능과 다양한 코덱을 이용한 인코딩 기능을 제공할 수 있다. 또한, 편집된 콘텐츠를 CD(Compact Disc), DVD(Digital Versatile Disk), 블루레이 디스크(Blu-ray disc)를 포함한 다종 저장매체에 저장하는 기능과 Youtube, Flicker, Facebook과 같은 SNS에 직접 업로드하는 기능을 제공할 수 있다. 기존의 비선형 콘텐츠 편집기는 편집 대상이 되는 콘텐츠를 편집자가 보유하고 있어야만 편집이 가능하기 때문에, 방송사와 같이 콘텐츠 제공자가 콘텐츠 다운로드 기능을 제한하는 경우에는 사용될 수 없다는 단점을 가진다. 이러한 문제점을 해결하기 위해서는 편집자의 저장장치에 편집 대상 콘텐츠를 다운로드하지 않으면서도 온라인상에서 콘텐츠를 손쉽게 편집할 수 있는 새로운 형태의 비선형 콘텐츠 편집 방법을 제공할 수 있다. 이때, 긴 분량의 편집 대상 콘텐츠를 스트리밍 기술을 이용하여 재생하며 편집하는 것은 비효율적이므로, 편집 대상 콘텐츠를 씬(Scene) 단위로 구분한 후 검출된 씬 정보를 콘텐츠 재생 및 편집에 사용할 수 있다. 이때, 편집 시스템에서는 콘텐츠의 씬 단위 정보와 편집 정보가 메타데이터 형태로만 존재하며, 씬 단위 혹은 편집 분절(Segment) 단위의 물리적인 콘텐츠 분할은 수행하지 않지만, 이를 수행하는 것을 배제하는 것은 아니다.

이하, 상술한 도 2의 모바일 스트리밍 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) 모바일 스트리밍 서비스 제공 서버(300)는 사용자 단말(100)로부터 실시간 방송 이벤트(실시간 방송 시작 선택)가 발생하면, (b) 사용자 단말(100) 또는 사용자 단말(100)과 연동된 장비로부터 촬영된 영상을 스트리밍받으면서 사용자 단말(100)에서 적용하는 아이템에 따라서 스트리밍되는 실시간 영상에 실시간으로 랜더링 또는 압축 등을 실시하고, (c) 이를 적어도 하나의 접속 단말(400)로 스트리밍하게 된다. 이때, 상술한 바와 같이 모바일 스트리밍 서비스 제공 서버(300)는 엔드단에 위치한 접속 단말(400)의 자원에 기반하여 압축방법 또는 기법을 변경하거나 적응적으로 조절 및 제어할 수 있으며, (d) 접속 단말(400)에서 결제를 원하는 경우 링크를 제공하거나 결제 인터페이스를 오버레이하고, (e) 실시간으로 접속하여 시청하지 못했던 구독자 단말(500)로는 이후에 피드 형식으로 제공할 수 있고, 이때 사용자 단말(100)의 편집을 위해 상술한 편집 플랫폼을 제공할 수 있다.

이와 같은 도 2 및 도 3의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 4는 본 발명의 일 실시예에 따른 도 1의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 4를 참조하면, 모바일 스트리밍 서비스 제공 서버(300)는, 사용자 단말(100)로부터 스트리밍 시작을 알리는 요청을 수신하면(S4100), 스트리밍을 위한 플랫폼을 사용자 단말(100)로 제공하고(S4200), 사용자 단말(100)에서 아이템 구매 등을 통하여 효과를 설정하거나 BGM을 설정하는 경우(S4300), 이를 실시간으로 반영하여 스트리밍되는 영상과 합성되도록 한다(S4400).

한편, 모바일 스트리밍 서비스 제공 서버(300)는 사용자 단말(100)에서 스트리밍을 시작하는 경우(S4500), 실시간으로 입력되는 접속 단말(400)의 채팅 메세지를 단어 구름으로 시각화하거나 이를 통하여 효과를 변경할 수 있도록 하고(S4600, S4700), 접속 단말(400)로부터 방송에 나온 물품이나 방송에서 선전 또는 소개하는 물품을 구매하고자 하는 경우에는(S4800), 접속 단말(400)로 결제 인터페이스를 제공하거나 링크를 제공하고(S4810), 결제가 요청되는 경우(S4820), 결제를 직접 처리하거나 또는 중개 서버 등을 통하여 처리되도록 하고(S4820), 결제가 완료되면(S4830) 이에 대한 피드백을 다시 접속 단말(400)로 제공한다.

이때, 모바일 스트리밍 서비스 제공 서버(300)는 사용자 단말(100)에서 효과가 자동으로 설정되도록 하는 경우에는(S4840), 접속 단말(400)의 메세지를 수신(S4850) 및 자동으로 분석하여(S4860), 자연어처리 및 감성어휘분류를 수행한 후(S4870), 분류된 키워드에 매핑된 효과(글자크기, 프레임 색상, 컴퓨터 그래픽, BGM 변경 등)를 추출 및 적용하도록 하고(S4880, S4890), 이를 접속 단말(400)로 스트리밍한다(S4900).

또한, 모바일 스트리밍 서비스 제공 서버(300)는 사용자 단말(100)에서 방송이 종료된 경우에는(S4910), 추가 편집이 없는 경우 해당 영상을 저장하여(S4920), 구독자 단말(500)로 피드 형식으로 동영상을 제공할 수 있다(S4930).

상술한 단계들(S4100~S4930)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4930)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 4의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 모바일 스트리밍 서비스 제공 서버는, 사용자 단말로부터 실시간 스트리밍을 요청받는 경우, 사용자 단말에서 촬영되는 영상을 사용자 단말의 채널을 통하여 실시간으로 스트리밍하고(S5100), 사용자 단말로부터 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 변경 또는 선택된 이펙트를 실시간으로 스트리밍되는 영상에 적용한다(S5200).

또한, 모바일 스트리밍 서비스 제공 서버는 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 한다(S5300).

이와 같은 도 5의 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (6)

1. 모바일 스트리밍 서비스 제공 서버에서 실행되는 모바일 스트리밍 서비스 제공 방법에 있어서,
   사용자 단말로부터 실시간 스트리밍을 요청받는 경우, 상기 사용자 단말에서 촬영되는 영상을 상기 사용자 단말의 채널을 통하여 실시간으로 스트리밍하는 단계;
   상기 사용자 단말로부터 상기 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 상기 변경 또는 선택된 이펙트를 상기 실시간으로 스트리밍되는 영상에 적용하는 단계; 및
   상기 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 상기 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 하는 단계를 포함하되,
   상기 변경 또는 선택된 이펙트를 상기 실시간으로 스트리밍되는 영상에 적용하는 단계는,
   상기 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로부터 적어도 하나의 메세지를 수신하는 단계;
   상기 수신된 적어도 하나의 메세지에 포함된 텍스트를 자연어 분석 처리를 통하여 해석한 후, 상기 텍스트 내의 키워드를 추출하는 단계;
   상기 추출된 키워드에 기 매핑되어 저장된 배경음악을 필터링하는 단계; 및
   상기 필터링된 배경음악을 상기 실시간으로 스트리밍되는 영상에 적용하는 단계를 포함하는
   양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법.
   
2. 제 1 항에 있어서,
   상기 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 상기 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 하는 단계 이후에,
   상기 사용자 단말의 채널을 구독하는 적어도 하나의 구독자 단말의 피드(Feed)에 상기 실시간으로 스트리밍되었던 영상을 피딩(Feeding)하는 단계;
   상기 적어도 하나의 구독자 단말의 피드상에 상기 실시간으로 스트리밍되었던 영상을 출력하도록 제어하는 단계;
   를 더 포함하는 것인, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법.
   
3. 삭제
4. 제 1 항에 있어서,
   상기 수신된 적어도 하나의 메세지에 포함된 텍스트를 자연어 분석 처리를 통하여 해석한 후, 상기 텍스트 내의 키워드를 추출하는 단계에서,
   상기 자연어 분석 처리는 감성 어휘 데이터베이스에 기반하여 감성을 분석하는 것을 포함하는 것인, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법.
   
5. 제 1 항에 있어서,
   상기 사용자 단말로부터 상기 영상의 적어도 하나의 프레임 또는 레이아웃을 변경하거나 필터 또는 배경음악을 선택하는 경우, 상기 변경 또는 선택된 이펙트를 상기 실시간으로 스트리밍되는 영상에 적용하는 단계는,
   상기 사용자 단말로부터 아이템 구매를 통하여 글씨체, 글자효과, 자막자동생성, 및 컴퓨터그래픽 중 어느 하나 또는 적어도 하나의 이펙트가 선택되는 경우, 상기 선택된 이펙트를 상기 실시간으로 스트리밍되는 영상에 적용하는 단계;
   를 포함하는 것인, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법.
   
6. 제 1 항에 있어서,
   상기 사용자 단말의 채널에 접속된 적어도 하나의 접속 단말로 상기 실시간으로 스트리밍되는 영상을 스트리밍시켜 출력되도록 하는 단계는,
   상기 사용자 단말에서 물품을 판매하는 경우, 상기 물품을 구매 및 결제하는 결제 인터페이스를 상기 실시간으로 스트리밍되는 영상 위에 레이어를 겹쳐서 오버레이(Overlay)하는 단계;
   를 포함하고,
   상기 오버레이된 결제 인터페이스는 화면 또는 페이지의 전환 또는 이동없이 상기 결제 인터페이스 상에서 구매 및 결제가 완료되는 인터페이스인 것인, 양방향 기반 실시간 커스터마이징 플랫폼을 이용한 모바일 스트리밍 서비스 제공 방법.

Images