KR20230008989A - 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법 - Google Patents

콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법 Download PDF

Info

Publication number
KR20230008989A
KR20230008989A KR1020210089462A KR20210089462A KR20230008989A KR 20230008989 A KR20230008989 A KR 20230008989A KR 1020210089462 A KR1020210089462 A KR 1020210089462A KR 20210089462 A KR20210089462 A KR 20210089462A KR 20230008989 A KR20230008989 A KR 20230008989A
Authority
KR
South Korea
Prior art keywords
data
real
content data
information
code
Prior art date
Application number
KR1020210089462A
Other languages
English (en)
Other versions
KR102500753B1 (ko
Inventor
원찬식
안치연
Original Assignee
주식회사 한글과컴퓨터
(주)엠디에스인텔리전스
주식회사 한컴위드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한글과컴퓨터, (주)엠디에스인텔리전스, 주식회사 한컴위드 filed Critical 주식회사 한글과컴퓨터
Priority to KR1020210089462A priority Critical patent/KR102500753B1/ko
Publication of KR20230008989A publication Critical patent/KR20230008989A/ko
Application granted granted Critical
Publication of KR102500753B1 publication Critical patent/KR102500753B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 실시간 영상을 시청하는 시청자들이 실시간 영상으로부터 보다 손쉽게 실시간 영상과 관련된 콘텐츠 데이터를 조회할 수 있도록 지원할 수 있다.

Description

콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법{LIVE STREAMING SERVER WHICH CAN INSERT THE TWO-DIMENSIONAL CODE AND THE NOISE SOURCE, TO BE USED FOR LOOKING UP CONTENTS DATA, TO A REAL TIME VIDEO, AND THE OPERATING METHOD THEREOF}
본 발명은 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법에 대한 것이다.
최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등과 같은 전자 단말이 널리 보급됨에 따라, 이러한 전자 단말을 이용하여 시청할 수 있는 다양한 형태의 영상 콘텐츠들이 등장하고 있다.
또한, 전 세계적으로 COVID-19의 유행이 장기화됨에 따라, 사람들 간의 접촉과 이동이 제한되는 상황에서, 야외에서 활동을 하는 대신 전자 단말을 이용하여 다양한 영상을 시청하면서 여가 시간을 보내는 시청자들이 증가하고 있다.
특히, 최근에는, 영상 송출자의 영상 송출 단말로부터 수신되는 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송함으로써, 시청자가 실시간 영상을 시청할 수 있도록 지원하는 라이브 스트리밍 서비스를 통해, 실시간 영상을 시청하는 시청자들이 증가하고 있다.
한편, 영상 송출자가 실시간 영상을 통해 시청자들에게 제공할 수 있는 정보는 제한적이기 때문에, 영상 송출자는 실시간 영상이 재생되는 도중에, 시청자들에게 실시간 영상의 내용을 보충하기 위한 콘텐츠를 추가로 제공하고자 하는 경우가 많다.
만약, 라이브 스트리밍 서비스에 있어서, 콘텐츠 데이터의 조회에 사용되는 2차원 코드 및 노이즈 음원을 실시간 영상에 삽입할 수 있는 기술이 도입된다면, 영상 송출자는 보다 다양한 콘텐츠를 시청자에게 제공할 수 있고, 시청자들은 모바일 단말을 통해 2차원 코드 및 노이즈 음원을 인식하여, 영상 송출자가 제공하는 콘텐츠를 손쉽게 조회할 수 있다는 점에서, 라이브 스트리밍 서비스의 사용성이 증대될 수 있을 것이다.
따라서, 라이브 스트리밍 서비스의 사용성이 증대될 수 있도록 지원하기 위해, 콘텐츠 데이터의 조회에 사용되는 2차원 코드 및 노이즈 음원을 실시간 영상에 삽입할 수 있는 기술에 대한 연구가 필요하다.
본 발명은 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 라이브 스트리밍 서비스의 사용성이 증대될 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버는 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성하는 코드 생성부, 상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부 및 상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 데이터 전송부를 포함한다.
또한, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성하는 단계, 상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계 및 상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계를 포함한다.
본 발명은 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 실시간 영상을 시청하는 시청자들이 실시간 영상으로부터 보다 손쉽게 실시간 영상과 관련된 콘텐츠 데이터를 조회할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 구조를 도시한 도면이다.
도 1을 참조하면, 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버(110)는 코드 생성부(111), 노이즈 음원 생성부(112) 및 데이터 전송부(113)를 포함한다.
코드 생성부(111)는 영상 송출자(130)의 영상 송출 단말(131)로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성한다.
여기서, 상기 2차원 코드는 2차원 이미지 패턴 상에 다양한 문자 등의 정보를 삽입할 수 있는 코드를 의미하는 것으로, QR 코드(Quick Response Code), veri code, 닷 코드 등이 사용되거나 한국 등록특허 제10-1897960호에 개시된 다수의 점으로 구성된 픽셀 공간을 통해 2차원 이미지 상에 소정의 데이터를 표현할 수 있는 디지털 코드 등이 사용될 수 있다.
이때, 본 발명의 일실시예에 따르면, 코드 생성부(111)는 제1 조회 정보 생성부(114), 제1 콘텐츠 데이터 저장 처리부(115) 및 코드 생성 처리부(116)를 포함할 수 있다.
제1 조회 정보 생성부(114)는 영상 송출 단말(131)로부터, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 사전 설정된 해시 함수에 입력으로 인가하여 해시 값을 생성한 후, 상기 해시 값을 구성하는 데이터에서 사전 설정된 크기만큼의 부분 데이터를 랜덤하게 추출하고, 랜덤하게 추출된 상기 부분 데이터를 상기 제1 조회 정보로 생성한다.
제1 콘텐츠 데이터 저장 처리부(115)는 상기 부분 데이터가 상기 제1 조회 정보로 생성되면, 상기 부분 데이터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장한다.
코드 생성 처리부(116)는 상기 부분 데이터가 상기 제1 콘텐츠 데이터와 대응되어 상기 콘텐츠 저장소에 저장되면, 상기 부분 데이터를 포함하는 상기 2차원 코드를 생성한다.
이하에서는, 제1 조회 정보 생성부(114), 제1 콘텐츠 데이터 저장 처리부(115) 및 코드 생성 처리부(116)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 영상 송출 단말(131)로부터 '콘텐츠 데이터 1'이라는 상기 제1 콘텐츠 데이터 및 '콘텐츠 데이터 2'라는 상기 제2 콘텐츠 데이터가 수신되면서, '콘텐츠 데이터 1' 및 '콘텐츠 데이터 2' 각각에 대한 조회 정보의 생성 요청이 라이브 스트리밍 서버(110)에 수신되었다고 가정하자.
그러면, 제1 조회 정보 생성부(114)는 '콘텐츠 데이터 1'을 사전 설정된 해시 함수에 입력으로 인가하여 해시 값을 생성한 후, 상기 해시 값을 구성하는 데이터에서 사전 설정된 크기만큼의 부분 데이터를 랜덤하게 추출하고, 랜덤하게 추출된 상기 부분 데이터를 상기 제1 조회 정보로 생성할 수 있다.
관련해서, '콘텐츠 데이터 1'이 상기 해시 함수에 입력으로 인가되어 생성된 해시 값을 '해시 값 1'이라고 하고, 사전 설정된 크기를 '8byte'라고 하는 경우, 제1 조회 정보 생성부(114)는 '해시 값 1'을 구성하는 데이터에서 '8byte'만큼의 '부분 데이터 1'을 랜덤하게 추출하고, 랜덤하게 추출된 '부분 데이터 1'을 상기 제1 조회 정보로 생성할 수 있다.
이렇게, 제1 조회 정보 생성부(114)에 의해, '부분 데이터 1'이 상기 제1 조회 정보로 생성되면, 제1 콘텐츠 데이터 저장 처리부(115)는 '부분 데이터 1'을 '콘텐츠 데이터 1'과 대응시켜, 하기의 표 1과 같이, 콘텐츠 저장소에 저장할 수 있다.
콘텐츠 데이터 부분 데이터
콘텐츠 데이터 1 부분 데이터 1
그러고 나서, 코드 생성 처리부(116)는 '부분 데이터 1'을 포함하는 상기 2차원 코드를 생성할 수 있다.
노이즈 음원 생성부(112)는 상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈(noise) 음원을 생성한다.
여기서, 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원을 의미한다. 이때, 상기 비가청 주파수 대역은 사람의 청력으로 들을 수 없는 주파수 대역을 의미하는 것으로, '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이 상기 비가청 주파수 대역으로 사전 설정되어 있을 수 있다.
이때, 본 발명의 일실시예에 따르면, 노이즈 음원 생성부(112)는 정보 저장부(117), 제2 조회 정보 생성부(118), 제2 콘텐츠 데이터 저장 처리부(119) 및 노이즈 음원 생성 처리부(120)를 포함할 수 있다.
정보 저장부(117)에는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있다.
예컨대, 사전 설정된 비가청 주파수 대역을 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이라고 하고, n을 '5'라고 하는 경우, 정보 저장부(117)에는 하기의 표 2와 같은 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에서 사전 선택된 '5'개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있을 수 있다.
부분 주파수 대역들 식별 번호
부분 주파수 대역 1 (20,000Hz 이상 21,000Hz 미만) 1
부분 주파수 대역 2 (21,000Hz 이상 22,000Hz 미만) 2
부분 주파수 대역 3 (22,000Hz 이상 23,000Hz 미만) 3
부분 주파수 대역 4 (23,000Hz 이상 24,000Hz 미만) 4
부분 주파수 대역 5 (24,000Hz 이상 25,000Hz 미만) 5
제2 조회 정보 생성부(118)는 코드 생성부(111)를 통해 상기 2차원 코드가 생성되면, 정보 저장부(117)에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제2 조회 정보로 생성한다.
제2 콘텐츠 데이터 저장 처리부(119)는 상기 제1 식별 벡터가 상기 제2 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장한다.
노이즈 음원 생성 처리부(120)는 정보 저장부(117)를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성한다.
이하에서는, 제2 조회 정보 생성부(118), 제2 콘텐츠 데이터 저장 처리부(119) 및 노이즈 음원 생성 처리부(120)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예에 따라, 코드 생성부(111)를 통해 상기 2차원 코드가 생성되었다고 하고, k를 '3'이라고 가정하자.
그러면, 제2 조회 정보 생성부(118)는 상기 표 2와 같은 정보 저장부(117)에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 '3'개의 식별 번호들을 랜덤하게 선택할 수 있다.
관련해서, 상기 표 2와 같은 정보 저장부(117)에는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호로, '1, 2, 3, 4, 5'가 저장되어 있으므로, 제2 조회 정보 생성부(118)는 '1, 2, 3, 4, 5' 중 '3'개의 식별 번호들을 랜덤하게 선택할 수 있다.
이때, 제2 조회 정보 생성부(118)에 의해, '3'개의 식별 번호들로 '2, 3, 5'가 선택되었다고 하는 경우, 제2 조회 정보 생성부(118)는 '2, 3, 5'를 성분으로 갖는 '3'차원의 제1 식별 벡터인 '[2 3 5]'를 상기 제2 조회 정보로 생성할 수 있다.
그러면, 제2 콘텐츠 데이터 저장 처리부(119)는 상기 제1 식별 벡터인 '[2 3 5]'를 '콘텐츠 데이터 2'와 대응시켜, 하기의 표 3과 같이, 콘텐츠 저장소에 저장할 수 있다.
콘텐츠 데이터 식별 벡터
콘텐츠 데이터 2 [2 3 5]
그러고 나서, 노이즈 음원 생성 처리부(120)는 상기 표 2와 같은 정보 저장부(117)를 참조하여, '3'개의 식별 번호들인 '2, 3, 5' 각각에 대응되는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'에 대한 정보를 확인한 후, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성할 수 있다.
관련해서, 상기 표 2와 같은 정보 저장부(117)를 참조하면, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각의 중심 주파수 성분은 '21,500Hz, 22,500Hz, 24,500Hz'이므로, 노이즈 음원 생성 처리부(120)는 '21,500Hz, 22,500Hz, 24,500Hz'의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성할 수 있다.
데이터 전송부(113)는 상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 영상 송출 단말(131)로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자(140)의 영상 재생 단말(141)로 전송한다.
예컨대, 전술한 예에 따라, 코드 생성부(111)에 의해 상기 2차원 코드가 생성되었다고 하고, 노이즈 음원 생성부(112)에 의해, '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합된 신호가 상기 노이즈 음원으로 생성되었다고 하며, 그 이후, 영상 송출 단말(131)로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터로, '실시간 영상 데이터 1'이 라이브 스트리밍 서버(110)에 수신되었다고 하는 경우, 데이터 전송부(113)은 도 2에 도시된 그림과 같이, '실시간 영상 데이터 1'의 코드 표시 영역(210)에, 상기 2차원 코드(220)를 삽입함과 동시에, '실시간 영상 데이터 1'에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드(220) 및 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'을 시청자(140)의 영상 재생 단말(141)로 전송할 수 있다.
관련해서, 도 2의 예시는 다수의 점으로 구성된 픽셀 공간을 통해 2차원 이미지 상에 소정의 데이터를 표현할 수 있는 디지털 코드가 2차원 코드(220)로 삽입된 예를 나타낸 것이다. 이러한 디지털 코드는 도 2에 도시된 그림과 같이, 노란색의 점으로 구성되어 있어서, 흰색 바탕의 배경과 대비하였을 때, 색상의 대비가 명확하지 않아서, 육안으로는 명확하게 관찰되기가 어렵지만, 전자 단말의 카메라는 사람의 시각과 다르게 노란색의 점에 대한 식별을 수행할 수 있다는 점에서, 전자 단말을 통해서는 노란색 점의 패턴이 명확하게 식별될 수 있는 특징을 갖는다. 따라서, 영상 재생 단말(141)에서 '실시간 영상 데이터 1'이 재생될 때, 시청자(140)가 자신이 보유하고 있는 소정의 모바일 단말(142)을 이용해서 상기 2차원 코드(220)를 인식시키게 되면, 모바일 단말(142)은 노란색 점의 패턴을 식별함으로써, 상기 2차원 코드(220)에 포함된 정보를 확인할 수 있다.
이때, 본 발명의 일실시예에 따르면, 라이브 스트리밍 서버(110)는 제1 콘텐츠 전송부(121)를 더 포함할 수 있다.
제1 콘텐츠 전송부(121)는 데이터 전송부(113)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에서 상기 실시간 영상 데이터가 재생되는 도중, 시청자(140)가 보유하고 있는 모바일 단말(142)에 의해, 상기 코드 표시 영역에 삽입된 상기 2차원 코드가 스캔되어 인식됨으로 인해, 모바일 단말(142)로부터, 상기 2차원 코드에 포함되어 있는 상기 부분 데이터가 수신되면, 상기 콘텐츠 저장소로부터 상기 부분 데이터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 모바일 단말(142)로 전송한다.
예컨대, 전술한 예와 같이, 데이터 전송부(113)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 시청자(140)의 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 수신되었다고 가정하자.
그러면, 영상 재생 단말(141)은 '실시간 영상 데이터 1'을 재생하여, 화면 상에 실시간 영상을 표시하고, 도 2에 도시된 그림과 같이, 코드 표시 영역(210)에 상기 2차원 코드(220)를 표시함과 동시에, '실시간 영상 데이터 1'에 대한 음향을 출력할 수 있다.
이렇게, 영상 재생 단말(141)에서 '실시간 영상 데이터 1'이 재생되는 도중, 시청자(140)가 보유하고 있는 모바일 단말(142)에 의해, 도 2에 도시된 그림과 같은 코드 표시 영역(210)에 삽입된 상기 2차원 코드(220)가 스캔되어 인식되었다고 가정하자.
관련해서, 전술한 예에 따르면, 상기 2차원 코드(220)에는 '부분 데이터 1'이 포함되어 있으므로, 모바일 단말(142)은 상기 2차원 코드(220)로부터, '부분 데이터 1'을 추출할 수 있다.
그러면, 모바일 단말(142)은 '부분 데이터 1'을 라이브 스트리밍 서버(110)로 전송할 수 있다.
이에 따라, 라이브 스트리밍 서버(110)에, '부분 데이터 1'이 수신되면, 제1 콘텐츠 전송부(121)는 상기 표 1과 같은 콘텐츠 저장소로부터, '부분 데이터 1'에 대응되어 저장되어 있는 '콘텐츠 데이터 1'을 추출한 후, '콘텐츠 데이터 1'을 모바일 단말(142)로 전송할 수 있다.
또한, 본 발명의 일실시예에 따르면, 라이브 스트리밍 서버(110)는 주파수 성분 선택부(122), 색인 벡터 생성부(123), 식별 벡터 검색부(124) 및 제2 콘텐츠 전송부(125)를 더 포함할 수 있다.
주파수 성분 선택부(122)는 데이터 전송부(113)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에서 상기 실시간 영상 데이터가 재생되는 도중, 시청자(140)가 보유하고 있는 모바일 단말(142)에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 모바일 단말(142)로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택한다.
이때, 본 발명의 일실시예에 따르면, 모바일 단말(142)은 영상 재생 단말(141)에서 상기 실시간 영상 데이터가 재생되는 도중, 시청자(140)에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 모바일 단말(142)에 사전 탑재되어 있는 마이크로폰을 통해, 영상 재생 단말(141)에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 라이브 스트리밍 서버(110)로 전송할 수 있다.
이하에서는, 주파수 성분 선택부(122) 및 모바일 단말(142)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, 데이터 전송부(113)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 시청자(140)의 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 수신되었다고 가정하자.
그러면, 영상 재생 단말(141)은 '실시간 영상 데이터 1'을 재생하여, 화면 상에 실시간 영상을 표시하고, 도 2에 도시된 그림과 같이, 코드 표시 영역(210)에 상기 2차원 코드(220)를 표시함과 동시에, '실시간 영상 데이터 1'에 대한 음향을 출력할 수 있다.
이렇게, 영상 재생 단말(141)에서 '실시간 영상 데이터 1'이 재생되는 도중, 모바일 단말(142)에, 시청자(140)에 의해 '실시간 영상 데이터 1'에 대한 음향을 인식할 것을 지시하는 명령이 인가되었다고 하는 경우, 모바일 단말(142)은 모바일 단말(142)에 사전 탑재되어 있는 마이크로폰을 통해, 영상 재생 단말(141)에서 재생되는 '실시간 영상 데이터 1'에 대한 음향을 인식할 수 있다.
그러고 나서, 모바일 단말(142)은 '실시간 영상 데이터 1'에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들을 확인할 수 있다.
이때, 전술한 예에 따르면, '실시간 영상 데이터 1'에는 상기 노이즈 음원이 삽입되어 있고, 상기 노이즈 음원은 '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합되어 생성된 신호이므로, 상기 주파수 스펙트럼에는 '21,500Hz, 22,500Hz, 24,500Hz'의 주파수 성분들이 포함되어 있을 수 있다.
관련해서, 모바일 단말(142)에 의해, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들로, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'가 확인되었다고 가정하자.
그러면, 모바일 단말(142)은 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 라이브 스트리밍 서버(110)로 전송할 수 있다.
이에 따라, 라이브 스트리밍 서버(110)에 상기 노이즈 주파수 성분들에 대한 정보가 수신되면, 주파수 성분 선택부(122)는 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택한다.
색인 벡터 생성부(123)는 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 정보 저장부(117)에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성한다.
식별 벡터 검색부(124)는 상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색한다.
여기서, 상기 유사도로, 하기의 수학식 1에 따른 코사인 유사도 또는 하기의 수학식 2에 따른 유클리드 거리(Euclidean Distance) 등이 사용될 수 있다.
Figure pat00001
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
Figure pat00002
상기 수학식 2에서, 벡터 A와 벡터 B 사이의 D는 유클리드 거리로, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.
제2 콘텐츠 전송부(125)는 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제2 콘텐츠 데이터를 추출한 후, 상기 제2 콘텐츠 데이터를 모바일 단말(142)로 전송한다.
이하에서는, 색인 벡터 생성부(123), 식별 벡터 검색부(124) 및 제2 콘텐츠 전송부(125)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, k를 '3'이라고 하고, 모바일 단말(142)이 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여 라이브 스트리밍 서버(110)로 전송함에 따라, 라이브 스트리밍 서버(110)에, 상기 노이즈 주파수 성분들에 대한 정보가 수신되었다고 가정하자.
그러면, 주파수 성분 선택부(122)는 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' 중 진폭이 큰 순서로 '3'개의 제1 노이즈 주파수 성분들을 선택할 수 있다.
관련해서, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'를 진폭이 큰 순서로 나열하면 '21,500Hz, 22,500Hz, 24,500Hz, 21,000Hz'와 같다고 하는 경우, 주파수 성분 선택부(122)는 상기 제1 노이즈 주파수 성분들로, '21,500Hz, 22,500Hz, 24,500Hz'를 선택할 수 있다.
그러면, 색인 벡터 생성부(123)는 상기 표 2와 같은 정보 저장부(117)에 저장되어 있는 부분 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 '3'개의 제1 부분 주파수 대역들을 확인할 수 있다.
관련해서, 상기 표 2와 같은 정보 저장부(117)에 저장되어 있는 부분 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 부분 주파수 대역은 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'이므로, 색인 벡터 생성부(123)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'를 상기 제1 부분 주파수 대역들로 확인할 수 있다.
그러고 나서, 색인 벡터 생성부(123)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각에 대응되는 식별 번호를 성분으로 갖는 '3'차원의 색인 벡터를 생성할 수 있다.
관련해서, 상기 표 2와 같은 정보 저장부(117)에서는, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각에 대응되는 식별 번호가 '2, 3, 5'이므로, 색인 벡터 생성부(123)는 '2, 3, 5'를 성분으로 갖는 '3'차원의 색인 벡터를 '[2 3 5]'와 같이 생성할 수 있다.
그러면, 식별 벡터 검색부(124)는 상기 표 3과 같은 콘텐츠 저장소에서 상기 색인 벡터인 '[2 3 5]'와의 유사도가 최대인 식별 벡터를 검색할 수 있다.
그 결과, 상기 표 3과 같은 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터인 '[2 3 5]'가 검색되었다고 하는 경우, 제2 콘텐츠 전송부(125)는 상기 표 3과 같은 콘텐츠 저장소로부터 '[2 3 5]'에 대응되어 저장되어 있는 '콘텐츠 데이터 2'를 추출한 후, '콘텐츠 데이터 2'를 모바일 단말(142)로 전송할 수 있다.
결국, 본 발명에 따른 라이브 스트리밍 서버(110)는 영상 송출자가 2차원 코드와 노이즈 음원을 이용하여 실시간 영상 데이터 상에 둘 이상의 콘텐츠 데이터에 대한 조회 정보를 삽입할 수 있도록 지원할 수 있다. 이때, 영상 송출자는 실시간 영상에서 2차원 코드가 노출되는 시점과 노이즈 음원이 출력되는 시점을 서로 다르게 설정해 둠으로써, 시청자의 영상 재생 단말에서 실시간 영상이 재생될 때, 실시간 영상의 재생 시점에 따라 영상에서 2차원 코드가 노출되도록 하거나 노이즈 음원이 출력되도록 처리할 수 있다. 예컨대, 실시간 영상이 강의 영상이라고 하는 경우, 영상 초반부에는 제1 강의 주제와 연관된 콘텐츠에 대한 조회 정보가 삽입된 2차원 코드가 노출되도록 하고, 영상 후반부에는 제2 강의 주제와 연관된 콘텐츠에 대한 조회 정보가 삽입된 노이즈 음원이 출력되도록 함으로써, 시청자가 해당 강의 영상으로부터 재생 시점에 따른 서로 다른 콘텐츠를 조회할 수 있도록 처리할 수 있다.
도 3은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 도시한 순서도이다.
단계(S310)에서는 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성한다.
단계(S320)에서는 상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈 음원(상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임)을 생성한다.
단계(S330)에서는 상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송한다.
이때, 본 발명의 일실시예에 따르면, 단계(S310)에서는 상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 사전 설정된 해시 함수에 입력으로 인가하여 해시 값을 생성한 후, 상기 해시 값을 구성하는 데이터에서 사전 설정된 크기만큼의 부분 데이터를 랜덤하게 추출하고, 랜덤하게 추출된 상기 부분 데이터를 상기 제1 조회 정보로 생성하는 단계, 상기 부분 데이터가 상기 제1 조회 정보로 생성되면, 상기 부분 데이터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계 및 상기 부분 데이터가 상기 제1 콘텐츠 데이터와 대응되어 상기 콘텐츠 저장소에 저장되면, 상기 부분 데이터를 포함하는 상기 2차원 코드를 생성하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계, 상기 2차원 코드를 생성하는 단계를 통해 상기 2차원 코드가 생성되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제2 조회 정보로 생성하는 단계, 상기 제1 식별 벡터가 상기 제2 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계 및 상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 라이브 스트리밍 서버의 동작 방법은 단계(S330)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 코드 표시 영역에 삽입된 상기 2차원 코드가 스캔되어 인식됨으로 인해, 상기 모바일 단말로부터, 상기 2차원 코드에 포함되어 있는 상기 부분 데이터가 수신되면, 상기 콘텐츠 저장소로부터 상기 부분 데이터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 라이브 스트리밍 서버의 동작 방법은 단계(S330)에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계, 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 단계, 상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 단계 및 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제2 콘텐츠 데이터를 추출한 후, 상기 제2 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 모바일 단말은 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송할 수 있다.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 도 1 내지 2를 이용하여 설명한 라이브 스트리밍 서버(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 라이브 스트리밍 서버
111: 코드 생성부 112: 노이즈 음원 생성부
113: 데이터 전송부 114: 제1 조회 정보 생성부
115: 제1 콘텐츠 데이터 저장 처리부 116: 코드 생성 처리부
117: 정보 저장부 118: 제2 조회 정보 생성부
119: 제2 콘텐츠 데이터 저장 처리부 120: 노이즈 음원 생성 처리부
121: 제1 콘텐츠 전송부 122: 주파수 성분 선택부
123: 색인 벡터 생성부 124: 식별 벡터 검색부
125: 제2 콘텐츠 전송부
130: 영상 송출자
131: 영상 송출 단말
140: 시청자
141: 영상 재생 단말
142: 모바일 단말

Claims (14)

  1. 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버에 있어서,
    영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성하는 코드 생성부;
    상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부; 및
    상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 데이터 전송부
    를 포함하는 라이브 스트리밍 서버.
  2. 제1항에 있어서,
    상기 코드 생성부는
    상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 사전 설정된 해시 함수에 입력으로 인가하여 해시 값을 생성한 후, 상기 해시 값을 구성하는 데이터에서 사전 설정된 크기만큼의 부분 데이터를 랜덤하게 추출하고, 랜덤하게 추출된 상기 부분 데이터를 상기 제1 조회 정보로 생성하는 제1 조회 정보 생성부;
    상기 부분 데이터가 상기 제1 조회 정보로 생성되면, 상기 부분 데이터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 제1 콘텐츠 데이터 저장 처리부; 및
    상기 부분 데이터가 상기 제1 콘텐츠 데이터와 대응되어 상기 콘텐츠 저장소에 저장되면, 상기 부분 데이터를 포함하는 상기 2차원 코드를 생성하는 코드 생성 처리부
    를 포함하는 라이브 스트리밍 서버.
  3. 제1항에 있어서,
    상기 노이즈 음원 생성부는
    상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부;
    상기 코드 생성부를 통해 상기 2차원 코드가 생성되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제2 조회 정보로 생성하는 제2 조회 정보 생성부;
    상기 제1 식별 벡터가 상기 제2 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 제2 콘텐츠 데이터 저장 처리부; 및
    상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 노이즈 음원 생성 처리부
    를 포함하는 라이브 스트리밍 서버.
  4. 제2항에 있어서,
    상기 데이터 전송부에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 코드 표시 영역에 삽입된 상기 2차원 코드가 스캔되어 인식됨으로 인해, 상기 모바일 단말로부터, 상기 2차원 코드에 포함되어 있는 상기 부분 데이터가 수신되면, 상기 콘텐츠 저장소로부터 상기 부분 데이터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 제1 콘텐츠 전송부
    를 더 포함하는 라이브 스트리밍 서버.
  5. 제3항에 있어서,
    상기 데이터 전송부에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 상기 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 주파수 성분 선택부;
    상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 색인 벡터 생성부;
    상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 식별 벡터 검색부; 및
    상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제2 콘텐츠 데이터를 추출한 후, 상기 제2 콘텐츠 데이터를 상기 모바일 단말로 전송하는 제2 콘텐츠 전송부
    를 더 포함하는 라이브 스트리밍 서버.
  6. 제5항에 있어서,
    상기 모바일 단말은
    상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송하는 것을 특징으로 하는 라이브 스트리밍 서버.
  7. 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법에 있어서,
    영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터 및 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보를 포함하는 2차원 코드를 생성하는 단계;
    상기 2차원 코드가 생성되면, 상기 제2 콘텐츠 데이터를 조회하기 위한 제2 조회 정보를 생성한 후, 상기 제2 조회 정보를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하고, 상기 제2 조회 정보를 포함하는 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계; 및
    상기 2차원 코드 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터의 사전 설정된 코드 표시 영역에, 상기 2차원 코드를 삽입함과 동시에, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계
    를 포함하는 라이브 스트리밍 서버의 동작 방법.
  8. 제7항에 있어서,
    상기 2차원 코드를 생성하는 단계는
    상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터가 수신되면서, 상기 제1 콘텐츠 데이터 및 상기 제2 콘텐츠 데이터 각각에 대한 조회 정보의 생성 요청이 수신되면, 상기 제1 콘텐츠 데이터를 사전 설정된 해시 함수에 입력으로 인가하여 해시 값을 생성한 후, 상기 해시 값을 구성하는 데이터에서 사전 설정된 크기만큼의 부분 데이터를 랜덤하게 추출하고, 랜덤하게 추출된 상기 부분 데이터를 상기 제1 조회 정보로 생성하는 단계;
    상기 부분 데이터가 상기 제1 조회 정보로 생성되면, 상기 부분 데이터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계; 및
    상기 부분 데이터가 상기 제1 콘텐츠 데이터와 대응되어 상기 콘텐츠 저장소에 저장되면, 상기 부분 데이터를 포함하는 상기 2차원 코드를 생성하는 단계
    를 포함하는 라이브 스트리밍 서버의 동작 방법.
  9. 제7항에 있어서,
    상기 노이즈 음원을 생성하는 단계는
    상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계;
    상기 2차원 코드를 생성하는 단계를 통해 상기 2차원 코드가 생성되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제2 조회 정보로 생성하는 단계;
    상기 제1 식별 벡터가 상기 제2 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제2 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계; 및
    상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계
    를 포함하는 라이브 스트리밍 서버의 동작 방법.
  10. 제8항에 있어서,
    상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 코드 표시 영역에 삽입된 상기 2차원 코드가 스캔되어 인식됨으로 인해, 상기 모바일 단말로부터, 상기 2차원 코드에 포함되어 있는 상기 부분 데이터가 수신되면, 상기 콘텐츠 저장소로부터 상기 부분 데이터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계
    를 더 포함하는 라이브 스트리밍 서버의 동작 방법.
  11. 제9항에 있어서,
    상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계에 의해, 상기 2차원 코드 및 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 상기 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계;
    상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 단계;
    상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 단계; 및
    상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제2 콘텐츠 데이터를 추출한 후, 상기 제2 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계
    를 더 포함하는 라이브 스트리밍 서버의 동작 방법.
  12. 제11항에 있어서,
    상기 모바일 단말은
    상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송하는 것을 특징으로 하는 라이브 스트리밍 서버의 동작 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  14. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020210089462A 2021-07-08 2021-07-08 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법 KR102500753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210089462A KR102500753B1 (ko) 2021-07-08 2021-07-08 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089462A KR102500753B1 (ko) 2021-07-08 2021-07-08 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20230008989A true KR20230008989A (ko) 2023-01-17
KR102500753B1 KR102500753B1 (ko) 2023-02-16

Family

ID=85111443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089462A KR102500753B1 (ko) 2021-07-08 2021-07-08 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102500753B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120045622A (ko) * 2010-10-29 2012-05-09 숭실대학교산학협력단 큐알 코드를 이용하여 아이피티브이 콘텐츠에 대한 링크정보를 이기종의 단말에 제공하기 위한 장치 및 방법
KR20150125627A (ko) * 2014-04-30 2015-11-09 (주)파워보이스 컨텐츠 관련 정보 제공 방법, 컴퓨터 프로그램, 사운드 큐알 생성 장치 및 사운드 큐알 관리 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120045622A (ko) * 2010-10-29 2012-05-09 숭실대학교산학협력단 큐알 코드를 이용하여 아이피티브이 콘텐츠에 대한 링크정보를 이기종의 단말에 제공하기 위한 장치 및 방법
KR20150125627A (ko) * 2014-04-30 2015-11-09 (주)파워보이스 컨텐츠 관련 정보 제공 방법, 컴퓨터 프로그램, 사운드 큐알 생성 장치 및 사운드 큐알 관리 시스템

Also Published As

Publication number Publication date
KR102500753B1 (ko) 2023-02-16

Similar Documents

Publication Publication Date Title
US11023618B2 (en) Systems and methods for detecting modifications in a video clip
KR102500740B1 (ko) 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법
US20140223279A1 (en) Data augmentation with real-time annotations
JP6999516B2 (ja) 情報処理装置
CN109819316B (zh) 处理视频中人脸贴纸的方法、装置、存储介质及电子设备
KR20160119218A (ko) 사운드 이미지 재생 방법 및 디바이스
US11405226B1 (en) Methods and apparatus for assessing network presence
KR20210038537A (ko) 정보 처리 장치 및 방법, 그리고 프로그램
US10943446B2 (en) Media recognition and synchronisation to a motion signal
CN114330610A (zh) 一种基于二维码视频的高效数据传输方法
JP2021508193A5 (ko)
KR102500753B1 (ko) 콘텐츠 데이터의 조회에 사용되는 2차원 코드와 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법
JP2021508193A (ja) キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法
KR102523813B1 (ko) 영상에 대한 키워드 기반 검색을 가능하게 하는 영상 스트리밍 서비스 서버 및 그 동작 방법
KR102268981B1 (ko) 360도 영상에서의 특징값을 이용한 원본 영상 검출 장치 및 그 방법
KR102500735B1 (ko) 영상에 연관된 광고 정보를 표시하기 위한 영상 스트리밍 서비스 서버 및 그 동작 방법
CN105027552A (zh) 图像处理设备、图像处理方法和程序
JP2016010102A (ja) 情報提示システム
KR102440901B1 (ko) 실시간 영상에 콘텐츠 데이터의 조회에 사용되는 2차원 코드를 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법
KR102618619B1 (ko) 상품의 구매를 위한 구매 사이트 정보를, 상품 판매를 위한 실시간 쇼핑 방송 영상에 삽입하여 송출할 수 있는 라이브 스트리밍 서버 및 그 동작 방법
KR102636708B1 (ko) 프레젠테이션 문서에 대한 수어 발표 영상을 제작할 수 있는 전자 단말 장치 및 그 동작 방법
KR102384263B1 (ko) 음성 인덱싱을 이용한 비디오 가공 방법 및 장치
KR102377177B1 (ko) 영상 편집 장치
KR20220168676A (ko) 실시간 영상에 콘텐츠 데이터의 조회에 사용되는 디지털 코드를 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법
KR102602208B1 (ko) 상품에 인쇄되어 있는 2차원 코드를 기반으로 상품에 대한 정품 인증을 수행하여 음성 기반의 안내 메시지를 출력하는 전자 단말 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant