KR102500740B1 - Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof - Google Patents
Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof Download PDFInfo
- Publication number
- KR102500740B1 KR102500740B1 KR1020210082843A KR20210082843A KR102500740B1 KR 102500740 B1 KR102500740 B1 KR 102500740B1 KR 1020210082843 A KR1020210082843 A KR 1020210082843A KR 20210082843 A KR20210082843 A KR 20210082843A KR 102500740 B1 KR102500740 B1 KR 102500740B1
- Authority
- KR
- South Korea
- Prior art keywords
- real
- time video
- content data
- data
- information
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims 2
- 238000000034 method Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 107
- 230000005540 biological transmission Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 실시간 영상을 시청하는 시청자들이 실시간 영상으로부터 보다 손쉽게 실시간 영상과 관련된 콘텐츠 데이터를 조회할 수 있도록 지원할 수 있다.The present invention proposes a live streaming server capable of inserting a noise source used for querying content data into real-time video and a method of operating the same, so that viewers watching real-time video can more easily obtain content data related to real-time video from real-time video. We can support you to look up.
Description
본 발명은 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법에 대한 것이다.The present invention relates to a live streaming server capable of inserting a noise source used to search content data into a real-time video and a method of operating the same.
최근, 컴퓨터나 스마트폰 또는 태블릿 PC 등과 같은 전자 단말이 널리 보급됨에 따라, 이러한 전자 단말을 이용하여 시청할 수 있는 다양한 형태의 영상 콘텐츠들이 등장하고 있다. Recently, as electronic terminals such as computers, smart phones, tablet PCs, etc. are widely spread, various types of video contents that can be viewed using such electronic terminals are appearing.
또한, 전 세계적으로 COVID-19의 유행이 장기화됨에 따라, 사람들 간의 접촉과 이동이 제한되는 상황에서, 야외에서 활동을 하는 대신 전자 단말을 이용하여 다양한 영상을 시청하면서 여가 시간을 보내는 시청자들이 증가하고 있다.In addition, as the global epidemic of COVID-19 prolongs, the number of viewers who spend their leisure time watching various videos using electronic terminals instead of outdoor activities in a situation where contact and movement between people is restricted increases. there is.
특히, 최근에는, 영상 송출자의 영상 송출 단말로부터 수신되는 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송함으로써, 시청자가 실시간 영상을 시청할 수 있도록 지원하는 라이브 스트리밍 서비스를 통해, 실시간 영상을 시청하는 시청자들이 증가하고 있다.In particular, recently, viewers who watch real-time video through a live streaming service that supports viewers to watch real-time video by transmitting real-time video data received from the video transmission terminal of the video sender to the video playback terminal of the viewer It is increasing.
한편, 영상 송출자가 실시간 영상을 통해 시청자들에게 제공할 수 있는 정보는 제한적이기 때문에, 영상 송출자는 실시간 영상이 재생되는 도중에, 시청자들에게 실시간 영상의 내용을 보충하기 위한 콘텐츠를 추가로 제공하고자 하는 경우가 많다.On the other hand, since the information that the video sender can provide to viewers through real-time video is limited, there is a case where the video sender wants to provide additional content to supplement the contents of the real-time video to viewers while the real-time video is being played. many.
만약, 라이브 스트리밍 서비스에 있어서, 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 기술이 도입된다면, 영상 송출자는 보다 다양한 콘텐츠를 시청자에게 제공할 수 있고, 시청자들은 모바일 단말을 통해 노이즈 음원을 인식하여, 영상 송출자가 제공하는 콘텐츠를 손쉽게 조회할 수 있다는 점에서, 라이브 스트리밍 서비스의 사용성이 증대될 수 있을 것이다.If, in a live streaming service, a technology capable of inserting a noise source used for content data inquiry into a real-time video is introduced, the video transmitter can provide more diverse contents to viewers, and viewers can use mobile terminals. The usability of the live streaming service can be increased in that the noise source can be recognized and the content provided by the video sender can be easily retrieved.
따라서, 라이브 스트리밍 서비스의 사용성이 증대될 수 있도록 지원하기 위해, 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 기술에 대한 연구가 필요하다.Therefore, in order to increase the usability of the live streaming service, research on a technology capable of inserting a noise source used for content data inquiry into a real-time video is required.
본 발명은 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 라이브 스트리밍 서비스의 사용성이 증대될 수 있도록 지원하고자 한다.The present invention is intended to support the increase in usability of a live streaming service by providing a live streaming server capable of inserting a noise source used for querying content data into a real-time video and an operation method thereof.
본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버는 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 데이터 전송부를 포함한다.According to an embodiment of the present invention, a live streaming server capable of inserting a noise source used for inquiry of content data into a real-time video receives first content data from a video transmission terminal of a video sender, and adds the first content data to the real-time video. 1 When a processing request instructing to include search information for searching content data is received, first search information for searching the first content data is generated, and then the first search information is converted into the first content data. A noise sound source stored in a content storage in correspondence with and inserted with the first inquiry information - The noise sound source is a sound source generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band. - When real-time video data, which is a live streaming target, is received from the video transmission terminal after the noise source generator and the noise source are generated, the noise source is inserted into the real-time video data, and the noise source is inserted into the real-time video data. and a data transmitter for transmitting the real-time video data into which the noise source is inserted to a viewer's video playback terminal.
또한, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계 및 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계를 포함한다.In addition, according to an embodiment of the present invention, a method of operating a live streaming server capable of inserting a noise sound source used for content data inquiry into a real-time video, while receiving first content data from a video transmission terminal of a video sender, When a processing request instructing to include search information for searching the first content data in the real-time video is received, after generating the first search information for searching the first content data, the first search information A noise source corresponding to the first content data and stored in a content storage and having the first inquiry information inserted therein - the noise source is generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band The step of generating a sound source, and after the noise source is generated, when real-time video data, which is a target of live streaming, is received from the video transmission terminal, after inserting the noise source into the real-time video data, the noise source is generated. and transmitting the real-time video data into which the sound source is inserted to a viewer's video playback terminal.
본 발명은 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버 및 그 동작 방법을 제시함으로써, 실시간 영상을 시청하는 시청자들이 실시간 영상으로부터 보다 손쉽게 실시간 영상과 관련된 콘텐츠 데이터를 조회할 수 있도록 지원할 수 있다.The present invention proposes a live streaming server capable of inserting a noise source used for querying content data into real-time video and a method of operating the same, so that viewers watching real-time video can more easily obtain content data related to real-time video from real-time video. We can support you to look up.
도 1은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법을 도시한 순서도이다.1 is a diagram showing the structure of a live streaming server capable of inserting a noise source used for content data inquiry according to an embodiment of the present invention into a real-time video.
2 is a flowchart illustrating a method of operating a live streaming server capable of inserting a noise sound source used for content data inquiry according to an embodiment of the present invention into a real-time video.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, are common knowledge in the art to which the present invention belongs. has the same meaning as commonly understood by the person who has it.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks of the accompanying block diagram or the steps of the flowchart are computer program instructions that perform designated functions by being loaded into a processor or memory of a device capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer. can be interpreted as meaning Since these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory, the functions described in blocks of a block diagram or steps of a flowchart are produced as a product containing instruction means for performing them. It could be. Further, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). Also, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may be executed out of a predetermined order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 구조를 도시한 도면이다.1 is a diagram showing the structure of a live streaming server capable of inserting a noise source used for content data inquiry according to an embodiment of the present invention into a real-time video.
도 1을 참조하면, 본 발명에 따른 라이브 스트리밍 서버(110)는 노이즈 음원 생성부(111) 및 데이터 전송부(112)를 포함한다.Referring to FIG. 1 , a
노이즈 음원 생성부(111)는 영상 송출자(130)의 영상 송출 단말(131)로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈(noise) 음원을 생성한다.When the first content data is received from the
여기서, 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원을 의미한다. 이때, 상기 비가청 주파수 대역은 사람의 청력으로 들을 수 없는 주파수 대역을 의미하는 것으로, '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이 상기 비가청 주파수 대역으로 사전 설정되어 있을 수 있다.Here, the noise sound source means a sound source generated by combining signals of two or more pre-selected frequency components in a preset inaudible frequency band. In this case, the inaudible frequency band means a frequency band that cannot be heard by human hearing, and a frequency band of '20,000 Hz or more and less than 25,000 Hz' may be preset as the non-audible frequency band.
이때, 본 발명의 일실시예에 따르면, 노이즈 음원 생성부(111)는 정보 저장부(113), 조회 정보 생성부(114), 저장 처리부(115) 및 노이즈 음원 생성 처리부(116)를 포함할 수 있다.At this time, according to an embodiment of the present invention, the
정보 저장부(113)에는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3 이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있다.The
예컨대, 사전 설정된 비가청 주파수 대역을 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이라고 하고, n을 '5'라고 하는 경우, 정보 저장부(113)에는 하기의 표 1과 같은 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에서 사전 선택된 '5'개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있을 수 있다.For example, if the preset inaudible frequency band is a frequency band of '20,000 Hz or more and less than 25,000 Hz' and n is '5', the
조회 정보 생성부(114)는 영상 송출 단말(131)로부터, 상기 제1 콘텐츠 데이터가 수신되면서, 상기 처리 요청이 수신되면, 정보 저장부(113)에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2 이상 n 미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 조회 정보로 생성한다.When the processing request is received while the first content data is received from the
저장 처리부(115)는 조회 정보 생성부(114)에 의해 상기 제1 식별 벡터가 상기 제1 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장한다.When the first identification vector is generated as the first inquiry information by the inquiry
노이즈 음원 생성 처리부(116)는 정보 저장부(113)를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성한다.The noise source
이하에서는, 조회 정보 생성부(114), 저장 처리부(115) 및 노이즈 음원 생성 처리부(116)의 동작을 예를 들어, 상세히 설명하기로 한다. Hereinafter, operations of the inquiry
먼저, k를 '3'이라고 하고, 영상 송출 단말(131)로부터 '콘텐츠 데이터 1'이 수신되면서, 실시간 영상에 '콘텐츠 데이터 1'을 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되었다고 가정하자.First, when k is set to '3' and 'content data 1' is received from the
그러면, 조회 정보 생성부(114)는 상기 표 1과 같은 정보 저장부(113)에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 '3'개의 식별 번호들을 랜덤하게 선택할 수 있다.Then, the inquiry
관련해서, 상기 표 1과 같은 정보 저장부(113)에는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호로, '1, 2, 3, 4, 5'가 저장되어 있으므로, 조회 정보 생성부(114)는 '1, 2, 3, 4, 5' 중 '3'개의 식별 번호들을 랜덤하게 선택할 수 있다.In this regard, since '1, 2, 3, 4, and 5' are stored as identification numbers corresponding to each of the partial frequency bands in the
이때, 조회 정보 생성부(114)에 의해, '3'개의 식별 번호들로 '2, 3, 5'가 선택되었다고 하는 경우, 조회 정보 생성부(114)는 '2, 3, 5'를 성분으로 갖는 '3'차원의 제1 식별 벡터인 '[2 3 5]'를 상기 제1 조회 정보로 생성할 수 있다. At this time, when it is assumed that '2, 3, and 5' are selected as '3' identification numbers by the inquiry
그러면, 저장 처리부(115)는 상기 제1 식별 벡터인 '[2 3 5]'를 '콘텐츠 데이터 1'과 대응시켜, 하기의 표 2와 같은 콘텐츠 저장소에 저장할 수 있다.Then, the
그러고 나서, 노이즈 음원 생성 처리부(116)는 상기 표 1과 같은 정보 저장부(113)를 참조하여, '3'개의 식별 번호들인 '2, 3, 5' 각각에 대응되는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'에 대한 정보를 확인한 후, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성할 수 있다.Then, the noise source
관련해서, 상기 표 1과 같은 정보 저장부(113)를 참조하면, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각의 중심 주파수 성분은 '21,500Hz, 22,500Hz, 24,500Hz'이므로, 노이즈 음원 생성 처리부(116)는 '21,500Hz, 22,500Hz, 24,500Hz'의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성할 수 있다.In relation to this, referring to the
이렇게, 노이즈 음원 생성부(111)에 의해 상기 노이즈 음원이 생성된 이후, 영상 송출 단말(131)로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 데이터 전송부(112)는 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자(140)의 영상 재생 단말(141)로 전송한다.In this way, after the noise source is generated by the
예컨대, 전술한 예에 따라, 노이즈 음원 생성부(111)에 의해, '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합된 신호가 상기 노이즈 음원으로 생성되었다고 하고, 그 이후, 영상 송출 단말(131)로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터로, '실시간 영상 데이터 1'이 수신되었다고 하는 경우, 데이터 전송부(112)는 '실시간 영상 데이터 1'에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'을 시청자(140)의 영상 재생 단말(141)로 전송할 수 있다.For example, according to the above-described example, it is assumed that a signal obtained by combining signals of '21,500 Hz, 22,500 Hz, and 24,500 Hz' is generated as the noise source by the
이때, 본 발명의 일실시예에 따르면, 라이브 스트리밍 서버(110)는 주파수 성분 선택부(117), 색인 벡터 생성부(118), 식별 벡터 검색부(119) 및 콘텐츠 전송부(120)를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the
주파수 성분 선택부(117)는 데이터 전송부(112)에 의해 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에서 상기 실시간 영상 데이터가 재생되는 도중, 시청자(140)가 보유하고 있는 모바일 단말(142)에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 모바일 단말(142)로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택한다.As the real-time video data into which the noise source is inserted by the
이때, 본 발명의 일실시예에 따르면, 모바일 단말(142)은 영상 재생 단말(141)에서 상기 실시간 영상 데이터가 재생되는 도중, 시청자(140)에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 모바일 단말(142)에 사전 탑재되어 있는 마이크로폰을 통해, 영상 재생 단말(141)에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 라이브 스트리밍 서버(110)로 전송할 수 있다.At this time, according to an embodiment of the present invention, the
이하에서는, 주파수 성분 선택부(117) 및 모바일 단말(142)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the
먼저, 전술한 예와 같이, 데이터 전송부(112)에 의해, 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 시청자(140)의 영상 재생 단말(141)로 전송됨에 따라, 영상 재생 단말(141)에, 상기 노이즈 음원이 삽입된 '실시간 영상 데이터 1'이 수신되었다고 가정하자.First, as in the above example, as the 'real-time video data 1' into which the noise source is inserted is transmitted to the
그러면, 영상 재생 단말(141)은 '실시간 영상 데이터 1'을 재생하여 화면 상에 실시간 영상을 표시함과 동시에, '실시간 영상 데이터 1'에 대한 음향을 출력할 수 있다.Then, the
이렇게, 영상 재생 단말(141)에서 '실시간 영상 데이터 1'이 재생되는 도중, 모바일 단말(142)에, 시청자(140)에 의해 '실시간 영상 데이터 1'에 대한 음향을 인식할 것을 지시하는 명령이 인가되었다고 하는 경우, 모바일 단말(142)은 모바일 단말(142)에 사전 탑재되어 있는 마이크로폰을 통해, 영상 재생 단말(141)에서 재생되는 '실시간 영상 데이터 1'에 대한 음향을 인식할 수 있다.In this way, while 'real-time video data 1' is being reproduced in the
그러고 나서, 모바일 단말(142)은 '실시간 영상 데이터 1'에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들을 확인할 수 있다.Then, the
이때, 전술한 예에 따르면, '실시간 영상 데이터 1'에는 상기 노이즈 음원이 삽입되어 있고, 상기 노이즈 음원은 '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합되어 생성된 신호이므로, 상기 주파수 스펙트럼에는 '21,500Hz, 22,500Hz, 24,500Hz'의 주파수 성분들이 포함되어 있을 수 있다.At this time, according to the above example, since the noise source is inserted into 'real-time video data 1' and the noise source is a signal generated by combining signals of '21,500 Hz, 22,500 Hz, and 24,500 Hz', the frequency spectrum may include frequency components of '21,500 Hz, 22,500 Hz, and 24,500 Hz'.
관련해서, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들로, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'가 확인되었다고 가정하자.In relation to this, it has been confirmed that '21,000Hz, 21,500Hz, 22,500Hz, and 24,500Hz' are non-audible frequency components existing in the frequency band of '20,000Hz or more and less than 25,000Hz' among the frequency components included in the frequency spectrum. Let's assume.
그러면, 모바일 단말(142)은 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 라이브 스트리밍 서버(110)로 전송할 수 있다.Then, the
이에 따라, 라이브 스트리밍 서버(110)에 상기 노이즈 주파수 성분들에 대한 정보가 수신되면, 주파수 성분 선택부(117)는 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택한다.Accordingly, when information on the noise frequency components is received by the
색인 벡터 생성부(118)는 주파수 성분 선택부(117)에 의해 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 정보 저장부(113)에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성한다.When the k first noise frequency components are selected by the
식별 벡터 검색부(119)는 색인 벡터 생성부(118)에 의해 상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색한다.When the index vector is generated by the
여기서, 상기 유사도로, 하기의 수학식 1에 따른 코사인 유사도 또는 하기의 수학식 2에 따른 유클리드 거리(Euclidean Distance) 등이 사용될 수 있다.Here, as the similarity, a cosine similarity according to Equation 1 below or a Euclidean distance according to Equation 2 below may be used.
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.In Equation 1, S is the cosine similarity between vector A and vector B, and has a value between -1 and 1, A i denotes the i-th component of vector A, and B i denotes the i-th component of vector B. do. In this regard, the greater the cosine similarity between two vectors, the more similar the two vectors are to each other.
상기 수학식 2에서, 벡터 A와 벡터 B 사이의 D는 유클리드 거리로, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.In Equation 2, D between vector A and vector B is the Euclidean distance, A i denotes the i-th component of vector A, and B i denotes the i-th component of vector B. In this regard, the smaller the Euclidean distance between two vectors, the more similar the two vectors are.
콘텐츠 전송부(120)는 식별 벡터 검색부(119)에 의해 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 모바일 단말(142)로 전송한다.The
이하에서는, 색인 벡터 생성부(118), 식별 벡터 검색부(119) 및 콘텐츠 전송부(120)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the
먼저, 전술한 예와 같이, k를 '3'이라고 하고, 모바일 단말(142)이 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여 라이브 스트리밍 서버(110)로 전송함에 따라, 라이브 스트리밍 서버(110)에, 상기 노이즈 주파수 성분들에 대한 정보가 수신되었다고 가정하자. First, as in the above example, let k be '3' and the
그러면, 주파수 성분 선택부(117)는 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' 중 진폭이 큰 순서로 '3'개의 제1 노이즈 주파수 성분들을 선택할 수 있다.Then, the
관련해서, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'를 진폭이 큰 순서로 나열하면 '21,500Hz, 22,500Hz, 24,500Hz, 21,000Hz'와 같다고 하는 경우, 주파수 성분 선택부(117)는 상기 제1 노이즈 주파수 성분들로, '21,500Hz, 22,500Hz, 24,500Hz'를 선택할 수 있다.In this regard, if '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' is arranged in order of amplitude, it is equal to '21,500Hz, 22,500Hz, 24,500Hz, 21,000Hz', the
그러면, 색인 벡터 생성부(118)는 상기 표 1과 같은 정보 저장부(113)에 저장되어 있는 상기 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 '3'개의 제1 부분 주파수 대역들을 확인할 수 있다.Then, the
관련해서, 상기 표 1과 같은 정보 저장부(113)에 저장되어 있는 상기 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 부분 주파수 대역은 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'이므로, 색인 벡터 생성부(118)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'를 상기 제1 부분 주파수 대역들로 확인할 수 있다.In relation to this, among the frequency bands stored in the
그러고 나서, 색인 벡터 생성부(118)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각에 대응되는 식별 번호를 성분으로 갖는 '3'차원의 색인 벡터를 생성할 수 있다.Then, the
관련해서, 상기 표 1과 같은 정보 저장부(113)에서는, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각에 대응되는 식별 번호가 '2, 3, 5'이므로, 색인 벡터 생성부(118)는 '2, 3, 5'를 성분으로 갖는 '3'차원의 색인 벡터를 '[2 3 5]'와 같이 생성할 수 있다.In relation to this, in the
그러면, 식별 벡터 검색부(119)는 상기 표 2와 같은 콘텐츠 저장소에서 상기 색인 벡터인 '[2 3 5]'와의 유사도가 최대인 식별 벡터를 검색할 수 있다.Then, the identification
그 결과, 상기 표 2와 같은 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터인 '[2 3 5]'가 검색되었다고 하는 경우, 콘텐츠 전송부(120)는 상기 표 2와 같은 콘텐츠 저장소로부터 '[2 3 5]'에 대응되어 저장되어 있는 '콘텐츠 데이터 1'을 추출한 후, '콘텐츠 데이터 1'을 모바일 단말(142)로 전송할 수 있다.As a result, when it is assumed that '[2 3 5]', which is the first identification vector, is found as an identification vector having the maximum similarity with the index vector in the content storage as shown in Table 2, the
이때, 본 발명의 일실시예에 따르면, 콘텐츠 전송부(120)는 상기 제1 콘텐츠 데이터를 암호화하여 모바일 단말(142)로 전송하기 위한 구성으로, 콘텐츠 암호화부(121) 및 콘텐츠 전송 처리부(122)를 포함할 수 있다.At this time, according to one embodiment of the present invention, the
콘텐츠 암호화부(121)는 식별 벡터 검색부(119)에 의해 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출하고, 상기 제1 콘텐츠 데이터를 암호화하기 위한 암호화키를 랜덤하게 생성한 후, 상기 암호화키로 상기 제1 콘텐츠 데이터를 암호화한다.The
콘텐츠 전송 처리부(122)는 콘텐츠 암호화부(121)에 의해 상기 제1 콘텐츠 데이터가 암호화되면, 모바일 단말(142)로, 암호화된 상기 제1 콘텐츠 데이터를 전송함과 동시에, 영상 재생 단말(141)로, 상기 실시간 영상이 표시되고 있는 화면 상에 상기 암호화키를 노출할 것을 지시하는 노출 명령을 전송한다.When the first content data is encrypted by the
이하에서는, 콘텐츠 암호화부(121) 및 콘텐츠 전송 처리부(122)의 동작을 예를 들어, 상세히 설명하기로 한다.Hereinafter, operations of the
먼저, 전술한 예와 같이, 식별 벡터 검색부(119)에 의해, 상기 표 2와 같은 콘텐츠 저장소에서 상기 색인 벡터인 '[2 3 5]'와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터인 '[2 3 5]'가 검색되었다고 가정하자.First, as in the above example, the identification
그러면, 콘텐츠 암호화부(121)는 상기 표 2와 같은 콘텐츠 저장소로부터 기 제1 식별 벡터인 '[2 3 5]'에 대응되어 저장되어 있는 '콘텐츠 데이터 1'을 추출한 후, '콘텐츠 데이터 1'을 암호화하기 위한 암호화키를 랜덤하게 생성할 수 있다.Then, the
이때, 상기 암호화키를 '암호화키 1'이라고 하는 경우, 콘텐츠 암호화부(121)는 '암호화키 1'로 '콘텐츠 데이터 1'을 암호화할 수 있다.In this case, when the encryption key is referred to as 'encryption key 1', the
그러면, 콘텐츠 전송 처리부(122)는 모바일 단말(142)로, 암호화된 '콘텐츠 데이터 1'을 전송함과 동시에, 영상 재생 단말(141)로, 상기 실시간 영상이 표시되고 있는 화면 상에 '암호화키 1'을 노출할 것을 지시하는 노출 명령을 전송할 수 있다.Then, the content
이에 따라, 영상 재생 단말(141)에 상기 노출 명령이 수신되면, 영상 재생 단말(141)은 상기 노출 명령에 대응하여, 상기 실시간 영상이 표시되고 있는 화면 상에 '암호화키 1'을 노출할 수 있다.Accordingly, when the
이때, 본 발명의 일실시예에 따르면, 모바일 단말(142)은 라이브 스트리밍 서버(110)로부터, 암호화된 상기 제1 콘텐츠 데이터가 수신되면, 시청자(140)에 대해, 영상 재생 단말(141)의 상기 실시간 영상이 표시되는 화면을 통해서 노출되고 있는 상기 암호화키를 모바일 단말(142)에 입력할 것을 지시하는 입력 안내 메시지를 표시한 후, 시청자(140)에 의해 상기 암호화키가 모바일 단말(142)에 입력되면, 상기 암호화키로, 암호화된 상기 제1 콘텐츠 데이터를 복호화하여 화면 상에 표시할 수 있다.At this time, according to one embodiment of the present invention, when the
예컨대, 전술한 예와 같이, 콘텐츠 전송 처리부(122)에 의해, 모바일 단말(142)로 암호화된 상기 제1 콘텐츠 데이터가 전송됨과 동시에, 영상 재생 단말(141)로 상기 실시간 영상이 표시되고 있는 화면 상에 '암호화키 1'을 노출할 것을 지시하는 노출 명령이 전송됨에 따라, 모바일 단말(142)에 암호화된 '콘텐츠 데이터 1'이 수신되었다고 하고, 상기 실시간 영상이 표시되고 있는 영상 재생 단말(141)의 화면 상에 '암호화키 1'이 노출되고 있다고 가정하자.For example, as in the foregoing example, while the encrypted first content data is transmitted to the
그러면, 모바일 단말(142)은 시청자(140)에 대해, 영상 재생 단말(141)의 상기 실시간 영상이 표시되는 화면을 통해서 노출되고 있는 '암호화키 1'을 모바일 단말(142)에 입력할 것을 지시하는 입력 안내 메시지를 표시할 수 있다.Then, the
이때, 시청자(140)는 상기 입력 안내 메시지에 대응하여, 영상 재생 단말(141)의 화면 상에 노출되고 있는 '암호화키 1'을 확인한 후, 모바일 단말(142)에 '암호화키 1'을 입력할 수 있다.At this time, the
이때, 전술한 예에 따르면, 암호화된 '콘텐츠 데이터 1'은, '콘텐츠 데이터 1'이 '암호화키 1'로 암호화됨으로써 생성된 데이터이므로, 모바일 단말(142)은 '암호화키 1'로, 암호화된 '콘텐츠 데이터 1'을 복호화하여 화면 상에 표시할 수 있다. At this time, according to the above example, since the encrypted 'contents data 1' is data generated by encrypting 'contents data 1' with 'encryption key 1', the
도 2는 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법을 도시한 순서도이다.2 is a flowchart illustrating a method of operating a live streaming server capable of inserting a noise sound source used for content data inquiry according to an embodiment of the present invention into a real-time video.
단계(S210)에서는 영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈 음원(상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임)을 생성한다.In step S210, when the first content data is received from the video transmission terminal of the video sender and a processing request instructing to include search information for searching the first content data in the real-time video is received, the first content data is received. After generating first inquiry information for searching content data, storing the first inquiry information in correspondence with the first content data in a content storage, and inserting the first inquiry information into a noise source (the noise source is , which is a sound source generated by combining signals of two or more pre-selected frequency components in a pre-set inaudible frequency band).
단계(S220)에서는 상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송한다.In step S220, after the noise source is generated, when real-time video data to be live-streamed is received from the video transmission terminal, the noise source is inserted into the real-time video data, and then the noise source is inserted. The real-time video data is transmitted to the viewer's video playback terminal.
이때, 본 발명의 일실시예에 따르면, 단계(S210)에서는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3 이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계, 상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터가 수신되면서, 상기 처리 요청이 수신되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2 이상 n 미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 조회 정보로 생성하는 단계, 상기 제1 식별 벡터가 상기 제1 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계 및 상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S210, information on n (n is a natural number equal to or greater than 3) different sub-frequency bands pre-selected in the inaudible frequency band, and the sub-frequency bands Maintaining an information storage unit in which different identification numbers preset to correspond to each other are stored in correspondence with each other, and when the first content data is received from the video transmission terminal and the processing request is received, storing the information After randomly selecting k identification numbers (k is a natural number greater than or equal to 2 and less than n) among identification numbers corresponding to each of the partial frequency bands stored in Generating a first identification vector as the first search information; if the first identification vector is generated as the first search information, store the first identification vector in correspondence with the first content data in the content storage After confirming the information on the k sub-frequency bands corresponding to each of the k identification numbers with reference to the information storage unit, a signal obtained by combining the signals of the center frequency component of each of the k sub-frequency bands. It may include generating as the noise sound source.
이때, 본 발명의 일실시예에 따르면, 상기 라이브 스트리밍 서버의 동작 방법은 단계(S220)에 의해, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계, 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 단계, 상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 단계 및 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, in the method of operating the live streaming server, in step S220, as the real-time video data into which the noise source is inserted is transmitted to the video playback terminal, the video playback terminal While the real-time video data is being reproduced in the real-time video data, since the sound for the real-time video data is recognized by the mobile terminal possessed by the viewer, the sound for the real-time video data is inserted from the mobile terminal. When information on noise frequency components constituting the noise source is received, selecting k first noise frequency components in order of amplitude from among the noise frequency components, when the k first noise frequency components are selected After checking the k first sub-frequency bands to which each of the k first noise frequency components belong among the sub-frequency bands stored in the information storage unit, corresponding to each of the k first sub-frequency bands generating a k-dimensional index vector having an identification number as a component; when the index vector is generated, searching for an identification vector having the maximum degree of similarity with the index vector in the content storage; is the largest identification vector, and if the first identification vector is retrieved, the first content data stored corresponding to the first identification vector is extracted from the content storage, and then the first content data is stored in the mobile terminal. It may further include the step of transmitting to.
이때, 본 발명의 일실시예에 따르면, 상기 모바일 단말은 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송할 수 있다.At this time, according to an embodiment of the present invention, if a command instructing the mobile terminal to recognize sound for the real-time video data is applied by the viewer while the real-time video data is being reproduced by the video playback terminal. Generates a frequency spectrum by recognizing the sound of the real-time video data reproduced in the video reproducing terminal through a microphone preloaded in the mobile terminal and converting the sound signal of the real-time video data into a frequency domain. After that, among the frequency components included in the frequency spectrum, identifying non-audible frequency components existing in the sub-audible frequency band and designating information on the non-audible frequency components as information on the noise frequency components , It can be transmitted to the live streaming server.
또한, 본 발명의 일실시예에 따르면, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계는 상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출하고, 상기 제1 콘텐츠 데이터를 암호화하기 위한 암호화키를 랜덤하게 생성한 후, 상기 암호화키로 상기 제1 콘텐츠 데이터를 암호화하는 단계 및 상기 제1 콘텐츠 데이터가 암호화되면, 상기 모바일 단말로, 암호화된 상기 제1 콘텐츠 데이터를 전송함과 동시에, 상기 영상 재생 단말로, 상기 실시간 영상이 표시되고 있는 화면 상에 상기 암호화키를 노출할 것을 지시하는 노출 명령을 전송하는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, the step of transmitting the first content data to the mobile terminal is an identification vector having a maximum similarity with the index vector, and when the first identification vector is retrieved, the content storage extracts the first content data stored in correspondence with the first identification vector from , randomly generates an encryption key for encrypting the first content data, and then encrypts the first content data with the encryption key. and when the first content data is encrypted, the encrypted first content data is transmitted to the mobile terminal, and the encryption key is transmitted to the video playback terminal on the screen on which the real-time video is displayed. and transmitting an exposure command instructing exposure.
이때, 상기 모바일 단말은 상기 라이브 스트리밍 서버로부터, 암호화된 상기 제1 콘텐츠 데이터가 수신되면, 상기 시청자에 대해, 상기 영상 재생 단말의 상기 실시간 영상이 표시되는 화면을 통해서 노출되고 있는 상기 암호화키를 상기 모바일 단말에 입력할 것을 지시하는 입력 안내 메시지를 표시한 후, 상기 시청자에 의해 상기 암호화키가 상기 모바일 단말에 입력되면, 상기 암호화키로, 암호화된 상기 제1 콘텐츠 데이터를 복호화하여 화면 상에 표시할 수 있다.At this time, when the mobile terminal receives the encrypted first content data from the live streaming server, the encryption key exposed through the screen on which the real-time video of the video playback terminal is displayed is transmitted to the viewer. After displaying an input guide message instructing input to the mobile terminal, when the encryption key is input to the mobile terminal by the viewer, the encrypted first content data is decrypted with the encryption key and displayed on the screen. can
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 도 1을 이용하여 설명한 라이브 스트리밍 서버(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, with reference to FIG. 2, a method of operating a live streaming server capable of inserting a noise sound source used for inquiry of content data according to an embodiment of the present invention into a real-time video has been described. Here, a method of operating a live streaming server capable of inserting a noise source used for content data inquiry into a real-time video according to an embodiment of the present invention relates to the operation of the
본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.According to an embodiment of the present invention, a method of operating a live streaming server capable of inserting a noise source used for inquiry of content data into a real-time video is implemented as a computer program stored in a storage medium for execution through combination with a computer. can
또한, 본 발명의 일실시예에 따른 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the method of operating a live streaming server capable of inserting a noise source used for inquiry of content data according to an embodiment of the present invention into a real-time video is implemented in the form of program commands that can be executed through various computer means. It can be recorded on a readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Those skilled in the art in the field to which the present invention belongs can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and it will be said that not only the claims to be described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention. .
110: 콘텐츠 데이터의 조회에 사용되는 노이즈 음원을 실시간 영상에 삽입할 수 있는 라이브 스트리밍 서버
111: 노이즈 음원 생성부 112: 데이터 전송부
113: 정보 저장부 114: 조회 정보 생성부
115: 저장 처리부 116: 노이즈 음원 생성 처리부
117: 주파수 성분 선택부 118: 색인 벡터 생성부
119: 식별 벡터 검색부 120: 콘텐츠 전송부
121: 콘텐츠 암호화부 122: 콘텐츠 전송 처리부
130: 영상 송출자
131: 영상 송출 단말
140: 시청자
141: 영상 재생 단말
142: 모바일 단말110: Live streaming server capable of inserting noise sources used for content data inquiry into real-time video
111: noise source generator 112: data transmission unit
113: information storage unit 114: inquiry information generation unit
115: storage processing unit 116: noise source generation processing unit
117: frequency component selection unit 118: index vector generation unit
119: identification vector search unit 120: content transmission unit
121: content encryption unit 122: content transmission processing unit
130: video sender
131: video transmission terminal
140: viewers
141: video playback terminal
142: mobile terminal
Claims (12)
영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부; 및
상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 데이터 전송부
를 포함하고,
상기 노이즈 음원 생성부는
상기 비가청 주파수 대역에서 사전 선택된 n(n은 3 이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부;
상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터가 수신되면서, 상기 처리 요청이 수신되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2 이상 n 미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 조회 정보로 생성하는 조회 정보 생성부;
상기 제1 식별 벡터가 상기 제1 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 저장 처리부; 및
상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 노이즈 음원 생성 처리부
를 포함하는 라이브 스트리밍 서버.In a live streaming server capable of inserting a noise source used for inquiry of content data into a real-time video,
Searching the first content data when a processing request instructing to include search information for searching the first content data in the real-time video is received from the video transmission terminal of the video sender while the first content data is received After generating first inquiry information for the first inquiry information, the first inquiry information is stored in a content storage in correspondence with the first content data, and a noise sound source into which the first inquiry information is inserted - the noise sound source is a dictionary a noise source generating unit for generating a sound source generated by combining signals of two or more preselected frequency components in a set inaudible frequency band; and
After the noise source is generated, when real-time video data to be live-streamed is received from the video transmission terminal, the noise source is inserted into the real-time video data, and the real-time video data into which the noise source is inserted Data transmission unit for transmitting to the viewer's video playback terminal
including,
The noise source generator
Information on n (n is a natural number equal to or greater than 3) different sub-frequency bands pre-selected in the inaudible frequency band and different identification numbers preset to correspond to the sub-frequency bands are stored in correspondence with each other. an information storage unit;
When the processing request is received while the first content data is received from the video transmission terminal, k among the identification numbers corresponding to each of the partial frequency bands stored in the information storage unit (k is 2 or more and less than n) a natural number of) randomly selecting identification numbers, and then generating a k-dimensional first identification vector having the k identification numbers as components as the first inquiry information;
a storage processor configured to store the first identification vector in the content storage by matching the first identification vector with the first content data when the first identification vector is generated as the first search information; and
After checking the information on the k partial frequency bands corresponding to each of the k partial frequency bands with reference to the information storage unit, a signal obtained by combining the signals of the center frequency component of each of the k partial frequency bands, Noise source generation processing unit that is generated as a noise source
Live streaming server that includes.
상기 데이터 전송부에 의해, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 주파수 성분 선택부;
상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 색인 벡터 생성부;
상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 식별 벡터 검색부; 및
상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 콘텐츠 전송부
를 더 포함하는 라이브 스트리밍 서버.According to claim 1,
As the real-time video data into which the noise source is inserted is transmitted to the video playback terminal by the data transmission unit, while the real-time video data is being reproduced in the video playback terminal, the mobile terminal owned by the viewer When the sound for the real-time video data is recognized by the mobile terminal and information on the noise frequency components constituting the noise source inserted into the sound for the real-time video data is received from the mobile terminal, the noise frequency a frequency component selector selecting k first noise frequency components in order of amplitude from among the components;
When the k first noise frequency components are selected, after checking the k first partial frequency bands to which each of the k first noise frequency components belong among the partial frequency bands stored in the information storage unit, the an index vector generating unit generating a k-dimensional index vector having an identification number corresponding to each of the k first partial frequency bands as a component;
an identification vector search unit searching for an identification vector having the maximum similarity with the index vector in the content storage when the index vector is generated; and
When the first identification vector is retrieved as an identification vector having the maximum similarity with the index vector, the first content data stored corresponding to the first identification vector is extracted from the content storage, and then the first identification vector is extracted. Content transmission unit for transmitting content data to the mobile terminal
Live streaming server that further includes.
상기 모바일 단말은
상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송하는 것을 특징으로 하는 라이브 스트리밍 서버.According to claim 3,
The mobile terminal
While the real-time video data is being reproduced by the video reproducing terminal, when a command instructing to recognize sound for the real-time video data is applied by the viewer, the video is transmitted through a microphone preloaded in the mobile terminal. After recognizing the sound of the real-time video data reproduced by the playback terminal and converting the sound signal of the real-time video data into a frequency domain to generate a frequency spectrum, the ratio of the frequency components included in the frequency spectrum A live streaming server characterized in that for identifying subaudible frequency components present in the audible frequency band, designating information on the subaudible frequency components as information on the noise frequency components, and transmitting the information to the live streaming server. .
상기 콘텐츠 전송부는
상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출하고, 상기 제1 콘텐츠 데이터를 암호화하기 위한 암호화키를 랜덤하게 생성한 후, 상기 암호화키로 상기 제1 콘텐츠 데이터를 암호화하는 콘텐츠 암호화부; 및
상기 제1 콘텐츠 데이터가 암호화되면, 상기 모바일 단말로, 암호화된 상기 제1 콘텐츠 데이터를 전송함과 동시에, 상기 영상 재생 단말로, 상기 실시간 영상이 표시되고 있는 화면 상에 상기 암호화키를 노출할 것을 지시하는 노출 명령을 전송하는 콘텐츠 전송 처리부
를 포함하고,
상기 모바일 단말은
상기 라이브 스트리밍 서버로부터, 암호화된 상기 제1 콘텐츠 데이터가 수신되면, 상기 시청자에 대해, 상기 영상 재생 단말의 상기 실시간 영상이 표시되는 화면을 통해서 노출되고 있는 상기 암호화키를 상기 모바일 단말에 입력할 것을 지시하는 입력 안내 메시지를 표시한 후, 상기 시청자에 의해 상기 암호화키가 상기 모바일 단말에 입력되면, 상기 암호화키로, 암호화된 상기 제1 콘텐츠 데이터를 복호화하여 화면 상에 표시하는 것을 특징으로 하는 라이브 스트리밍 서버.According to claim 3,
The content delivery unit
When the first identification vector is retrieved as an identification vector having a maximum similarity with the index vector, the first content data stored in correspondence with the first identification vector is extracted from the content storage, and the first a contents encryption unit which randomly generates an encryption key for encrypting the contents data and then encrypts the first contents data with the encryption key; and
When the first content data is encrypted, transmit the encrypted first content data to the mobile terminal and at the same time expose the encryption key to the video playback terminal on a screen on which the real-time video is displayed. Content transmission processing unit that transmits the exposure command to instruct
including,
The mobile terminal
When the encrypted first content data is received from the live streaming server, ask the viewer to input the encryption key exposed through the screen on which the real-time video of the video playback terminal is displayed to the mobile terminal. After displaying an input guide message instructing, when the encryption key is input to the mobile terminal by the viewer, the encrypted first content data is decrypted with the encryption key and displayed on the screen. server.
영상 송출자의 영상 송출 단말로부터, 제1 콘텐츠 데이터가 수신되면서, 실시간 영상에 상기 제1 콘텐츠 데이터를 조회하기 위한 조회 정보를 포함시킬 것을 지시하는 처리 요청이 수신되면, 상기 제1 콘텐츠 데이터를 조회하기 위한 제1 조회 정보를 생성한 후, 상기 제1 조회 정보를 상기 제1 콘텐츠 데이터와 대응시켜 콘텐츠 저장소에 저장하고, 상기 제1 조회 정보가 삽입된 노이즈(noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계; 및
상기 노이즈 음원이 생성된 이후, 상기 영상 송출 단말로부터, 라이브 스트리밍의 대상이 되는 실시간 영상 데이터가 수신되면, 상기 실시간 영상 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계
를 포함하고,
상기 노이즈 음원을 생성하는 단계는
상기 비가청 주파수 대역에서 사전 선택된 n(n은 3 이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계;
상기 영상 송출 단말로부터, 상기 제1 콘텐츠 데이터가 수신되면서, 상기 처리 요청이 수신되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2 이상 n 미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 조회 정보로 생성하는 단계;
상기 제1 식별 벡터가 상기 제1 조회 정보로 생성되면, 상기 제1 식별 벡터를 상기 제1 콘텐츠 데이터와 대응시켜 상기 콘텐츠 저장소에 저장하는 단계; 및
상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계
를 포함하는 라이브 스트리밍 서버의 동작 방법.In the operating method of a live streaming server capable of inserting a noise source used for querying content data into a real-time video,
Searching the first content data when a processing request instructing to include search information for searching the first content data in the real-time video is received from the video transmission terminal of the video sender while the first content data is received After generating first inquiry information for the first inquiry information, the first inquiry information is stored in a content storage in correspondence with the first content data, and a noise sound source into which the first inquiry information is inserted - the noise sound source is a dictionary Generating a sound source generated by combining signals of two or more preselected frequency components in a set inaudible frequency band; and
After the noise source is generated, when real-time video data to be live-streamed is received from the video transmission terminal, the noise source is inserted into the real-time video data, and the real-time video data into which the noise source is inserted Transmitting to the viewer's video playback terminal
including,
The step of generating the noise source is
Information on n (n is a natural number equal to or greater than 3) different sub-frequency bands pre-selected in the inaudible frequency band and different identification numbers preset to correspond to the sub-frequency bands are stored in correspondence with each other. maintaining an information storage unit;
When the processing request is received while the first content data is received from the video transmission terminal, k among the identification numbers corresponding to each of the partial frequency bands stored in the information storage unit (k is 2 or more and less than n) is a natural number of) randomly selecting identification numbers, and then generating a k-dimensional first identification vector having the k identification numbers as components as the first inquiry information;
if the first identification vector is generated as the first search information, storing the first identification vector in the content storage by matching it with the first content data; and
After checking the information on the k partial frequency bands corresponding to each of the k partial frequency bands with reference to the information storage unit, a signal obtained by combining the signals of the center frequency component of each of the k partial frequency bands, Steps to create a noise source
Method of operation of a live streaming server comprising a.
상기 실시간 영상 데이터를 시청자의 영상 재생 단말로 전송하는 단계에 의해, 상기 노이즈 음원이 삽입된 상기 실시간 영상 데이터가 상기 영상 재생 단말로 전송됨에 따라, 상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자가 보유하고 있는 모바일 단말에 의해, 상기 실시간 영상 데이터에 대한 음향이 인식됨으로 인해, 상기 모바일 단말로부터, 상기 실시간 영상 데이터에 대한 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계;
상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 색인 벡터를 생성하는 단계;
상기 색인 벡터가 생성되면, 상기 콘텐츠 저장소에서 상기 색인 벡터와의 유사도가 최대인 식별 벡터를 검색하는 단계; 및
상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출한 후, 상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계
를 더 포함하는 라이브 스트리밍 서버의 동작 방법.According to claim 6,
In the step of transmitting the real-time video data to the viewer's video playback terminal, as the real-time video data into which the noise source is inserted is transmitted to the video playback terminal, the video playback terminal is playing the real-time video data. , Noise frequency components constituting the noise source inserted into the sound for the real-time video data from the mobile terminal due to the recognition of the sound for the real-time video data by the mobile terminal owned by the viewer. selecting k first noise frequency components in order of largest amplitude from among the noise frequency components, when the information on r is received;
When the k first noise frequency components are selected, after checking the k first partial frequency bands to which each of the k first noise frequency components belong among the partial frequency bands stored in the information storage unit, the generating a k-dimensional index vector having an identification number corresponding to each of the k first partial frequency bands as a component;
when the index vector is generated, searching the content storage for an identification vector having the maximum similarity with the index vector; and
When the first identification vector is retrieved as an identification vector having the maximum similarity with the index vector, the first content data stored corresponding to the first identification vector is extracted from the content storage, and then the first identification vector is extracted. Transmitting content data to the mobile terminal
Method of operation of a live streaming server further comprising a.
상기 모바일 단말은
상기 영상 재생 단말에서 상기 실시간 영상 데이터가 재생되는 도중, 상기 시청자에 의해 상기 실시간 영상 데이터에 대한 음향을 인식할 것을 지시하는 명령이 인가되면, 상기 모바일 단말에 사전 탑재되어 있는 마이크로폰을 통해, 상기 영상 재생 단말에서 재생되는 상기 실시간 영상 데이터에 대한 음향을 인식하여, 상기 실시간 영상 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 라이브 스트리밍 서버로 전송하는 것을 특징으로 하는 라이브 스트리밍 서버의 동작 방법.According to claim 8,
The mobile terminal
While the real-time video data is being reproduced by the video reproducing terminal, when a command instructing to recognize sound for the real-time video data is applied by the viewer, the video is transmitted through a microphone preloaded in the mobile terminal. After recognizing the sound of the real-time video data reproduced by the playback terminal and converting the sound signal of the real-time video data into a frequency domain to generate a frequency spectrum, the ratio of the frequency components included in the frequency spectrum A live streaming server characterized in that for identifying subaudible frequency components present in the audible frequency band, designating information on the subaudible frequency components as information on the noise frequency components, and transmitting the information to the live streaming server. how it works.
상기 제1 콘텐츠 데이터를 상기 모바일 단말로 전송하는 단계는
상기 색인 벡터와의 유사도가 최대인 식별 벡터로, 상기 제1 식별 벡터가 검색되면, 상기 콘텐츠 저장소로부터, 상기 제1 식별 벡터에 대응되어 저장되어 있는 상기 제1 콘텐츠 데이터를 추출하고, 상기 제1 콘텐츠 데이터를 암호화하기 위한 암호화키를 랜덤하게 생성한 후, 상기 암호화키로 상기 제1 콘텐츠 데이터를 암호화하는 단계; 및
상기 제1 콘텐츠 데이터가 암호화되면, 상기 모바일 단말로, 암호화된 상기 제1 콘텐츠 데이터를 전송함과 동시에, 상기 영상 재생 단말로, 상기 실시간 영상이 표시되고 있는 화면 상에 상기 암호화키를 노출할 것을 지시하는 노출 명령을 전송하는 단계
를 포함하고,
상기 모바일 단말은
상기 라이브 스트리밍 서버로부터, 암호화된 상기 제1 콘텐츠 데이터가 수신되면, 상기 시청자에 대해, 상기 영상 재생 단말의 상기 실시간 영상이 표시되는 화면을 통해서 노출되고 있는 상기 암호화키를 상기 모바일 단말에 입력할 것을 지시하는 입력 안내 메시지를 표시한 후, 상기 시청자에 의해 상기 암호화키가 상기 모바일 단말에 입력되면, 상기 암호화키로, 암호화된 상기 제1 콘텐츠 데이터를 복호화하여 화면 상에 표시하는 것을 특징으로 하는 라이브 스트리밍 서버의 동작 방법.According to claim 8,
Transmitting the first content data to the mobile terminal
When the first identification vector is retrieved as an identification vector having a maximum similarity with the index vector, the first content data stored in correspondence with the first identification vector is extracted from the content storage, and the first randomly generating an encryption key for encrypting the content data and then encrypting the first content data with the encryption key; and
When the first content data is encrypted, transmit the encrypted first content data to the mobile terminal and at the same time expose the encryption key to the video playback terminal on a screen on which the real-time video is displayed. Sending an exposure command instructing
including,
The mobile terminal
When the encrypted first content data is received from the live streaming server, ask the viewer to input the encryption key exposed through the screen on which the real-time video of the video playback terminal is displayed to the mobile terminal. After displaying an input guide message instructing, when the encryption key is input to the mobile terminal by the viewer, the encrypted first content data is decrypted with the encryption key and displayed on the screen. How the server works.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210082843A KR102500740B1 (en) | 2021-06-25 | 2021-06-25 | Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210082843A KR102500740B1 (en) | 2021-06-25 | 2021-06-25 | Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230000579A KR20230000579A (en) | 2023-01-03 |
| KR102500740B1 true KR102500740B1 (en) | 2023-02-16 |
Family
ID=84924865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210082843A KR102500740B1 (en) | 2021-06-25 | 2021-06-25 | Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102500740B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689451B (en) * | 2024-01-31 | 2024-04-26 | 浙江大学 | Flink-based stream vector search method, device and system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150125627A (en) * | 2014-04-30 | 2015-11-09 | (주)파워보이스 | Method and computer program for providing contents related information, device for generating sound qr and system for managing sound qr |
-
2021
- 2021-06-25 KR KR1020210082843A patent/KR102500740B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230000579A (en) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6592583B1 (en) | Method and apparatus for information exchange | |
| US20210243528A1 (en) | Spatial Audio Signal Filtering | |
| US20090287650A1 (en) | Media file searching based on voice recognition | |
| US10650827B2 (en) | Communication method, and electronic device therefor | |
| US11803589B2 (en) | Systems, methods, and media for identifying content | |
| KR102500740B1 (en) | Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof | |
| KR20040017312A (en) | Apparatus and method for generating data for detecting false alteration of encrypted data during processing | |
| US10943446B2 (en) | Media recognition and synchronisation to a motion signal | |
| JP2016005268A (en) | Information transmission system, information transmission method, and program | |
| KR102523813B1 (en) | Video streaming service server that enables keyword-based search for video and operating method thereof | |
| KR102500753B1 (en) | Live streaming server which can insert the two-dimensional code and the noise source, to be used for looking up contents data, to a real time video, and the operating method thereof | |
| US20070033422A1 (en) | Method and device for processing sound file | |
| KR102618619B1 (en) | Live streaming server which can insert the purchase site information for product purchase, into the real-time shopping broadcast video for product sales, and transmit the real-time shopping broadcast video, and the operating method thereof | |
| KR102500735B1 (en) | Video streaming service server for displaying advertisement information related to video and operating method thereof | |
| KR20180010955A (en) | Electric device and method for controlling thereof | |
| KR20220048642A (en) | Video conference system server which is able to take minutes of a video conference and the operating method thereof | |
| KR102440901B1 (en) | Live streaming server which can insert the two-dimensional code, to be used for looking up contents data, in the realtime video, and the operating method thereof | |
| KR100944958B1 (en) | Apparatus and Server for Providing Multimedia Data and Caption Data of Specified Section | |
| KR102384263B1 (en) | Method and system for remote medical service using artificial intelligence | |
| KR102559493B1 (en) | Service providing server to provide the digital will service that can verify the authenticity of the voice and the operating method thereof | |
| KR102466736B1 (en) | Voice based user verification server which performs verification based on the voice inputted by the user, and the operating method thereof | |
| KR100879684B1 (en) | Method for learning foreign language using portable terminal and portable terminal having the same | |
| US10536729B2 (en) | Methods, systems, and media for transforming fingerprints to detect unauthorized media content items | |
| KR20210128159A (en) | User identification system and method in use of difference of users'voice pattern for providing personalized user experience | |
| KR101000712B1 (en) | Audio data reproduction system, audio data reproduction method, and electronic device used in the system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |